Navalia: tareas sintéticas verificables para entrenar agentes financieros

Un modelo abierto de tipo mixture-of-experts, con 35.000 millones de parámetros totales y unos 3.000 millones activos (es lo que indica el sufijo A3B), entrenado con tareas financieras sintéticas que se verifican antes de usarlas. Esa es la propuesta de Navalia, un trabajo publicado el 21 de octubre en arXiv (2610.26887). Sus diez autores parten de Qwen3.6-35B-A3B y aseguran mejoras consistentes frente al modelo base en cinco benchmarks: OfficeQA Pro, FinSearchComp, Finance Agent Benchmark, APEX-Agents-AA y Workspace-Bench-Lite.

El artículo se enmarca en lo que los autores llaman Cowork Agents, agentes que ya no se limitan a conversar y que planifican, usan herramientas y llevan tareas largas de principio a fin. El análisis financiero es su caso de prueba, y la elección tiene sentido.

El problema que intenta resolver

Un analista que trabaja con informes corporativos tiene que cruzar datos de varios documentos y encadenar cálculos. Saca un margen de la cuenta de resultados, lo compara con el de otro ejercicio y lo ajusta con una cifra del balance. Para entrenar a un agente en eso hacen falta tareas con esa misma estructura y respuestas fiables. El abstract señala dos caminos y sus límites: que expertos escriban las tareas a mano es caro, y pedírselas directamente a un LLM tiende a dar ejercicios poco exigentes o respuestas que nadie puede garantizar.

Cómo funciona Navalia

Navalia construye las tareas a partir de los datos, en lugar de partir del enunciado. El proceso tiene cuatro pasos:

1. Toma informes financieros de empresas como fuente y selecciona semánticamente la evidencia de apoyo dentro de conjuntos completos de hechos.
2. Construye cadenas de cálculo ejecutables. Así cada tarea tiene evidencia trazable y dependencias reales entre pasos: el paso dos necesita el resultado del paso uno.
3. Verifica cada tarea con la revisión independiente de otro LLM y con comprobaciones programáticas de que la evidencia es consistente y la respuesta es correcta.
4. Con las tareas ya verificadas, recoge trayectorias, aplica un fine-tuning supervisado (SFT) de arranque en frío y termina con aprendizaje por refuerzo (RL) orientado a tareas de horizonte largo.

Lo decisivo es el segundo paso. Si la respuesta sale de ejecutar una cadena de cálculo, se puede comprobar sin depender del criterio de otro modelo, y la recompensa del RL pasa a ser verificable. Es la misma lógica que ha funcionado en matemáticas y en código, trasladada a un terreno de documentos largos y datos dispersos. Además, en tareas de horizonte largo un error temprano se arrastra hasta el final, así que tener una respuesta comprobable en cada eslabón vale todavía más.

Lo que todavía no sabemos

El abstract habla de mejoras consistentes en los cinco benchmarks, pero no da cifras ni compara con modelos propietarios de frontera. Habrá que leer el artículo completo para saber cuánto mejora, en qué tipo de tarea y con qué coste de entrenamiento. Los autores también afirman que el agente generaliza a tareas de oficina generales. Encaja con la presencia de OfficeQA Pro y Workspace-Bench-Lite entre los benchmarks, pero hay que confirmarlo con los números delante.

Otra duda razonable es el sesgo de formato. Si todas las tareas salen de informes corporativos con una estructura parecida, el agente puede acabar aprendiendo a moverse por ese formato concreto más que a razonar sobre finanzas en general.

Para quién es útil

A los equipos que adaptan modelos abiertos a finanzas, auditoría o back office, Navalia les da una receta concreta para generar datos de entrenamiento sin depender de un ejército de anotadores. Su valor va más allá del fine-tuning, porque el mismo procedimiento sirve para montar baterías de evaluación con respuestas comprobables. Quien trabaja con agentes en Claude Code (subagentes, skills o servidores MCP que leen documentación interna) puede aplicar la idea sin entrenar nada. Basta con generar las tareas a partir de los datos, calcular las respuestas con código y añadir un hook que compruebe el resultado antes de darlo por bueno.

En ElephantPink nos interesa más el método de verificación que la mejora del modelo en sí. Las tareas con respuesta comprobable son lo que separa a un agente que parece funcionar de uno que se puede medir.