Cómo el formato del prompt altera los rankings de LLM

Cambiar solo el envoltorio de un prompt, sin tocar la pregunta ni el modelo, puede mover la precisión lo suficiente para dar la vuelta a un leaderboard. Esa es la conclusión incómoda de un estudio en arXiv que analiza 140.000 generaciones de OpenRouter sobre 7 tareas de preguntas y respuestas, 5 familias de envoltorios (wrappers) y 4 modelos instruct de entre 7B y 72B parámetros.

El envoltorio (wrapper) es todo lo que rodea a la pregunta: las instrucciones de sistema, el ejemplo de formato, las etiquetas que piden la respuesta en JSON o entre corchetes. Dos wrappers que solo se diferencian en esa capa de presentación deberían dar resultados casi idénticos. El paper Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking demuestra que no es así, y lo mide con un protocolo que mantiene constante el número de tokens para que la comparación sea limpia.

Dos métricas nuevas

Los autores proponen dos índices. El Format Sensitivity Index (FSI) es el rango de precisión que provoca la elección de wrapper: cuánto sube o baja el acierto de un modelo solo por reformatear la petición. El Parseability Sensitivity Index (PSI) mide el rango equivalente en parseabilidad, es decir, cuántas veces la respuesta se puede extraer de forma fiable. La distinción importa porque una respuesta correcta que el parser no sabe leer cuenta como fallo en cualquier benchmark automatizado.

El hallazgo central: el FSI medio varía más de 30 veces entre modelos, y esa variación se explica en gran parte por fallos de cumplimiento (compliance). Dicho de otro modo, los modelos que peor puntúan al cambiar de formato no razonan peor, sino que dejan de seguir el esquema pedido y sus respuestas se vuelven imposibles de parsear.

Por qué importa

Una regresión de efectos fijos confirma el punto: la parseabilidad sigue siendo un predictor fuerte de la precisión incluso después de controlar por tarea, modelo y wrapper. Es decir, buena parte de lo que un leaderboard atribuye a inteligencia del modelo es en realidad capacidad de ceñirse a un formato. Si un ranking publica precisión sin informar de la varianza por formato ni de las tasas de cumplimiento, los autores sostienen que la cifra es estadísticamente frágil y puede llevar a ordenar mal los modelos.

Para quien lee benchmarks, la lección es leer la letra pequeña: un modelo que encabeza una tabla con un wrapper concreto puede caer varios puestos con otro igual de razonable. Para quien despliega LLM en producción, sobre todo con structured output (JSON, llamadas a herramientas, esquemas estrictos), el aviso es más directo: la robustez al formato es una propiedad del modelo que conviene medir aparte del acierto bruto, porque es la que decide si el sistema aguanta en el mundo real.

Para quién es útil

El trabajo interesa a tres perfiles. A quienes construyen evaluaciones y quieren números reproducibles, que ahora tienen dos métricas concretas que reportar junto a la precisión. A los equipos de producto que dependen de salidas estructuradas y necesitan elegir modelo por su fiabilidad de parseo, no solo por su posición en un ranking. Y a cualquiera que integre modelos vía MCP o herramientas, donde una respuesta que no respeta el esquema rompe la cadena entera.

Coincide con lo que vemos montando integraciones: gran parte de los fallos que parecen de razonamiento son en realidad de formato, y se arreglan fijando bien el esquema y validando la salida antes de confiar en ella. Que alguien ponga número a ese efecto con 140.000 generaciones nos parece más útil que otra tabla de precisión sin contexto. Queda la duda de si estos índices se adoptarán en los leaderboards públicos o quedarán como buena práctica de nicho.