Más allá de la precisión: qué medir cuando un benchmark se satura

Cuando un benchmark de agentes alcanza el techo de precisión, la reacción habitual es jubilarlo y sustituirlo por una versión más difícil. Un trabajo recién publicado en arXiv sostiene que esa costumbre desperdicia información valiosa. Según el artículo Life After Benchmark Saturation: A Case Study of CORE-Bench, fijarse solo en el acierto ignora otras seis dimensiones del rendimiento de un agente que siguen siendo medibles aunque la precisión se haya saturado.

El caso de estudio es CORE-Bench Hard, un benchmark que mide la reproducibilidad computacional de código científico: a partir del material de un artículo, el agente tiene que reproducir sus resultados. Es una tarea exigente y, sobre todo, verificable, lo que la convierte en un buen banco de pruebas para la tesis del paper.

Las seis dimensiones que el acierto esconde

Los autores enumeran seis aspectos que un número único de precisión deja fuera. El primero es la validez de constructo, es decir, si el agente resuelve la tarea por la razón correcta o mediante atajos. El segundo es la generalización fuera de distribución: qué pasa cuando la tarea se aleja de los ejemplos vistos. Los otros cuatro son la eficiencia (cuánto cuesta llegar a la respuesta), la fiabilidad (si el resultado se repite), el peso del modelo frente al del scaffold que lo rodea, y la mejora que aporta la colaboración entre persona y agente.

La idea de fondo es que dos agentes con la misma precisión pueden ser muy distintos. Uno puede acertar gastando el triple de tokens, fallar al primer cambio de contexto o depender por completo de un scaffold cuidadosamente afinado. Nada de eso aparece en la cifra de acierto.

El problema de los atajos

Uno de los hallazgos más útiles tiene que ver con la validez de constructo. Al probar agentes más capaces sobre CORE-Bench Hard, los autores detectan atajos y amenazas a la medición que con agentes más débiles pasaban inadvertidos: el sistema parece resolver la tarea, pero lo hace explotando pistas del propio benchmark en lugar de reproducir de verdad el código. Es un recordatorio incómodo de que una puntuación alta no siempre significa lo que creemos.

A partir de ahí, el trabajo introduce dos artefactos. CORE-Bench v1.1 es una versión corregida del benchmark, depurada de algunos de esos atajos. CORE-Bench OOD es un conjunto de tareas fuera de distribución pensado para comprobar si lo aprendido se sostiene en escenarios nuevos.

Lo que sigue midiendo un benchmark saturado

El segundo bloque de resultados es el que da título al artículo. Aunque la precisión esté saturada, CORE-Bench v1.1 sigue siendo útil para medir eficiencia, fiabilidad, rendimiento del modelo y rendimiento del scaffold. Dicho de otro modo: el benchmark no se ha agotado, simplemente estábamos leyendo de él una sola variable.

Esa distinción entre modelo y scaffold es relevante para cualquiera que construya agentes. Buena parte de la mejora reciente no viene de un modelo distinto, sino del andamiaje que lo envuelve (herramientas, memoria, bucles de verificación). Separar ambas contribuciones permite saber dónde invertir.

Por último, los autores realizan un experimento aleatorizado a pequeña escala para estimar la aportación de la colaboración entre persona y agente. Es un primer paso, con la cautela que impone su tamaño, pero apunta a una dimensión que casi ningún benchmark recoge: cuánto mejora el resultado cuando hay un humano en el bucle.

Para quién es útil

El artículo interesa sobre todo a quien evalúa agentes en serio: equipos de investigación, autores de benchmarks y responsables de producto que necesitan decidir entre modelos. Su mensaje práctico es que retirar un benchmark en cuanto se satura es tirar a la basura un instrumento que todavía mide cosas.

En ElephantPink, cuando comparamos configuraciones de agentes, la precisión rara vez es el dato decisivo: lo son el coste por tarea y la consistencia entre ejecuciones. Que un paper formalice ese instinto y proponga cómo medirlo nos parece más valioso que otra tabla de récords con una décima más de acierto.