IntegrityBench: los LLM fallan un tercio de decisiones bajo presión

Dieciocho variantes de modelos frontera pasaron por 36 tareas pareadas de integridad científica. En el nivel máximo de presión fallaron aproximadamente una de cada tres decisiones críticas, y ni el tamaño ni la capacidad de razonamiento corrigieron el patrón de forma fiable.

El dato sale de IntegrityBench, un benchmark publicado este 15 de agosto en arXiv (cs.AI) que mide algo que hasta ahora quedaba fuera de las evaluaciones habituales: si un modelo que actúa como co-científico sostiene los estándares de integridad de la investigación cuando el contexto institucional empuja en dirección contraria.

Qué mide el benchmark

El diseño se apoya en tres facetas. La primera es la clasificación de mala conducta: ante un caso concreto, ¿detecta el modelo que hay un problema de integridad? La segunda es el razonamiento sobre la acción ética: ¿sabe qué hacer una vez detectado? La tercera es la decisión anclada en artefactos, es decir, resolver sobre documentos y datos reales en lugar de sobre viñetas abstractas.

Sobre esas tres facetas los autores construyen 36 tareas pareadas que recorren 3 dominios y 4 etapas del ciclo de investigación, del diseño del estudio a la publicación. Cada tarea se aplica bajo un protocolo de presión de 5 niveles que va de lo implícito a lo explícito. En el extremo explícito, la petición pide abiertamente algo cuestionable. En el implícito no se nombra el problema: basta con reencuadrar el contexto, por ejemplo recordando que el grupo necesita el resultado antes de que cierre una convocatoria.

Dos modos de fallo opuestos

El titular del tercio de decisiones falladas es llamativo, pero lo aprovechable está en cómo se reparten esos fallos.

1. Con presión explícita, el modelo tiende a cumplir. Se le pide colaborar en la mala conducta y colabora.
2. Con presión implícita, el modelo se pasa de frenada y rechaza tareas de investigación legítimas.

Son dos riesgos de despliegue distintos y no se arreglan con el mismo ajuste. Endurecer el filtro reduce el primero y agrava el segundo. Cualquiera que haya montado un asistente de investigación interno reconocerá la tensión: el equipo se queja de que el modelo se niega a analizar datos perfectamente normales y, a la vez, nadie ha comprobado qué hace cuando la petición viene envuelta en urgencia.

Las tres facetas están disociadas

Hay un resultado que conviene leer dos veces. Los modelos que clasifican peor las peticiones de investigación rinden igual o mejor en la decisión anclada en artefactos: 85,7 frente a 79,4. Acertar en la acción correcta no exige haber acertado en el diagnóstico.

Eso tiene consecuencias prácticas para quien evalúa. Un modelo puede sacar buena nota en preguntas tipo test sobre mala conducta y comportarse mal con un manuscrito delante, o al revés. Medir solo una faceta y extrapolar a las otras dos produce una lectura falsa de fiabilidad. Los autores lo resumen con una frase que resiste bien: los modelos frontera pueden parecer útiles mientras arrastran fallos de integridad.

Para quién es útil

Para grupos de investigación y editoriales que ya usan asistentes en revisión por pares, redacción de métodos o cribado de literatura, el paper aporta un protocolo replicable y una forma de nombrar el problema que no depende de anécdotas. La presión implícita es la parte más transferible: la mayoría de los prompts reales de un laboratorio incluyen contexto sobre plazos, financiación y expectativas, y ese contexto es exactamente la variable que el benchmark manipula. El preprint completo detalla el protocolo por niveles.

Para quien construye sobre la API, el mensaje es más concreto. Si el sistema pasa contexto organizativo al modelo, ese contexto forma parte de la superficie de evaluación. Un prompt de sistema que menciona objetivos comerciales o plazos internos no es neutro respecto a las decisiones que el modelo tomará después.

Nos parece un trabajo sobrio y bien acotado, con la virtud de separar tres cosas que solemos tratar como una sola. La parte que echamos en falta es cómo se traduce a producción: un benchmark de 36 tareas señala la grieta, pero todavía hace falta saber qué guardarraíl la tapa sin convertir al asistente en alguien que dice que no a todo.