NormReact: los LLM esperan más castigo social que las personas

Pregúntale a un modelo si está mal colarse en una cola y acertará sin despeinarse. Pregúntale qué hará la persona que estaba detrás, si dirá algo o se callará, y si esa reacción cambia cuando quien se cuela es un desconocido en vez de un amigo. Ahí es donde la cosa se rompe.

Un trabajo publicado el 10 de septiembre en arXiv, Beyond Right and Wrong: Evaluating Second-order Social Reasoning in Large Language Models, mide exactamente esa segunda capa. Los autores parten de una crítica al trabajo de alineamiento hecho hasta ahora: se ha invertido casi todo en normas sociales de primer orden, en enseñar al modelo qué es aceptable y qué no, del tipo no robarás. La inteligencia social real no termina ahí.

De normas a metanormas

Una metanorma es la expectativa sobre qué pasa cuando alguien rompe una norma: quién la hace cumplir y con qué intensidad. El rango va desde el silencio incómodo hasta la vergüenza pública o la cárcel, y el paper lo trata como el eje que faltaba. Saber que colarse está mal es trivial. Saber que en una cola de supermercado la sanción típica es un comentario y no una denuncia es lo que hace que un sistema entienda a la gente.

Qué es NormReact

El equipo publica NormReact, un dataset multiperspectiva de 450 escenarios de transgresión de normas, anotados a mano. Cada escenario lleva etiquetas de emoción y de respuesta conductual, y las anotaciones cruzan dos variables que casi nunca se controlan: el género de quien comete la transgresión y la cercanía social de quien la observa.

Sobre esa base proponen dos tareas de clasificación nuevas. La primera es predecir la autorregulación del transgresor, es decir, qué siente y qué hace quien ha roto la norma. La segunda es predecir la heterorregulación del observador, qué siente y qué hace quien lo ha visto. Son dos ejes distintos, valoración emocional y respuesta conductual, y separarlos permite ver dónde falla el modelo: si se equivoca al leer la emoción, al leer la acción, o en ambas.

Un mundo social más duro del que hay

El resultado principal es incómodo. En los seis modelos evaluados, los sistemas sobrepredicen sanciones negativas justo donde las personas anotadoras esperaban que no pasara nada. Dicho de otro modo, el retrato del mundo social que tiene un LLM es más severo que el real: donde una persona deja correr, el modelo espera reproche, castigo o consecuencia.

El segundo hallazgo refina el primero. La coincidencia con el juicio humano se degrada a medida que aumenta la distancia social entre observador y transgresor. Con vínculos cercanos los modelos van razonablemente finos. Con desconocidos se despistan, y ese es precisamente el escenario más frecuente en cualquier interacción pública. El abstract no detalla qué seis modelos entran en la comparación, así que conviene leer la tabla completa antes de extrapolar a un proveedor concreto.

Para quién es útil esto

Si construyes moderación, esto explica una parte del exceso de celo: un clasificador que asume que cualquier desliz merece sanción va a marcar contenido que ninguna comunidad marcaría. Si construyes agentes que redactan comunicación en nombre de alguien, un modelo que sobreestima el castigo escribe disculpas desproporcionadas y correos más tensos de lo que pide la situación. Y si trabajas en simulación social o en personajes de juego, la degradación con la distancia social es justo el defecto que hace que un NPC trate igual a un vecino y a un extraño.

Para el trabajo de evaluación, el aporte concreto es un dataset con anotación humana en un eje que casi nadie mide. Que sean 450 escenarios y no 45.000 limita la potencia estadística, pero el diseño multiperspectiva compensa: cada escenario aporta varias lecturas en vez de una etiqueta única.

Nos parece el tipo de benchmark que hacía falta: pequeño, anotado a mano y apuntando a una carencia específica en vez de a un número global. Si acaba integrándose en las suites de evaluación habituales, sospechamos que el sesgo punitivo será más fácil de corregir con datos que con instrucciones en el system prompt.