Cuando el estado del anotador contamina los datos de RLHF

Un preprint publicado hoy en arXiv sostiene que las etiquetas de preferencia con las que se alinean los modelos de lenguaje pueden estar midiendo dos cosas a la vez: la calidad de las respuestas comparadas y el estado en el que se encontraba la persona que anotó. El trabajo se titula Rater State Bias in RLHF Preference Data: An Audit Framework y propone tratar ese solapamiento como una fuente de sesgo estructurado, no como ruido de etiquetado.

La distinción es el nervio del artículo. En RLHF (aprendizaje por refuerzo con retroalimentación humana) se asume que el desacuerdo entre anotadores es ruido aleatorio que la agregación limpia: con suficientes etiquetas, los errores se cancelan entre sí. Los autores argumentan que existe un tipo de desviación que no se cancela, porque depende del estado del anotador, puede ser compartida por personas que trabajan en condiciones parecidas y sobrevive al promediado. Si varias personas anotan bajo presión sostenida o expuestas a contenido angustioso, sus preferencias pueden desplazarse en la misma dirección y a la vez.

Tres conceptos y una medida

El paper define un vocabulario para poder auditar el fenómeno: rater state shift, el desplazamiento de las preferencias de un anotador a lo largo del tiempo según su estado; rater state confound, la confusión entre ese estado y el juicio sobre la respuesta; y correlated rater state bias, el caso en que el desplazamiento es común a varios anotadores. Sobre esa base proponen una variable observable a la que llaman survival level emotional authenticity, definida como un patrón de respuesta medible a partir de rasgos léxicos, pragmáticos, de discurso y relacionados con seguridad.

El mecanismo de propagación que describen es lo que hace interesante la hipótesis. Una etiqueta sesgada entra en el modelo de recompensa, el modelo de recompensa guía la optimización de la política, y la política acaba prefiriendo un registro concreto sin que nadie lo haya decidido de forma explícita. No es el fallo puntual de una anotación, es una preferencia sistemática que entra por el mismo canal por el que entra todo lo demás.

Lo que el trabajo no hace

Conviene leerlo por lo que es. El propio resumen lo plantea como hipótesis y marco de auditoría, no como resultado empírico: los autores no reportan un experimento que mida la magnitud del efecto sobre un conjunto de datos concreto. Es una propuesta metodológica, y su valor está en que sea comprobable por terceros. Sin acceso a datos de preferencia acompañados de metadatos de las condiciones de anotación (turnos, tipo de contenido revisado, carga por sesión), la hipótesis se queda en terreno razonable pero no verificado. Y ese acceso lo tienen hoy los laboratorios que entrenan, no los grupos externos que auditan.

Por qué importa fuera del paper

Para quien entrena o afina modelos hay una consecuencia práctica inmediata y barata: los pipelines de preferencia suelen registrar quién anotó y cuándo, pero rara vez bajo qué condiciones. Añadir esa capa de metadatos cuesta poco ahora y es prácticamente imposible de reconstruir después. Si el marco que proponen los autores acaba validándose, los equipos que hayan guardado esa información podrán auditar sus datos históricos y los demás tendrán que volver a anotar desde cero.

Para quien compra modelos o los integra en producto, el artículo funciona como recordatorio de algo que se menciona poco: el comportamiento de un asistente en temas sensibles no sale solo de la arquitectura ni del corpus de preentrenamiento, sino también de las condiciones laborales de la fase de alineamiento, que es la parte peor documentada de toda la cadena. Cuando un modelo suena raro al hablar de crisis personales, la explicación puede estar más cerca de cómo se recogieron las etiquetas que de cómo se diseñó la red.

Nos parece un ángulo poco explorado y bien planteado, aunque el listón está en la validación: sin datos que lo contrasten, el marco es una buena pregunta antes que una respuesta. Aun así, instrumentar la anotación con metadatos de contexto nos parece sensato incluso si la hipótesis acaba siendo pequeña. El preprint completo está en arXiv.