RL frente a SFT: qué cambia dentro del modelo al razonar

Un modelo ajustado con aprendizaje por refuerzo y otro ajustado por supervisión pueden dar la misma respuesta correcta y haber llegado ahí con arquitecturas internas distintas. Es lo que sostiene un preprint subido a arXiv el 31 de julio (arXiv:2607.26119v1), que busca la base mecanicista de una observación ya conocida: los modelos de razonamiento entrenados con RL rinden mejor en tareas matemáticas que sus equivalentes entrenados con SFT.

La pregunta que se hacen los autores no es si el RL funciona mejor, algo que los benchmarks vienen repitiendo desde hace más de un año, sino qué diferencia interna lo explica. Para responderla usan dos métodos que se apoyan mutuamente.

Sondas lineales sobre estados ocultos

El primero consiste en entrenar sondas lineales sobre los estados ocultos capa por capa para predecir si la respuesta final va a ser correcta. Es un clasificador muy simple: si acierta, quiere decir que esa información ya está codificada de forma linealmente separable en las activaciones. Según el paper, las sondas alcanzan mayor precisión en los modelos entrenados con RL que en los SFT. Traducido: el modelo con RL lleva encima una señal más limpia de si va por buen camino, y esa señal se puede leer sin herramientas sofisticadas.

Ablación de medias y jerarquía de capas

El segundo método sustituye las activaciones de una capa por su media y mide cuánto se degrada el rendimiento. Aquí aparece la parte más interesante del trabajo: en los modelos con RL las capas profundas son progresivamente más críticas, mientras que en los SFT la importancia se reparte de forma uniforme a lo largo de la red. Dicho de otro modo, el RL no añade una capacidad encima de lo que ya había; reorganiza dónde ocurre el trabajo. Los autores lo describen como una arquitectura jerárquica emergente, algo que encaja con la intuición de que el razonamiento largo necesita etapas de cómputo diferenciadas.

Lo que el abstract deja fuera

Conviene bajar las expectativas en tres puntos. El abstract público termina hablando de la variabilidad en el número de tokens bajo muestreo repetido, una forma de medir si el modelo asigna cómputo según la dificultad del problema, y se corta justo cuando iba a dar el resultado: solo se lee que observan mayor variabilidad en algunos modelos ajustados con RL. Segundo, sondear no es explicar. Que una sonda lineal prediga la corrección demuestra que la información está ahí, no que el modelo la use causalmente para decidir. Y tercero, es un preprint de versión 1, sin revisión por pares, y el resumen no concreta qué familias de modelos ni qué conjuntos de problemas entran en la comparación. Eso último importa bastante, porque los resultados de interpretabilidad viajan mal entre arquitecturas.

Para quién es útil

Para equipos que hacen post-entrenamiento sobre pesos abiertos, hay una aplicación directa. Si la corrección es linealmente legible desde los estados ocultos, una sonda entrenada una vez sale muchísimo más barata que llamar a un segundo modelo como juez para estimar confianza. Es el tipo de señal que sirve para decidir si reintentar, si escalar a un modelo mayor o si pedir revisión humana, y cuesta una fracción de un token de salida. La pega es evidente: hace falta acceso a las activaciones, así que quien consume modelos cerrados por API se queda fuera. Para ese caso el paper vale sobre todo como marco explicativo de por qué las variantes de razonamiento se comportan distinto y no solo mejor.

Nuestra lectura

Nos gusta que el trabajo se moje con una hipótesis estructural en vez de añadir otra tabla de benchmarks, y la ablación por profundidad es el resultado que nos parece más difícil de explicar por casualidad. Dicho eso, hasta ver el PDF completo con los modelos y los datos concretos, lo trataríamos como una pista sólida y no como una conclusión. El texto íntegro está en arXiv.