Cuando un LLM no sabe que no sabe: puntos ciegos epistémicos en datos clínicos

Un LLM puede decirte con aparente seguridad que su predicción es correcta cuando falla en casi la mitad de los casos. Eso no es un matiz menor: es un problema de fondo que un nuevo estudio publicado esta semana en arXiv expone con datos concretos sobre tareas clínicas tabulares.

La investigación, disponible en arXiv:2606.19509, compara el comportamiento de Qwen 2.5 7B con el clasificador clásico XGBoost sobre una tarea de predicción con datos clínicos estructurados. El mecanismo que utilizan para detectar los llamados epistemic blind spots —zonas donde el modelo no sabe lo que no sabe— es el análisis de divergencia de atribuciones entre ambos modelos, lo que los autores denominan cross-model attribution divergence.

Confianza verbalizada: un número casi inútil

El primer hallazgo es el más llamativo y, probablemente, el más práctico para quienes integran LLMs en flujos de trabajo reales. La confianza que el LLM expresa verbalmente —ese porcentaje que el modelo devuelve cuando se le pregunta cuán seguro está— oscila entre 0,856 y 0,937 con independencia de si la precisión real de sus predicciones es del 49% o del 75,3%. El modelo no calibra su certeza hacia abajo cuando se equivoca más; simplemente ajusta el número al formato del prompt.

Esto tiene consecuencias directas en entornos clínicos, donde un sistema que dice estar «un 90% seguro» en casos que resuelve peor que el azar puede generar una confianza injustificada en el clínico o en el sistema que lo orquesta.

El efecto de dificultad inverso

El segundo hallazgo resulta contraintuitivo: el LLM rinde peor precisamente en los casos que XGBoost resuelve con mayor certeza. Cuando XGBoost alcanza el 99% de exactitud —es decir, en los ejemplos más «fáciles» según el clasificador clásico—, el LLM cae al 64,8%. Sin embargo, en los casos donde XGBoost es moderadamente incierto, ambos modelos se empatan (73,8% frente a 73,1%). Esto sugiere que el LLM y XGBoost no solo cometen errores distintos, sino que sus fortalezas están en cierta medida invertidas.

Para un equipo de ingeniería que trabaje con agentes de análisis médico, esto implica que combinar ambos modelos de forma ingenua —sin tener en cuenta esta divergencia— puede empeorar el resultado respecto a usar uno solo.

Few-shot y evidencia SHAP: intervenciones que se potencian entre sí

La parte más constructiva del estudio es el tercer hallazgo. Los autores comprueban que añadir ejemplos few-shot y proporcionar al LLM las importancias de las variables derivadas de SHAP (técnica habitual de interpretabilidad de modelos de machine learning) son intervenciones ortogonales y superaditivas: aplicadas juntas, reducen el Attribution Disagreement Score (ADS) de 1,54 a 0,38 y elevan la precisión del LLM del 49% al 75,3%, sin necesidad de reentrenamiento.

Esto no es menor. Significa que con información de contexto bien construida —ejemplos relevantes más evidencia de qué variables importan en el caso concreto— un modelo de 7B parámetros puede recuperar un rendimiento competitivo en una tarea donde, sin ese andamiaje, fallaba sistemáticamente.

Un calibrador cruzado como solución pragmática

El cuarto hallazgo cierra el círculo: los autores proponen un calibrador cruzado que usa la divergencia de atribuciones entre el LLM y XGBoost como señal para decidir cuándo fiarse del LLM. En lugar de preguntar al modelo si está seguro —lo que, como hemos visto, es casi irrelevante—, el sistema compara cómo cada modelo pondera las variables y marca como poco fiables aquellos casos donde la divergencia es alta.

Es un enfoque pragmático que no requiere acceso a los pesos del modelo ni técnicas de fine-tuning, lo que lo hace directamente aplicable en integraciones que usen la API de Claude o cualquier otro LLM de propósito general.

Para quién es relevante esto

La investigación interesa en primer lugar a equipos que despliegan LLMs sobre datos estructurados en contextos de alta consecuencia: salud, crédito, seguros. Pero sus implicaciones llegan también a quienes construyen agentes con herramientas de análisis de datos, donde la confianza del modelo se usa —a veces de forma implícita— para decidir si escalar una decisión a un humano o continuar de forma autónoma.

Desde EP, lo que más nos llama la atención no es el hallazgo en sí —la mala calibración de los LLMs es conocida— sino la propuesta metodológica de usar la divergencia entre un LLM y un modelo clásico como señal de fiabilidad. Es una forma de aprovechar lo que los modelos de machine learning tradicionales hacen bien, en lugar de descartarlos, y eso encaja bien con la realidad de los sistemas híbridos que vemos en producción hoy.