Un position paper cuestiona cómo medimos la fidelidad de la XAI

Diez años de investigación en explicabilidad no han cumplido la promesa con la que nació el campo. Esa es la premisa de Faithfulness Without Anchors, un position paper publicado en arXiv el 13 de octubre por Marco Zullich, Emily Schiller, Ivan Gentile, David Dembinsky, Adriano Lucieri, Kilian Göller y Steffen Seitz, y presentado en el workshop de Explainable AI de IJCAI-ECAI 2026.

Los autores sostienen que las herramientas de XAI, presentadas como un medio para aumentar la confianza en los modelos de machine learning, han terminado fomentando la dependencia excesiva en predicciones incorrectas, lo que a su vez puede desembocar en aversión algorítmica. Su diagnóstico es poco complaciente: en la práctica, XAI funciona sobre todo como herramienta de depuración, útil para obtener intuiciones anecdóticas sobre qué features ha aprendido un modelo.

El problema de la fidelidad

El trabajo se centra en un concepto concreto: la faithfulness, o fidelidad. Una explicación es fiel cuando se aproxima de verdad al comportamiento del modelo que pretende explicar. Cuando simplifica en exceso, aparece el desajuste que la literatura llama unfaithfulness o infidelity: la explicación cuenta una historia coherente que no coincide con lo que el modelo hace por dentro.

Si la fidelidad pudiera medirse con rigor, tendríamos una forma de cuantificar al menos uno de los componentes de la confianza en una explicación. El problema, según los autores, es que las métricas existentes tienen limitaciones que hacen esa medición inviable o muy costosa en términos computacionales. El paper enumera cinco carencias principales de las métricas actuales y propone cuatro líneas de investigación para hacerlas más fiables.

Por qué cuesta tanto medirla

El título da una pista: falta un ancla. En la mayoría de modelos reales no existe una referencia verdadera sobre qué features importan, así que no hay contra qué comparar la explicación. Las métricas habituales recurren a aproximaciones indirectas. Una de las más extendidas consiste en eliminar o perturbar las features que el método marca como importantes y observar cuánto cae la predicción.

Ese enfoque arrastra problemas conocidos desde hace años. Al sustituir píxeles o variables por un valor de referencia, el modelo recibe entradas que no se parecen a nada de lo que vio en entrenamiento, y la caída de rendimiento puede deberse a ese cambio de distribución y no a la importancia real de la feature. Propuestas como ROAR (RemOve And Retrain) intentaron corregirlo reentrenando el modelo tras cada eliminación, a cambio de multiplicar el coste. Además, distintas métricas de fidelidad aplicadas al mismo método pueden producir clasificaciones contradictorias.

Este contexto es nuestro. El resumen publicado no detalla cuáles son exactamente los cinco fallos ni las cuatro propuestas, así que recomendamos leer el texto completo antes de citarlos.

Qué tiene que ver con los LLM

Aunque el trabajo se ocupa de métodos de feature importance, la familia a la que pertenecen técnicas como SHAP, LIME o los mapas de saliencia, la pregunta de fondo reaparece en los modelos de lenguaje. Anthropic publicó en 2025 una investigación según la cual los modelos de razonamiento no siempre verbalizan en su cadena de pensamiento los factores que realmente influyen en su respuesta. Es otra cara del mismo problema: una explicación plausible no equivale a una explicación fiel.

Quien construye agentes con Claude se encuentra con esto a menudo. Pedir al modelo que justifique una decisión produce un texto razonable, pero ese texto no es una traza verificable de lo que ocurrió. Para auditar comportamiento, los logs de tool calls y las evaluaciones sobre casos conocidos siguen siendo más fiables que la autoexplicación.

Para quién es útil

Para equipos de machine learning en sectores regulados, como banca, seguros o salud, que usan paneles de explicabilidad para justificar decisiones ante auditores o clientes. Si la métrica que valida esas explicaciones no es sólida, el informe puede transmitir una seguridad que no tiene.

También para quien evalúa proveedores. Preguntar cómo se ha medido la fidelidad de las explicaciones que ofrece una herramienta, y con qué métrica, ayuda a separar productos serios de capas cosméticas. Y para investigadores del área, el paper funciona como mapa de problemas abiertos.

En ElephantPink tratamos las atribuciones de importancia como una pista para depurar, no como una prueba. Este trabajo no trae todavía una métrica mejor, pero sí razones sólidas para no presentar un gráfico de SHAP como garantía de nada.