Los watermarks de LLMs degradan la calidad de textos médicos, según un estudio

Cinco esquemas de watermarking, once LLMs y siete modelos de visión y lenguaje evaluados sobre tareas de razonamiento clínico. Ese es el alcance de "Marking the Wrong Symptoms", un estudio publicado este 24 de julio en arXiv que presenta la primera evaluación rigurosa de cómo afectan las marcas de agua de los LLMs al rendimiento en textos médicos. El resultado es incómodo: marcar el texto puede degradarlo de formas que las métricas habituales no detectan.

El watermarking consiste en sesgar de forma sutil la elección de tokens durante la generación para poder verificar después, con una prueba estadística, si un texto salió de un modelo concreto. Es una de las técnicas favoritas de reguladores y proveedores para dar trazabilidad al contenido generado por IA, y en benchmarks de propósito general su coste en calidad parece asumible. El problema, señalan los autores, es que en medicina una perturbación mínima a nivel de token puede cambiar el significado por completo.

Qué han encontrado

El estudio documenta varios modos de fallo concretos: corrupción léxica, terminología alucinada y, en tareas multimodales, una amplificación de la atribución errónea o la omisión de hallazgos en imágenes médicas. No son degradaciones cosméticas: afectan a la precisión terminológica y a la calidad del razonamiento clínico, justo lo que no puede fallar en un entorno sanitario.

La evaluación cubre tareas unimodales y multimodales de razonamiento clínico, desde preguntas de examen médico hasta interpretación de imágenes, y compara el comportamiento de cada esquema de watermarking en cada combinación de modelo y tarea. Esa matriz de resultados muestra que la degradación no es uniforme: depende del esquema elegido y del tipo de tarea, con los casos multimodales entre los más frágiles.

Para medirlo, los autores introducen un pipeline de auditoría validado por expertos humanos que evalúa de forma sistemática tres frentes: calidad del razonamiento médico, precisión de la terminología y alucinaciones inducidas por la marca. Es una aportación relevante por sí sola, porque las evaluaciones existentes se apoyan en métricas agregadas que, como demuestra el paper, pasan por alto fallos específicamente clínicos.

Por qué importa

Los LLMs están entrando en flujos clínicos reales: notas de alta, resúmenes de historia, borradores de informes radiológicos. Al mismo tiempo, marcos regulatorios como el AI Act europeo empujan hacia la trazabilidad del contenido generado por IA, y el watermarking es el mecanismo técnico más citado para conseguirla. Este trabajo pone números a una tensión que hasta ahora era teórica: la técnica que da trazabilidad puede estar restando seguridad clínica.

La lección generaliza más allá de la medicina. Cualquier dominio donde pequeños cambios de superficie alteran el significado (legal, financiero, farmacovigilancia) debería evaluar los watermarks con métricas propias del dominio antes de activarlos, en lugar de fiarse de los benchmarks generalistas.

Para quién es útil

Para equipos de health tech que integran LLMs en productos clínicos, el paper es lectura obligada antes de aceptar el watermarking como requisito de compliance sin medir su coste. Para investigadores en watermarking, define un estándar de evaluación más exigente. Y para responsables de cumplimiento, aporta el argumento técnico de que trazabilidad y calidad no son variables independientes.

El matiz importante es que el estudio no concluye que haya que descartar el watermarking, sino que su coste varía según el esquema, el modelo y la tarea, y que hay que medirlo con herramientas sensibles al dominio antes de desplegarlo.

Nuestra lectura es que este tipo de auditorías específicas de dominio deberían ser la norma, no la excepción, antes de imponer cualquier mecanismo de trazabilidad en sistemas de alto riesgo. Un watermark que confunde síntomas es un problema mayor que el que pretende resolver.