Pennsylvania demanda a Character.AI por hacerse pasar por médico

El pasado 5 de mayo, el estado de Pensilvania presentó una demanda contra Character.AI alegando que uno de sus chatbots se presentó ante usuarios como un médico y les proporcionó consejo clínico. Según recoge NPR, la acción legal señala que la plataforma no impidió que sus personajes adoptaran identidades de profesionales sanitarios ni que ofrecieran orientación médica que los usuarios podían tomar en serio.

No es la primera vez que Character.AI se enfrenta a consecuencias legales por el comportamiento de sus agentes conversacionales. Esta demanda, sin embargo, tiene un ángulo específico: la suplantación activa de una figura de autoridad sanitaria, no simplemente un fallo de moderación de contenido.

Qué alega concretamente la demanda

La fiscalía de Pensilvania argumenta que la plataforma permitió —o no hizo lo suficiente para evitar— que sus chatbots se identificaran como médicos y respondieran preguntas sobre síntomas, diagnósticos o tratamientos. El problema no es solo que la información pudiera ser incorrecta, sino que el contexto de autoridad creado por el personaje aumenta la probabilidad de que el usuario actúe en consecuencia sin buscar atención real.

Este tipo de diseño —personajes con roles profesionales definidos y sin fricciones que recuerden al usuario que no está hablando con un especialista humano— lleva años siendo señalado por investigadores de seguridad en IA conversacional. La novedad aquí es que un actor institucional decide convertirlo en litigio formal.

Por qué importa más allá de Character.AI

Character.AI es una plataforma de rol conversacional, no un asistente generalista como Claude o los productos de OpenAI. Su modelo de negocio se basa precisamente en que los usuarios interactúen con personajes que tienen identidades definidas: celebridades ficticias, figuras históricas, arquetipos de anime o, al parecer, médicos.

Eso la sitúa en una categoría regulatoria complicada. No es un buscador, no es una red social al uso y no es un dispositivo médico certificado. Las demandas anteriores contra la compañía —incluyendo casos vinculados al bienestar de menores— ya habían forzado algunos cambios en sus políticas, pero esta acción estatal eleva la presión de forma significativa.

Para el resto del ecosistema de IA, el caso plantea una pregunta que no tiene respuesta sencilla: ¿hasta qué punto es responsable una plataforma del daño potencial cuando el comportamiento problemático no es un bug, sino una consecuencia directa del producto diseñado? Un chatbot que puede adoptar cualquier identidad profesional por definición puede adoptar la de un médico.

Qué significa para los desarrolladores de agentes

Quienes trabajan con Claude Code, MCP servers o agentes a medida deben leer este caso como una señal de que las fricciones de seguridad no son solo buenas prácticas de UX: en ciertos contextos, su ausencia puede convertirse en argumento legal.

Anthropic ha incorporado en Claude restricciones explícitas sobre la simulación de profesionales regulados —médicos, abogados, psicólogos— en contextos que puedan inducir a error. No es que Claude no pueda hablar de medicina; es que está diseñado para no presentarse como facultativo ni para sustituir el criterio clínico. La diferencia entre esos dos comportamientos es exactamente lo que esta demanda pone sobre la mesa.

Para equipos que construyen agentes de atención al cliente, soporte emocional o información sanitaria con cualquier LLM, la lección práctica es clara: los disclaimers en los términos de servicio no son suficientes si el diseño de la experiencia contradice su mensaje.

Opinión EP

El desenlace de este litigio tardará meses o años en concretarse, pero su mero inicio ya tiene valor normativo: indica que las fiscalías estatales están dispuestas a actuar antes de que exista legislación federal específica sobre IA. Para las plataformas que monetizan la ambigüedad entre persona real y agente artificial, ese es un riesgo que ya no puede ignorarse.