Gobernar agentes IA sin sacrificar su expresividad: un resultado formal

Uno de los argumentos más repetidos contra las restricciones de seguridad en sistemas de agentes es que cualquier capa de control acaba limitando lo que el sistema puede hacer. Un paper publicado el 6 de mayo de 2026 en arXiv —arXiv:2605.01030— aporta evidencia formal en sentido contrario: es posible imponer gobernanza completa sobre los efectos de un agente de IA sin tocar su expresividad computacional interna.

El resultado no es una intuición ni una propuesta de diseño. Es un desarrollo verificado mecánicamente en Rocq 8.19 (el asistente de pruebas anteriormente conocido como Coq), con 36 módulos, cerca de 12.000 líneas de código y 454 teoremas, todos ellos compilados con cero lemas admitidos. Eso significa que ninguna demostración fue «dada por buena» sin verificación.

Qué propone el paper

Los autores definen un operador de gobernanza G que actúa como intermediario de todos los «efectos» que un flujo de trabajo de IA puede emitir: acceso a memoria, llamadas externas y consultas a oráculos (es decir, a modelos de lenguaje). La formalización se construye sobre Interaction Trees, una estructura de datos funcional que permite modelar programas con efectos de forma composable y razonable bajo verificación formal.

Sobre esta base, el paper demuestra siete propiedades (P1-P7). Las más relevantes para la práctica:

• P1 y P2 (completitud de Turing y expresividad oracle bajo gobernanza): el sistema gobernado puede computar cualquier cosa que el sistema no gobernado pueda computar, incluidas las consultas a LLMs. La gobernanza no amputa capacidades.
• P3 (frontera de decidibilidad): los predicados de gobernanza son totales y cerrados bajo composición booleana —lo que permite construir políticas complejas de forma predecible—, pero las propiedades semánticas de los programas siguen siendo no triviales e indecidibles por parte del gobernador. En términos llanos: el gobernador puede decidir si una acción está permitida, pero no puede decidir qué hace el programa en general.
• P6 (la gobernanza estructural subsume al filtrado de contenido): una capa que controla la estructura de los efectos es estrictamente más poderosa que una capa que filtra contenido generado. Esto tiene implicaciones directas para el debate sobre dónde colocar los controles en sistemas con LLMs.
• P7 (transparencia semántica): cuando la gobernanza permite una ejecución, la interpretación gobernada y la no gobernada son equivalentes. No hay distorsión silenciosa.

Por qué importa para el ecosistema de agentes

En sistemas como Claude Code, donde los subagentes pueden invocar herramientas externas, ejecutar hooks en eventos del ciclo de vida o conectar con servidores MCP, la pregunta de cómo garantizar que una capa de control no degrade el comportamiento legítimo del sistema es completamente operativa. Hasta ahora, las respuestas eran mayoritariamente empíricas: se probaba que el sistema seguía funcionando después de añadir restricciones.

Este paper ofrece algo distinto: una garantía demostrable de que el diseño es correcto antes de ejecutar una sola instrucción. La propiedad P7 en particular —transparencia semántica— es lo que permitiría confiar en que un agente gobernado se comporta igual que uno sin restricciones en todos los casos donde la gobernanza da luz verde.

La distinción entre gobernanza de efectos y filtrado de contenido (P6) también merece atención. Gran parte de los debates actuales sobre seguridad en LLMs se centran en el output textual. Este trabajo sugiere formalmente que actuar a nivel de efectos —qué hace el agente, no qué dice— es una postura más robusta.

Para quién es útil esto

El paper está dirigido a investigadores en verificación formal y teoría de tipos, pero sus conclusiones tienen lectura directa para quienes diseñan arquitecturas de agentes en producción. Equipos que construyen orquestadores, definen políticas de uso de herramientas o auditan flujos de trabajo multi-agente encontrarán aquí un marco teórico con el que comparar sus decisiones de diseño.

No es un repositorio listo para instalar. Es, en cambio, una base formal sobre la que construir herramientas y estándares con garantías verificables.

---

Desde EP, el resultado nos parece sólido precisamente porque sus autores no evitan los límites: la frontera de decidibilidad (P3) queda explícitamente acotada, sin prometer más de lo que la formalización puede sostener. Eso es lo que diferencia un paper de verificación útil de uno que simplemente suena bien.