Google DeepMind presenta una hoja de ruta para proteger agentes de IA cada vez más capaces

El 18 de junio de 2026, Google DeepMind presentó una hoja de ruta para proteger los sistemas internos frente a agentes de IA cada vez más capaces, incluidos aquellos que pueden ejecutar tareas complejas de forma autónoma en ciberdefensa, descubrimiento científico y desarrollo de productos. El enfoque parte de una premisa: los agentes deben contar con controles adicionales incluso cuando su alineación con los objetivos humanos no sea perfecta.

La propuesta, denominada AI Control Roadmap, plantea una estrategia de defensa en profundidad que combina medidas de seguridad tradicionales con controles específicos para sistemas autónomos. Entre las protecciones de base se incluyen el aislamiento mediante sandboxing, la seguridad de los endpoints y la resistencia frente a prompt injection. Sobre ellas se sitúa la alineación del modelo, entendida como el entrenamiento de sistemas seguros y útiles, junto con una capa de control a nivel de sistema.

Google DeepMind explica que sus agentes internos se gestionan como posibles amenazas internas, de forma similar a un empleado con acceso a las instalaciones que pudiera actuar de manera indebida. Para estructurar este análisis, la compañía ha desarrollado un marco de modelado de amenazas para IA basado en MITRE ATT&CK, una base de conocimiento sobre tácticas y técnicas de adversarios fundamentada en observaciones del mundo real. La división de los ataques en comportamientos más pequeños permite seguir los riesgos, detectar señales tempranas y realizar pruebas controladas de las defensas.

La hoja de ruta contempla conceder permisos a los agentes de forma gradual, según su comportamiento verificado. El sistema también utiliza otros modelos considerados fiables como supervisores, encargados de revisar de manera continua el razonamiento, las acciones y los planes de un agente en funcionamiento. Si un supervisor identifica una conducta potencialmente dañina, puede bloquear la acción antes de que cause consecuencias.

El rendimiento de estos controles se mide mediante tres indicadores: cobertura, que representa la proporción del tráfico monitorizado; recall, que mide la fracción de comportamientos desalineados detectados; y time-to-response, el tiempo necesario para reaccionar. Google DeepMind sostiene que estas métricas son necesarias para comprobar si las medidas funcionan cuando se aplican a sistemas operativos y no solo en pruebas aisladas.

La estrategia también vincula el nivel de seguridad con la evolución de las capacidades de los modelos. En la actualidad, la compañía monitoriza la cadena de pensamiento visible de los modelos, pero advierte de que este método puede dejar de ser suficiente si los sistemas aprenden a ocultar su razonamiento o utilizan procesos opacos. En ese escenario, los controles tendrían que analizar el comportamiento del agente y, potencialmente, inspeccionar aspectos internos del modelo.

La respuesta también debe adaptarse al posible impacto de cada acción. Para tareas de bajo riesgo y reversibles, Google DeepMind considera suficiente revisar las transcripciones con cierto retraso y corregir rápidamente los problemas. En cambio, ante acciones de alto riesgo, como un ataque cibernético importante, la compañía plantea una respuesta en tiempo real que bloquee la ejecución antes de que se produzca el daño.

Para desarrollar sus sistemas de supervisión, el equipo creó un prototipo interno que analiza de forma asíncrona las trayectorias de agentes de programación y envía algunos hallazgos a revisión humana. El equipo ha analizado ya un millón de tareas de agentes de código y ha clasificado los eventos señalados con la taxonomía de amenazas de la hoja de ruta. Según la compañía, este trabajo ha permitido avanzar desde los filtros basados en palabras clave hacia la identificación de patrones de comportamiento con mayor capacidad de señal.

Estos datos también se han utilizado para desarrollar un monitor en directo para el agente Gemini Spark, capaz de responder en tiempo real a problemas emergentes como el borrado involuntario de datos. Google DeepMind señala que la mayoría de los eventos marcados no proceden de una intención adversaria, sino de errores de interpretación del agente o de un exceso de iniciativa al intentar cumplir el objetivo de un usuario.

La compañía considera que la seguridad de los agentes requiere la colaboración de la industria, los responsables políticos y la comunidad académica. Junto con AI Control Roadmap, ha publicado el marco técnico Three Layers of Agent Security, que propone mejorar la protección de los agentes individuales, de los sistemas multiagente y del ecosistema más amplio, con medidas orientadas a reforzar a los defensores de la ciberseguridad y la resiliencia colectiva.

Fuente: Google DeepMind.