Anthropic detalla sus principios para desarrollar agentes de IA confiables

Anthropic publicó el 9 de abril de 2026 un análisis sobre el desarrollo de agentes de inteligencia artificial confiables. La empresa sostiene que estos sistemas amplían notablemente las capacidades de los modelos conversacionales, pero también introducen nuevos riesgos porque pueden actuar con menor supervisión humana, interpretar de forma incorrecta las intenciones del usuario y ejecutar acciones con consecuencias no previstas.

La compañía describe a los agentes como modelos de IA que dirigen sus propios procesos y el uso de herramientas para completar una tarea. En lugar de seguir un guion fijo, operan en un ciclo autónomo: planifican, actúan, observan los resultados, ajustan su estrategia y repiten el proceso hasta terminar o necesitar la intervención de una persona.

Anthropic utiliza como ejemplo Claude Cowork. Ante una petición para presentar los recibos de un viaje de negocios, el sistema podría transcribir las imágenes, extraer los importes y proveedores, clasificar los gastos y enviarlos al sistema corporativo correspondiente. Si una factura de hotel fuera rechazada por superar el límite permitido, el agente podría detectar que desconoce ese límite o las reglas aplicables y detenerse para preguntar si debe consultar la política de gastos de la empresa.

Según Anthropic, un agente está compuesto por cuatro elementos. El primero es el modelo, que aporta las capacidades de razonamiento y conocimiento resultantes del entrenamiento. El segundo es el harness, formado por las instrucciones y las barreras de seguridad que condicionan su funcionamiento. El tercero son las herramientas, como el correo electrónico, el calendario o el software de gastos. El cuarto es el entorno, que determina dónde se ejecuta el agente y a qué archivos, sitios web o sistemas puede acceder.

La empresa señala que la seguridad no puede depender únicamente del modelo. Un sistema bien entrenado todavía puede verse comprometido por un harness mal configurado, una herramienta con permisos excesivos o un entorno expuesto. Por eso, sus medidas de protección deben cubrir las cuatro capas y considerar cómo interactúan entre sí.

El marco de Anthropic se apoya en cinco principios: mantener a las personas en control, alinear el comportamiento con los valores humanos, proteger las interacciones de los agentes, conservar la transparencia y proteger la privacidad. El análisis se centra especialmente en el control humano, la adecuación a las expectativas del usuario y la seguridad, mientras que la transparencia y la privacidad se integran en todas esas áreas.

Para mantener el control, Claude.ai y Claude Desktop permiten elegir qué herramientas puede utilizar el sistema y configurar permisos para cada acción. El usuario puede autorizar siempre una operación, exigir aprobación o bloquearla. Así, leer el calendario puede quedar permitido de forma permanente, mientras que enviar una invitación requiere confirmación.

Anthropic reconoce que solicitar aprobación para cada una de las acciones de una tarea compleja puede resultar incómodo y provocar que los usuarios dejen de prestar atención. En Claude Code, la empresa introdujo Plan Mode, que muestra por adelantado el plan completo. La persona puede revisarlo, modificarlo y aprobarlo antes de que se ejecute, además de intervenir durante el proceso. De esta forma, la supervisión se desplaza de cada paso individual a la estrategia general.

La compañía también estudia cómo supervisar tareas en las que un agente delega parte del trabajo en subagentes que operan en paralelo. Este modelo plantea dificultades para que los usuarios entiendan y dirijan procesos que ya no aparecen como una única secuencia visible de acciones.

Otro desafío consiste en lograr que los agentes comprendan cuándo deben continuar y cuándo tienen que pedir aclaraciones. Anthropic explica que algunas lagunas pueden resolverse investigando información adicional, pero otras dependen de preferencias o intenciones que solo puede determinar el usuario. Durante el entrenamiento, la empresa crea situaciones ambiguas y refuerza la decisión de detenerse en lugar de asumir una respuesta. También orienta a Claude mediante su Constitution para favorecer que plantee dudas y preocupaciones cuando la situación lo requiere.

Anthropic advierte además sobre los ataques de inyección de instrucciones, que intentan engañar a los modelos para que realicen acciones costosas o no autorizadas. La empresa espera que estos riesgos aumenten a medida que los agentes sean más capaces y las organizaciones les confíen tareas de mayor impacto. Fuente: Anthropic.