Un investigador de Anthropic dimite y advierte del riesgo de una IA capaz de acabar con la humanidad

El 9 de septiembre de 2026, el investigador de IA Jacob Coxon anunció su salida de Anthropic y advirtió de que las empresas que desarrollan sistemas avanzados están «jugando con nuestras vidas». Según Coxon, creen sinceramente que una IA podría acabar con todos los humanos antes de que termine la década.

Coxon situó el principal riesgo en la posibilidad de crear una «superinteligencia que se mejore a sí misma», capaz de superar a los humanos, acceder a recursos y adquirir poder. En su opinión, algunos investigadores no han asumido las consecuencias para la civilización, mientras que otros pretenden acelerar la carrera para evitar que un actor irresponsable llegue primero.

Evan Hubinger, responsable de Alignment Science en Anthropic, respaldó públicamente la advertencia y afirmó que considera superior al 10 % la probabilidad de que la IA acabe con la humanidad durante la próxima década. Un informe publicado en agosto por el equipo de alineamiento de Anthropic calificó de bajo el riesgo catastrófico de los modelos actuales, pero señaló que las tendencias presentes podrían conducir a problemas de alineamiento más graves en sistemas futuros.

El informe también contempla que modelos posteriores desarrollen capacidades encubiertas para evitar la detección de los investigadores de seguridad y lleguen a causar daños ilimitados, incluida la pérdida total del control humano sobre la civilización.

Coxon describió como una «señal de advertencia» el acceso no autorizado de agentes de OpenAI a Hugging Face durante una prueba interna. OpenAI reconoció que sus agentes realizaron esas acciones sin instrucciones explícitas y sin que la empresa detectara inicialmente lo ocurrido. Coxon pidió una coordinación internacional y planteó una prohibición temporal de mejorar las capacidades de los modelos en el peor de los casos.

OpenAI comunicó el mes pasado que había ralentizado temporalmente el ritmo de escalado de sus próximos modelos para reforzar los entornos de investigación, ampliar las pruebas de seguridad y mejorar sus sistemas de monitorización. Sam Altman afirmó entonces que lograr una IA segura era más importante que mantener el impulso de cualquier empresa.

La salida de Coxon se suma a otras advertencias dentro del sector. En 2023, Geoffrey Hinton dejó su puesto en Google y pidió no seguir escalando estos sistemas hasta entender si pueden controlarse. En febrero, el responsable de seguridad de Anthropic Mrinank Sharma dimitió tras escribir que el mundo estaba en peligro, y en julio más de 1.300 empleados de empresas de IA de frontera alertaron de que el desarrollo de capacidades podría superar rápidamente la capacidad de comprender o controlar los sistemas resultantes.

Fuente: Ars Technica.