Google DeepMind prueba evaluaciones de IA doble ciego

Google DeepMind ha anunciado el inicio de una prueba de evaluaciones doble ciego para un modelo de inteligencia artificial de frontera. El proyecto busca reducir el riesgo de contaminación de benchmarks, un problema que aparece cuando un sistema ya ha visto las preguntas o indicaciones utilizadas para medir sus capacidades.

La iniciativa, presentada el 27 de agosto de 2026, se realiza junto con el Singapore AI Safety Institute, OpenMined, AVERI y MLCommons. En esta primera prueba, un modelo Gemini Flash Lite será sometido a benchmarks confidenciales dentro de un entorno diseñado para preservar la privacidad de los datos y aumentar la integridad de la evaluación.

Según Google DeepMind, las evaluaciones externas de sistemas avanzados se enfrentan desde hace tiempo a un intercambio difícil. Los evaluadores pueden entregar sus instrucciones de prueba al proveedor del modelo, con el riesgo de que las preguntas queden expuestas antes del examen, o el proveedor puede compartir los pesos del modelo, comprometiendo su propiedad intelectual. El enfoque doble ciego pretende evitar ambas situaciones.

El sistema utiliza Confidential Space, una tecnología incluida en la cartera Confidential Computing de Google Cloud. Mediante este entorno, las partes pueden verificar criptográficamente que los datos de evaluación y el modelo propietario permanecen protegidos para sus respectivos dueños. Los evaluadores no pueden consultar los pesos de Gemini, mientras que Google no puede acceder a las preguntas de las pruebas.

La compañía sostiene que esta protección criptográfica contribuye a impedir la contaminación de los benchmarks y a mantener a salvo información sensible. Los resultados de una evaluación pueden perder fiabilidad si el modelo ha tenido acceso previo a las preguntas, ya que ese conocimiento puede elevar artificialmente sus puntuaciones sin reflejar sus capacidades reales.

Google DeepMind señala que la necesidad de preservar la confidencialidad aumenta a medida que los modelos son más capaces. Entre las evaluaciones que podrían beneficiarse de este método cita las relacionadas con ciberseguridad y las realizadas por organismos gubernamentales, cuyos datos de prueba pueden ser especialmente delicados.

La empresa afirma que ya evalúa sus sistemas mediante un amplio conjunto de pruebas durante el desarrollo y el despliegue, pero que no depende únicamente de sus revisiones internas. Para identificar posibles puntos ciegos, trabaja con laboratorios de investigación especializados, organizaciones de la sociedad civil y organismos nacionales de seguridad y protección de la inteligencia artificial.

Hasta ahora, los protocolos de ausencia de registros y las salvaguardas contractuales habían servido para mantener confidenciales las instrucciones de las evaluaciones externas. Google DeepMind presenta la incorporación de controles técnicos y criptográficos como un paso adicional para reforzar la seguridad de ese proceso y permitir que organizaciones independientes examinen modelos avanzados sin ceder sus datos ni su soberanía.

La compañía espera que la prueba sirva para desarrollar nuevas prácticas de supervisión de modelos y contribuya a que los benchmarks de inteligencia artificial sean más fiables para investigadores, responsables políticos y empresas. Google DeepMind también ha indicado que los detalles de la metodología y los resultados están disponibles en un informe técnico. Fuente: Google DeepMind.