Google DeepMind presenta el benchmark Multimodal Knowledge Agent para evaluar agentes con archivos visuales

Google DeepMind presentó el 10 de noviembre de 2026, junto con Artificial Analysis, el benchmark Multimodal Knowledge Agent (MKA), diseñado para evaluar cómo los agentes resuelven tareas de trabajo basadas en archivos visualmente complejos.

El conjunto de evaluación reúne 200 tareas creadas con expertos de 10 sectores y 83 ocupaciones, entre ellos arquitectura, biología, suscripción de riesgos y ciencia de datos. Cada tarea representa un proyecto de entre tres y ocho horas para un profesional experimentado e incluye instrucciones, archivos multimodales y una rúbrica de unos 70 criterios binarios. La puntuación pondera un 75% la precisión factual y un 25% el diseño visual.

Artificial Analysis ejecuta todos los modelos con el mismo entorno de agentes de código abierto, Stirrup, además de las mismas herramientas, sandbox y límite de turnos. Un evaluador automático basado en un modelo no desarrollado por Google revisa los archivos, renderiza las páginas, inspecciona las fórmulas de las hojas de cálculo y compara los resultados con la rúbrica. Sus evaluaciones coincidieron con las de expertos de dominio el 96% de las veces.

El conjunto privado de 200 tareas busca evitar que los ejercicios se filtren en los datos de entrenamiento o puedan localizarse mediante búsquedas. Artificial Analysis también publicó 10 tareas abiertas en Hugging Face para que otros equipos puedan revisar el formato y probar sus agentes.

Según el informe técnico, los modelos evaluados mostraron diferencias importantes en eficiencia: necesitaron entre 30 y 130 turnos de media para completar cada tarea. El análisis también señala que las capacidades de percepción son necesarias para resolver los ejercicios y examina cómo los modelos intentan compensar la ausencia de visión.

Gemini 4 Carbon obtuvo el segundo puesto en calidad entre los modelos probados y completó las tareas con un coste medio seis veces inferior al del modelo con la puntuación más alta. Google afirma que el modelo se sitúa en la frontera de calidad y precio de la evaluación MKA y que ya está disponible mediante la Gemini API en Google AI Studio.

Fuente: Google DeepMind.