EmbeddingGemma 2 ofrece embeddings multimodales abiertos

Google ha anunciado EmbeddingGemma 2, un modelo multimodal ligero basado en la arquitectura Gemma 4 y publicado bajo la licencia Apache 2.0. El sistema genera representaciones conjuntas de texto, código, imágenes, vídeo y audio para tareas de búsqueda semántica y recuperación en dispositivos y servidores.

Según Google, el modelo cuenta con 740 millones de parámetros y está optimizado para inferencia local. Puede, por ejemplo, localizar un fragmento de vídeo a partir de una nota de voz o buscar grabaciones de audio mediante una consulta de texto sin procesar los datos fuera del dispositivo.

EmbeddingGemma 2 admite configuraciones modulares para cargas de trabajo de solo texto y puede incorporar codificadores opcionales de visión y audio. Su ventana de contexto alcanza los 8.000 tokens, con capacidad para procesar hasta 5,5 minutos de audio, 29 imágenes, 58 fotogramas de vídeo o combinaciones de estos contenidos.

El modelo utiliza Matryoshka Representation Learning para reducir sus vectores de salida de 768 a 512, 256 o 128 dimensiones. Google señala que esta opción puede reducir hasta seis veces el almacenamiento y el uso de memoria de las bases de datos vectoriales locales. En un Google Pixel 11 Pro, el consumo de RAM activa parte de unos 191 MB para los pesos de texto y de unos 567 MB para el modelo multimodal completo, con cuantización.

Google también afirma que EmbeddingGemma 2 mejora en 9,92 puntos el rendimiento de código en MTEB Code frente a EmbeddingGemma, al pasar de 68,76 a 78,68. La empresa plantea su uso en búsquedas multimodales, sistemas RAG locales, clasificación y enrutamiento, incluidos flujos combinados con Gemma 4.

Los pesos están disponibles en Hugging Face y Kaggle, mientras que Google AI Edge ofrece herramientas para desplegar el modelo en aplicaciones y dispositivos. También puede utilizarse mediante tecnologías y herramientas como LiteRT, MediaPipe, transformers.js, WebGPU, vLLM, llama.cpp, Ollama y LMStudio.

Fuente: Google.