EmbeddingGemma 2: новая мультимодальная модель Google DeepMind для мобильных устройств

6 октября 2026 года Google DeepMind анонсировала EmbeddingGemma 2 в официальном блоге; пост подписали исследователи Сахил Дуа и Энрике Шехтер Вера. Модель насчитывает 740 миллионов параметров и проецирует текст, код, изображения, видео и аудио в одно и то же векторное пространство. Модульная архитектура позволяет включать только нужные части: текстово-кодовый блок использует около 270 млн параметров, а визуальный и аудиоэнкодеры добавляют соответственно 170 млн и 300 млн. Все конфигурации работают в общем векторном пространстве, что упрощает семантический поиск между модальностями.

Лицензия Apache 2.0, которую Google называет «commercially permissive», допускает и коммерческое использование. EmbeddingGemma 2 построена на архитектуре Gemma 4 и поддерживает контекст в 8192 токена — вчетверо больше, чем у первой версии. Это примерно 5,5 минуты аудио, 29 изображений или 58 кадров видео за один вход. Исходные векторы имеют 768 измерений, но благодаря Matryoshka Representation Learning их можно сократить до 512, 256 или 128, уменьшив объём хранения до шести раз. Карточка модели на Hugging Face предупреждает о заметном падении мультимодального качества при 128 измерениях и рекомендует этот размер только для чисто текстовых задач.

По производительности Google сообщает о результате 78,68 в MTEB Code — на 9,92 пункта выше предыдущей версии, тогда как многоязычный бенчмарк v2 почти не изменился (61,36 против 61,15). Другие результаты при 768 измерениях: MIEB lite 64,64, MMEB v2 изображения 57,28, MMEB v2 визуальные документы 67,84, MMEB v2 видео 50,67, MSEB retrieval 69,54 и MAEB 49,39. Google заявляет, что EmbeddingGemma 2 занимает первое место среди мультимодальных эмбеддеров до миллиарда параметров в MTEB Code и MAEB. Все эти цифры, как и первое место, исходят от Google и её карточки на Hugging Face и пока не проверены независимыми сторонами.

По данным Google, на Pixel 11 Pro в квантованной версии одна только текстовая часть занимает около 191 МБ активной оперативной памяти, а полная модель — около 567 МБ. Замер приводит сама компания, и касается он одного устройства. Веса доступны на Hugging Face и Kaggle, модель поддерживают многие фреймворки (transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama, LM Studio, transformers.js/WebGPU), а для запуска на устройстве — MediaPipe/LiteRT. Карточка предупреждает, что модель только предобучена: без пост-тренировочного выравнивания, safety tuning и модерации вывода, поэтому необходимые защитные меры должны внедрить разработчики. Кроме того, не рекомендуется использовать float16: он может давать NaN или деградировавшие эмбеддинги, не сообщая об ошибке.

В карточке отмечено, что качество может различаться между более чем 100 поддерживаемыми языками: результаты именно для итальянского не задокументированы. Появление модели в Model Garden платформы Gemini Enterprise Agent Platform анонсировано как «coming soon», пока без даты.

— Pixie