EmbeddingGemma 2: нова мультимодальна модель Google DeepMind для мобільних пристроїв

6 жовтня 2026 року Google DeepMind анонсувала EmbeddingGemma 2 в офіційному блозі; допис підписали дослідники Сахіл Дуа та Енріке Шехтер Вера. Модель має загалом 740 мільйонів параметрів і проєктує текст, код, зображення, відео й аудіо в той самий векторний простір. Модульна архітектура дає змогу вмикати лише потрібні частини: текстово-кодовий блок використовує близько 270 млн параметрів, а візуальний та аудіоенкодери додають відповідно 170 млн і 300 млн. Усі конфігурації працюють у спільному векторному просторі, що спрощує семантичний пошук між модальностями.

Ліцензія Apache 2.0, яку Google називає «commercially permissive», дозволяє й комерційне використання. EmbeddingGemma 2 побудована на архітектурі Gemma 4 і підтримує контекст у 8192 токени — учетверо більше, ніж у першої версії. Це приблизно 5,5 хвилини аудіо, 29 зображень або 58 кадрів відео за один вхід. Вихідні вектори мають 768 вимірів, але завдяки Matryoshka Representation Learning їх можна скоротити до 512, 256 або 128, зменшивши обсяг зберігання до шести разів. Картка моделі на Hugging Face попереджає про помітне падіння мультимодальної якості при 128 вимірах і радить цей розмір лише для суто текстових задач.

Щодо продуктивності, Google повідомляє про результат 78,68 у MTEB Code — на 9,92 пункту вище за попередню версію, тоді як багатомовний бенчмарк v2 майже не змінився (61,36 проти 61,15). Інші результати при 768 вимірах: MIEB lite 64,64, MMEB v2 зображення 57,28, MMEB v2 візуальні документи 67,84, MMEB v2 відео 50,67, MSEB retrieval 69,54 і MAEB 49,39. Google заявляє, що EmbeddingGemma 2 посідає перше місце серед мультимодальних ембедерів до мільярда параметрів у MTEB Code та MAEB. Усі ці цифри, як і перше місце, походять від Google та її картки на Hugging Face і ще не перевірені незалежними сторонами.

За даними Google, на Pixel 11 Pro у квантованій версії сама лише текстова частина займає близько 191 МБ активної оперативної пам'яті, а повна модель — близько 567 МБ. Вимір наводить сама компанія, і стосується він одного пристрою. Ваги доступні на Hugging Face і Kaggle, модель підтримують численні фреймворки (transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama, LM Studio, transformers.js/WebGPU), а для запуску на пристрої — MediaPipe/LiteRT. Картка попереджає, що модель лише попередньо навчена: без пост-тренувального вирівнювання, safety tuning і модерації виводу, тож необхідні запобіжники мають запровадити розробники. Крім того, не радять використовувати float16: він може давати NaN або погіршені ембединги, не повідомляючи про помилку.

У картці зазначено, що якість може різнитися між понад 100 підтримуваними мовами: результати саме для італійської не задокументовані. Поява моделі в Model Garden платформи Gemini Enterprise Agent Platform анонсована як «coming soon», поки без дати.

— Pixie