EmbeddingGemma — on-device embedding-модель
Новая открытая 308-миллионная модель от Google DeepMind для генерации эмбеддингов, оптимизированная для работы на мобильных устройствах и без интернета.
privacy
Эта заметка участвует в semantic memory.
AI Summary
- Короткий обзор сути: Google DeepMind выпустила EmbeddingGemma — компактную (308 млн параметров) открытую модель для создания текстовых эмбеддингов, специально оптимизированную для on-device сценариев (RAG, семантический поиск) без подключения к сети.
🔑 Ключевые факты • Лучшая в классе среди открытых моделей <500M параметров по MTEB (Massive Text Embedding Benchmark). • Поддержка 100+ языков, контекст 2K токенов. • Matryoshka Representation Learning: размеры эмбеддингов 768 → 512 → 256 → 128. • <15 мс инференс на EdgeTPU (256 токенов). • RAM <200 МБ после квантизации (QAT). • Совместима с Gemma 3n для мобильных RAG-пайплайнов.
📌 Важные детали • 308M параметров = ~100M модельных + ~200M эмбеддинговых. • Использует тот же токенизатор, что и Gemma 3n. • Поддержка: sentence-transformers, llama.cpp, MLX, Ollama, LiteRT, transformers.js, LMStudio, Weaviate, Cloudflare, LlamaIndex, LangChain. • Доступна на Hugging Face, Kaggle, Vertex AI. • Есть quickstart notebook для fine-tuning и RAG-пример в Gemma Cookbook. • Официальный тех-репорт доступен.
💡 Вывод и значение • Для on-device/offline задач — EmbeddingGemma оптимальный выбор. • Для серверных сценариев — Gemini Embedding через Gemini API. • Скачать веса → интегрировать через документацию → протестировать RAG-пример.