EmbeddingGemma 2: мультимодальная модель
Google DeepMind выпустила EmbeddingGemma 2 — компактную 740M-параметровую open-weight модель, которая переводит текст, изображения, видео и аудио в единое векторное пространство для локального поиска и принятия решений.
privacy
Эта заметка участвует в semantic memory.
AI Summary
- Короткий обзор: Google DeepMind представила EmbeddingGemma 2 — 740M-параметровую open-weight мультимодальную модель, которая нативно объединяет текст, изображения, видео и аудио в одном векторном пространстве. Модель оптимизирована для локальных, приватных приложений и работает на устройствах с RAM от 191 MB (только текст) до 567 MB (полная мультимодальная версия).
🔑 Ключевые факты: • Модель не требует дообучения для zero-shot классификации и маршрутизации интентов; • Поддерживает Matryoshka Representation Learning (MRL) для динамического усечения размерности векторов; • Quantization-Aware Training (QAT) позволяет использовать INT4/INT8; • Модульная архитектура позволяет загружать только нужные энкодеры; • Vision-эмбеддинги выполняются за 37.3 мс на MacBook M5 Pro GPU.
📌 Важные детали: • 768-мерные векторы (можно урезать до 128–512); • MediaPipe Universal Embedder и Semantic Retriever обеспечивают кросс-платформенный API; • ML Kit на Android добавит NPU-ускорение и автоматические обновления модели; • LiteRT позволяет запускать одну .litertlm-файл на CPU/GPU/NPU; • В Google AI Edge Gallery реализованы Instant Media Search и Video Moments Finder; • Foresight на Mac интегрируется с системным аудио и микрофоном для локального анализа встреч.
💡 Вывод и значение: Разработчики могут сразу скачать предквантованные .litertlm-бандлы с Hugging Face, использовать MediaPipe Tasks для быстрой интеграции или LiteRT для тонкой настройки. Рекомендуется протестировать модель на реальных устройствах через Google Cloud Device Platform или Colab, а также изучить референсные реализации в Google AI Edge Gallery.