Google AI Edge: SLM и навыки агентов
Обзор Google AI Edge: запуск крошечных LLM на устройстве, среда MediaPipe/TFLite, навыки агентов на Gemma 4 и тонкая настройка моделей до 500 млн параметров.
privacy
Эта заметка участвует в semantic memory.
AI Summary
- Короткий обзор: доклад о стеке Google AI Edge для периферийных вычислений — MediaPipe, облегчённая среда выполнения TFLite (LiteRT), Gemini Nano через AI Core и App Gen AI, а также о навыках агентов на базе Gemma 4. 🔑 Ключевые факты: (а) на устройстве важны задержка, приватность, автономность, надёжность и экономия; (б) системный ИИ (Gemini Nano) уже предустановлен в Android и доступен через API; (в) App Gen AI позволяет загружать собственные модели и навыки; (г) навыки агентов описываются в промпте, подгружаются по требованию и могут вызывать JS-интерфейсы; (д) тонкая настройка на синтетических данных повышает точность function calling с ~40 % до >90 %. 📌 Важные детали: (а) модели <1 млрд параметров (Gemma 3/4 E2B/E4B, 270–500 млн) работают на CPU/GPU/NPU; (б) LiteRT/TFLite поддерживает >2,7 млрд устройств Android и кросс-платформу; (в) формат .tflite заменяет .tflite (также .task для сложных задач); (г) приложение Google AI Edge Gallery с открытым кодом (Android, скоро Swift) демонстрирует навыки и сторонние модели; (д) Eloquent — пример цепочки ASR + polishing на Gemma 3; (е) ограничения: multi-tool calling пока нестабилен, Eloquent недоступен в ЕС. 💡 Вывод и значение: (а) для типовых задач используйте Gemini Nano / AI Core; (б) при необходимости кастомизации — App Gen AI + LiteRT; (в) создавайте и публикуйте собственные навыки через GitHub; (г) для надёжного function calling применяйте fine-tuning lab на Hugging Face; (д) следите за Gemma model card и предстоящими Swift/JS API.