gigastt — on-device русский STT

источник ↗ ·

Встраиваемый on-device speech-to-text для русского языка: один Rust-бинарник, GigaAM v3 INT8 через ONNX Runtime, без облака и ключей.

speech-to-text rust onnx on-device russian-asr gigaam edge-ai streaming

privacy

Эта заметка участвует в semantic memory.

AI Summary

🚀 TL;DR

Gigastt — это полностью локальный, встраиваемый движок распознавания русской речи на базе GigaAM v3 (INT8, ~225 МБ). Работает через ONNX Runtime, поставляется одним статическим бинарником, даёт WER 3.55–18.50 % в зависимости от домена и RTF ~0.10.

📖 Что это такое

Embeddable on-device Russian speech-to-text: CLI, сервер (WebSocket/REST/SSE/OpenAI-совместимый), C-ABI FFI для Android, крейт gigastt-core для встраивания в Rust-приложения. Модель скачивается один раз, после чего вся работа идёт локально.

🔑 Ключевые факты

• WER: clean 3.55 %, far-field 4.08 %, phone 18.50 %, YouTube 10.91 % (статистически лучше Vosk на 3 из 4 доменов). • RTF ~0.10, cold-start 0.94 с, RAM ~46–66 МБ resident. • Поддержка punctuation & ITN, speaker diarization (WeSpeaker), multi-channel telephony. • Модели: rnnt (по умолчанию), e2e_rnnt (BPE + пунктуация), ml_ctc / ml_ctc_large (ru/en/kk/ky/uz). • Установка: brew, cargo install, docker (CPU/CUDA).

⚙️ Как это работает

  1. Скачивание INT8-модели GigaAM v3 (~225 МБ) при первом запуске.
  2. Инференс через ONNX Runtime (CPU, CoreML, CUDA, NNAPI, ANE).
  3. CLI: gigastt transcribe, transcribe-batch, watch, serve.
  4. Сервер отдаёт инкрементальные WebSocket-партиалы (~0.78 с до первого).
  5. Форматы вывода: JSON, TXT, SRT, VTT, Markdown с тайм-кодами и уверенностью.

💡 Вывод и значение

Лучший open-source выбор для приватного, лёгкого и точного русского STT в edge/embedded сценариях, где важны отсутствие облака, малый footprint и возможность встраивания без Python.

📌 Важные детали

• Не лидер по скорости (Vosk RTF ~0.03) и не multilingual (только ru + 4 языка). • RAM в ps показывает ~277–510 МБ из-за memory-mapped модели; резидентный footprint ~46–66 МБ. • Raspberry Pi / edge: метрики пока не измерены. • Лицензия MIT; benchmark-данные Golos/OpenSTT под CC BY-NC 4.0. • Автор/репозиторий: https://github.com/ekhodzitsky/gigastt

Мои мысли

graph

Карта связей