OmniVoice локальный TTS 600+ языков

источник ↗ ·

Open-source TTS-модель OmniVoice от k2-fsa для локального синтеза речи с zero-shot клонированием голоса на 600+ языках без облачных API.

text-to-speech open-source voice-cloning локальный-инференс zero-shot multilingual pytorch apple-silicon

privacy

Эта заметка участвует в semantic memory.

AI Summary

  1. OmniVoice — open-source TTS-модель k2-fsa (автор Daniel Povey) с архитектурой диффузионной языковой модели, поддерживает 600+ языков, zero-shot клонирование голоса по 3–10-секундному образцу и генерацию голоса по текстовому описанию. 🔑 Ключевые факты: Voice Cloning (с ref_audio), Voice Design (instruct="female, low pitch, british accent"), Auto Voice (автоматический выбор); параметры generate() — num_step, speed, duration, language, normalize_text, audio_chunk_threshold/duration.
  2. Установка: PyTorch под CUDA/MPS/XPU + pip install omnivoice; команды from_pretrained("k2-fsa/OmniVoice"), model.generate(), create_voice_clone_prompt/save/load; CLI omnivoice-infer и omnivoice-infer-batch с JSONL; нормализация чисел через omnivoice[tn] + pynini; управляющие вставки [laughter], пиньинь, CMU-фонемы.
  3. Практика: RTF 0.025 на H100, ~23 с на Mac mini за минуту аудио; 24 кГц; Apache 2.0 для кода, проверка лицензии весов; запрещено несанкционированное клонирование; сценарии — аудиоверсии статей, аудиокниги, локальные уведомления; ссылки: github.com/k2-fsa/OmniVoice, huggingface.co/k2-fsa/OmniVoice, arxiv.org/abs/2604.00688.

Мои мысли

graph

Карта связей