Nemotron 3 Diarization — модель NVIDIA
Открытая 100M-параметровая модель NVIDIA Nemotron 3 Diarization, занявшая 1-е место в VoiceArena Diarization-Bench с DER 14.72% и поддержкой до 8 спикеров.
privacy
Эта заметка участвует в semantic memory.
AI Summary
🚀 TL;DR: NVIDIA выпустила открытую 100M-параметровую модель Nemotron 3 Diarization, которая решает задачу speaker diarization — определение «кто и когда говорит» в аудио с перекрытием голосов. Модель занимает 1-е место в VoiceArena Diarization-Bench (DER 14.72% на 139 английских разговорах, ~22 ч), поддерживает до 8 спикеров и работает как в оффлайн-, так и в стриминговом режиме.
🔑 Ключевые факты: • Diarization и ASR — разные задачи; их комбинация даёт speaker-attributed transcript. • Модель использует arrival-order сортировку спикеров (Sortformer) и кэш AOSC + FIFO для стабильности меток в стриминге. • Поддерживаемые латентности: 30.4 / 1.04 / 0.64 / 0.32 с (входной буфер). • Среднее относительное снижение DER на 41% по сравнению с предыдущей baseline-моделью diar_streaming_sortformer_4spk-v2.1.
📌 Важные детали: • Вход: 16 кГц, моно; выход — [T, 8] тензор вероятностей активности спикеров с шагом 10 мс. • Обучение: публичные + лицензированные данные David AI (21 язык). • Ограничения: максимум 8 спикеров; шум, реверберация, far-field и доменный сдвиг ухудшают качество. • Лицензия: OpenMDW 1.1.
💡 Вывод и значение: • Установить NeMo: uv pip install 'nemo-toolkit[asr]'. • Загрузить модель: SortformerEncLabelModel.from_pretrained('nvidia/Nemotron-3-Diarization'). • Для стриминга задать параметры из таблицы (chunk_len, fifo_len и т.д.) и вызвать _check_streaming_parameters(). • Комбинировать с ASR (Parakeet TDT 0.6B v3) для получения speaker-attributed транскрипции. • Ссылки: Hugging Face, VoiceArena leaderboard, Argmax Pro SDK 3, NeMo quick-start guide.