DeepSeek-V4.1-Flash-1017 NVFP4
Квантизированная NVIDIA версия мультимодальной MoE-модели DeepSeek-V4.1-Flash-1017 с 552B параметров, поддержкой контекста до 1M токенов и NVFP4-прецизионностью.
privacy
Эта заметка участвует в semantic memory.
AI Summary
🚀 TL;DR: это NVFP4-квантизированная версия модели DeepSeek-V4.1-Flash-1017 от DeepSeek AI, адаптированная NVIDIA для коммерческого использования на Blackwell-архитектуре. 🔑 Ключевые факты: 552B параметров (8B/16B активируется), контекст 1M токенов, MoE с CSA2, поддержка текста и изображений, MIT-лицензия, глобальное развёртывание. 📌 Важные детали: конвертация MXFP4→NVFP4 (W4A4, group size 16) для 384 экспертов в 40 слоях, Engram-таблицы переведены в MXFP4, размер чекпоинта ~400 GiB; требуется специальная сборка vLLM с PR #61530; точность на бенчмарках практически идентична источнику (GPQA 92.93, AA-LCR 80.19, SciCode 57.32, IFBench 76.47, MMMU-Pro 78.73, Terminal-Bench 2.1 81.11). 💡 Вывод и значение: модель готова к использованию в AI-агентах, чат-ботах и RAG-системах; команда запуска включает --tensor-parallel-size 4, --attention-config с FLASHINFER_MLA_SPARSE_DSV41, --engram-config cpu_offload; ограничения — возможные токсичные ответы и социальные биасы.