#vllm

Квантизированная NVIDIA версия мультимодальной MoE-модели DeepSeek-V4.1-Flash-1017 с 552B параметров, поддержкой контекста до 1M токенов и NVFP4-прецизионностью.

DFlash 2 — обновление метода параллельного speculative decoding, которое даёт +16–25 % acceptance length при 1 % overhead и сохраняет точность оригинальной модели.

Local Studio — это all-in-one приложение, которое объединяет модели, рантайм и железо для запуска ИИ на домашнем устройстве без облачных провайдеров.

Модель baidu/Unlimited-OCR для однокадрового парсинга документов и OCR с поддержкой Transformers, vLLM, SGLang и Docker.

Marlin — 2B-параметровая видео-VLM, которая извлекает структурированные описания сцен и событий с точными таймкодами и находит временные интервалы по естественному языку.