#kv-cache

Практическое руководство по запуску Qwen3.8-27B на видеокарте с 16 ГБ VRAM с помощью llama.cpp и агрессивной квантизации.

Edge-native движок для запуска 290B+ MoE-моделей на потребительских GPU с bandwidth-adaptive CPU–GPU ко-исполнением.

Интерактивный гайд по выбору бэкенда, модели, квантизации и флагов llama.cpp под ограничения VRAM, RAM и скорости памяти.

Самодостаточный inference-движок, заточенный под DeepSeek V4 Flash/PRO, с поддержкой Metal, CUDA, ROCm, SSD-streaming, распределённого запуска и встроенного агента.