#llama-cpp

Новая линейка моделей Qwen3.8 с поддержкой vision, reasoning, 256K контекста и квантизацией до 1-битных GGUFs, запускаемая через Unsloth и llama.cpp.

Практическое руководство по запуску Qwen3.8-27B на видеокарте с 16 ГБ VRAM с помощью llama.cpp и агрессивной квантизации.

Local Studio — это all-in-one приложение, которое объединяет модели, рантайм и железо для запуска ИИ на домашнем устройстве без облачных провайдеров.

Интерактивный гайд по выбору бэкенда, модели, квантизации и флагов llama.cpp под ограничения VRAM, RAM и скорости памяти.

Подробные инструкции по использованию нецензурированной модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive (1.33k) с llama-cpp-python, llama.cpp, Ollama и Unsloth Studio для локального инференса. 🚀