#llama-cpp

Приложение DigUp использует модель EmbeddingGemma 2 для поиска по содержимому файлов (текст, изображения, аудио, видео) на Mac без отправки данных в облако.

27B uncensored модель Qwen3.8-27B, сжатая до 15.7 GB с сохранением 94.4% точности и +0.80% perplexity для локального запуска.

Ternary Bonsai 2 27B — 27-миллиардная модель с 1.72 бит/вес, сохраняющая 98.2% интеллекта FP16 и работающая на ноутбуке или одной GPU.

Новая линейка моделей Qwen3.8 с поддержкой vision, reasoning, 256K контекста и квантизацией до 1-битных GGUFs, запускаемая через Unsloth и llama.cpp.

Практическое руководство по запуску Qwen3.8-27B на видеокарте с 16 ГБ VRAM с помощью llama.cpp и агрессивной квантизации.

Local Studio — это all-in-one приложение, которое объединяет модели, рантайм и железо для запуска ИИ на домашнем устройстве без облачных провайдеров.

Интерактивный гайд по выбору бэкенда, модели, квантизации и флагов llama.cpp под ограничения VRAM, RAM и скорости памяти.

Подробные инструкции по использованию нецензурированной модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive (1.33k) с llama-cpp-python, llama.cpp, Ollama и Unsloth Studio для локального инференса. 🚀