записи.

OrcaSAQ2 27B Cyber Uncensored GGUF 4 октября 2026, 13:12

27B uncensored модель OrcaSAQ2 с квантизацией до 15.7 GB для локального запуска, оптимизированная под кибербезопасность, red teaming и vulnerability research.

llm quantization cybersecurity red-teaming gguf +3

источник ↗

OrcaSAQ2 27B Cyber Uncensored GGUF 27 сентября 2026, 15:45

27B uncensored модель Qwen3.8-27B, сжатая до 15.7 GB с сохранением 94.4% точности и +0.80% perplexity для локального запуска.

llm-quantization uncensored-model qwen llama-cpp local-inference +3

источник ↗

Rapid-MLX: локальный сервер LLM на Apple Silicon 16 августа 2026, 12:17

Высокопроизводительный OpenAI-совместимый сервер для запуска LLM на Mac с Apple Silicon, построенный на MLX.

apple-silicon local-inference openai-compatible mlx-framework llm-server +2

источник ↗

DwarfStar — локальный inference-движок DeepSeek V4 11 июля 2026, 17:28

Самодостаточный inference-движок, заточенный под DeepSeek V4 Flash/PRO, с поддержкой Metal, CUDA, ROCm, SSD-streaming, распределённого запуска и встроенного агента.

local-inference deepseek-v4 metal cuda ssd-streaming +4

источник ↗

Qwen3.5-9B Uncensored Aggressive: Инструкции по запуску 9 мая 2026, 18:51

Подробные инструкции по использованию нецензурированной модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive (1.33k) с llama-cpp-python, llama.cpp, Ollama и Unsloth Studio для локального инференса. 🚀

qwen35 uncensored-model llama-cpp ollama unsloth +3

источник ↗

#local-inference