записи.

Rapid-MLX: локальный сервер LLM на Apple Silicon 16 августа 2026, 12:17

Высокопроизводительный OpenAI-совместимый сервер для запуска LLM на Mac с Apple Silicon, построенный на MLX.

apple-silicon local-inference openai-compatible mlx-framework llm-server +2

DwarfStar — локальный inference-движок DeepSeek V4 11 июля 2026, 17:28

Самодостаточный inference-движок, заточенный под DeepSeek V4 Flash/PRO, с поддержкой Metal, CUDA, ROCm, SSD-streaming, распределённого запуска и встроенного агента.

local-inference deepseek-v4 metal cuda ssd-streaming +4

источник ↗

Qwen3.5-9B Uncensored Aggressive: Инструкции по запуску 9 мая 2026, 18:51

Подробные инструкции по использованию нецензурированной модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive (1.33k) с llama-cpp-python, llama.cpp, Ollama и Unsloth Studio для локального инференса. 🚀

qwen35 uncensored-model llama-cpp ollama unsloth +3

источник ↗

#local-inference