Qwen3.5-9B Uncensored Aggressive: Инструкции по запуску

источник ↗ ·

Подробные инструкции по использованию нецензурированной модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive (1.33k) с llama-cpp-python, llama.cpp, Ollama и Unsloth Studio для локального инференса. 🚀

qwen35 uncensored-model llama-cpp ollama unsloth local-inference агрессивный-аи huggingface

AI Summary

Страница Hugging Face с инструкциями по запуску нецензурированной модели Qwen3.5-9B-Uncensored-HauhauCS-Aggressive (размер 9B параметров, агрессивный стиль, 1.33k загрузок). Описаны способы интеграции с популярными библиотеками и инструментами для локального инференса: Python (llama-cpp-python), C++ (llama.cpp с brew/WinGet/бинарниками/source/Docker), Ollama и Unsloth Studio. Поддержка BF16.gguf и квантизаций Q4_K_M для сервера с UI и CLI. Идеально для быстрого старта без облака. 💻

🔹 llama-cpp-python: !pip install llama-cpp-python, загрузка Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-BF16.gguf, llm.create_chat_completion(). 🔹 llama.cpp: Установка через brew install, winget, GitHub-релиз, source (git clone ggerganov/llama.cpp) или Docker; запуск llama-server/cli -hf ...:Q4_K_M для сервера/UI или терминала. 🔹 Ollama: Просто ollama run hf.co/HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive:Q4_K_M. 🔹 Unsloth Studio: Установка скриптом (curl/irm для macOS/Linux/WSL/Windows), unsloth studio -H 0.0.0.0 -p 8888, чат в браузере по localhost:8888. 🔹 Репозиторий: HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive на HF.

Мои мысли