OrcaSAQ2 27B Cyber Uncensored GGUF

источник ↗ ·

27B uncensored модель Qwen3.8-27B, сжатая до 15.7 GB с сохранением 94.4% точности и +0.80% perplexity для локального запуска.

llm-quantization uncensored-model qwen llama-cpp local-inference cybersecurity tool-calling speculative-decoding

privacy

Эта заметка участвует в semantic memory.

AI Summary

🚀 TL;DR

OrcaSAQ2 27B Cyber — это 27B uncensored модель на базе Qwen3.8-27B, сжатая с 54.7 GB до 15.7 GB с минимальной потерей качества (+0.80% PPL, 94.4% Top-1 agreement). Оптимизирована для локального запуска на 24 GB GPU с поддержкой tool calling, thinking mode и DFlash2 speculative decoding.

📖 Что это такое

OrcaSAQ2 — это проприетарная система mixed-precision квантизации от OrcaRouter, которая сохраняет полезное поведение модели в рамках практического GPU memory envelope. Модель предназначена для coding, tool use, reasoning, defensive red teaming, vulnerability research и authorized security testing.

🔑 Ключевые факты

  • Размер: 54.7 GB → 15.7 GB (71.3% меньше)
  • Perplexity: 5.6532 → 5.6961 (+0.80%)
  • Top-1 agreement: 94.4%
  • Mean KLD: 0.020
  • Context: 262K токенов
  • Скорость: 20.5 tok/s (без DFlash2), 27.6 tok/s (с DFlash2)
  • VRAM: 14.9 GB (full offload), 18.1 GB (с DFlash2)
  • Архитектура: 64 слоя, hidden size 5120, 48 Gated DeltaNet + 16 full-attention
  • License: Apache-2.0

⚙️ Как это работает

OrcaSAQ2 использует sensitivity-aware mixed-precision квантизацию для сохранения качества при строгом memory target. Модель поддерживает thinking mode и tool calling по умолчанию. DFlash2 speculative decoding ускоряет decode на 35% за счёт draft-and-verify механизма. Команды запуска:

llama-cli -m OrcaSAQ-2-27B-Uncensored.gguf -ngl 99 -c 32768

llama-server -m OrcaSAQ-2-27B-Uncensored.gguf -ngl 99 -c 32768 --host 0.0.0.0 --port 8080

Рекомендуемый sampling: temperature=1.0, top_p=0.95, top_k=20

💡 Вывод и значение

Модель позволяет запускать 27B uncensored LLM на 24 GB GPU с сохранением высокого качества для research, red-teaming и production use. Квантизация не является математически lossless — 94.4% Top-1 agreement означает различия в некоторых токенах. Guardrails и safety enforcement — ответственность deployer'а. Модель text-only, vision tower не включён.

📌 Важные детали

  • Модель uncensored: удалена refusal direction, будет выполнять запросы, которые safety-tuned модели отклоняют
  • Наследует capabilities, biases и limitations Qwen3.8-27B
  • Максимальный context 262K не гарантирует работу на всех GPU
  • Для 16 GB GPU возможен full offload без drafter'а на 20.5 tok/s
  • Публичный drafter: z-lab/Qwen3.8-27B-DFlash2-GGUF (Q8_0, 2.06 GB)
  • Автор: OrcaRouter (orcarouter/Qwen3.8-27B-Uncensored)

Мои мысли

graph

Карта связей