OrcaSAQ2 27B Cyber Uncensored GGUF

источник ↗ ·

27B uncensored модель OrcaSAQ2 с квантизацией до 15.7 GB для локального запуска, оптимизированная под кибербезопасность, red teaming и vulnerability research.

llm quantization cybersecurity red-teaming gguf qwen local-inference uncensored

privacy

Эта заметка участвует в semantic memory.

AI Summary

🚀 TL;DR OrcaSAQ2 27B Cyber — это 27B uncensored модель на базе Qwen3.8-27B, сжатая до 15.7 GB с сохранением 94.4% точности BF16. Оптимизирована для кибербезопасности, red teaming и локального запуска на 24 GB GPU.

📖 Что это такое OrcaSAQ2 27B Cyber Uncensored GGUF — это квантизированная версия Qwen3.8-27B-Uncensored, созданная OrcaRouter для локального развертывания. Модель поддерживает 262K контекста, tool calling, thinking mode и предназначена для vulnerability analysis, red teaming и offensive-security research.

🔑 Ключевые факты

  • Размер: 54.7 GB (BF16) → 15.7 GB (OrcaSAQ2)
  • Снижение размера: 71.3%
  • Perplexity: 5.6532 → 5.6961 (+0.80%)
  • Top-1 agreement: 94.4%
  • Mean KLD: 0.020
  • Контекст: 262,144 токенов
  • Производительность: 27.6 tok/s с DFlash2 на 24 GB GPU
  • Архитектура: 64 слоя, hidden size 5120, 48 Gated DeltaNet + 16 full-attention
  • Лицензия: Apache-2.0
  • 98.07% pass@1 на CyberGym Level 1

⚙️ Как это работает OrcaSAQ2 использует proprietary sensitivity-aware mixed-precision quantization для сохранения качества модели при ограниченном VRAM. Модель запускается через llama.cpp, Ollama, LM Studio с поддержкой DFlash2 speculative decoding (+35% throughput). Команды запуска: llama-cli -m model.gguf -ngl 99 -c 32768, llama-server для OpenAI-совместимого API.

💡 Вывод и значение OrcaSAQ2 позволяет запускать 27B uncensored модель на потребительском железе (24 GB GPU) с минимальной потерей качества. Идеально для research, red teaming и security testing, где требуется локальный контроль и отсутствие цензуры. Требует собственной системы безопасности от deployer'а.

Мои мысли

graph

Карта связей