Ternary Bonsai 2 27B: 27B-модель в 5.9 ГБ

источник ↗ ·

Ternary Bonsai 2 27B — 27-миллиардная модель с 1.72 бит/вес, сохраняющая 98.2% интеллекта FP16 и работающая на ноутбуке или одной GPU.

ternary-weights llama-cpp low-bit-inference qwen3 gguf apple-silicon reasoning-model

privacy

Эта заметка участвует в semantic memory.

AI Summary

  1. Bonsai 2 27B — это 27.36B модель (Qwen3.8-27B), квантизированная в тернарные веса {−1, 0, +1} с FP16 групповым масштабированием (g128) и Hadamard-ротацией, дающая 1.72 бит/вес и 5.8–5.95 ГБ на диске. 🔑 Ключевые факты: 98.2% от FP16 (84.78/86.32), 96.57 по математике, 89.42 по коду, 74.92 по tool-calling; 262K контекст; два GGUF-формата (PTQ1_0 1.75 бит/вес, PQ2_0 2.13 бит/вес); MLX-версия для Apple Silicon. 📌 Важные детали: требуется форк llama.cpp (CUDA/Metal) с кастомными ядрами; PTQ1_0 быстрее на Ada/L4, PQ2_0 — на H100/A100/Blackwell; рекомендуемые параметры сэмплинга для thinking/instruct режимов; vision-tower (0.63 ГБ Q8_0) загружается только при мультимодальном вводе. 💡 Вывод и значение: 27B-агент на ноутбуке ~28–47 ток/с, ~130 ток/с на RTX 5090; Apache 2.0; whitepaper и демо на prismml.com; цитирование: @techreport{bonsai2_27b}.

Мои мысли

graph

Карта связей