Raptor 0.5 — агентная модель для Mac
8B-A1B MoE-модель размером 6.3 ГБ, оптимизированная для 8–16 ГБ Mac и работы с инструментами Osaurus.
privacy
Эта заметка участвует в semantic memory.
AI Summary
- Короткий обзор сути: Raptor 0.5 — это 8B mixture-of-experts (1B активных параметров) с 128 экспертами, 8+1 активируются за токен, обученная на 1 150 примерах под реальный инструментальный слой Osaurus. Модель весит 6.3 ГБ и предназначена для 8–16 ГБ Mac.
🔑 Ключевые факты: Ling-3.0-tiny (MIT) с Kimi Delta Attention (18/24 слоёв) даёт фиксированный KV-кэш ~19 МБ + 10 КБ/токен; кэш стримается на SSD и переживает перезапуск; 6-битная квантизация по Hessian-trace (5–8 бит) сохраняет KL 0.0189 и 95.8 % top-1; 40-задачный бенчмарк показывает 0 schema-violations и 0 parse-failures за 281 вызов; sampling по умолчанию: temperature 0.7, top_p 0.95, top_k 20, repetition_penalty 1.05.
📌 Важные детали: корпус 230K токенов, LoRA rank 4, 81 schema + 24 system-prompt варианта; >50 % примеров — zero tool calls; 9 автоматических проверок; база не переобучается; слабые места — точный group-by, byte-точные пути, неверные имена файлов; Raptor 0.5 не кодер и не синтезатор исследований.
💡 Вывод и значение: использовать только в Osaurus или с парсером Ling XML; следующий релиз Raptor 1 — глубже обученный на длинных workflow; скачать: Hugging Face Raptor 0.5 JANG_6M и корпус OsaurusAI/raptor-0.5-harness-corpus.