Ornith-1.5: самосовершенствование моделей
Ornith-1.5 — семейство моделей (397B MoE, 35B MoE, 9B Dense), которые сами генерируют задачи, каркасы и решения для непрерывного обучения через RL.
privacy
Эта заметка участвует в semantic memory.
AI Summary
🚀 TL;DR Ornith-1.5 — это семейство моделей, которые сами создают задачи, каркасы и решения, замыкая цикл самообучения через RL.
📖 Что это такое Ornith-1.5 — развитие Ornith-1.0 на базе Qwen3.5 и Gemma 4. Модель проходит три стадии: генерация задач, построение каркасов (scaffold) и генерация решений. Все три компонента оптимизируются совместно через GRPO.
🔑 Ключевые факты • Три масштаба: 397B MoE, 35B MoE, 9B Dense • Ornith-1.5-397B: Terminal-Bench 2.1 = 86.1, DeepSWE = 56.0 (на уровне Claude Opus 4.8) • Ornith-1.5-35B: Terminal-Bench 2.1 = 68.5, SWE-Bench Verified = 79.0 (лучше Qwen 3.6-35B) • Ornith-1.5-9B: Terminal-Bench 2.1 = 47.0, SWE-Bench Verified = 70.6 (лучше Gemma 4-31B) • Мобильная версия 9B работает на iPhone/Android
⚙️ Как это работает
- Генерация задачи: модель предлагает всё более сложные задачи на основе истории
- Построение каркаса: инструкции, инструменты, декомпозиция
- Генерация решения: rollout с оценкой через harness
Награда задачи: R_task = V(q,s) × D(q,s,{τ_i}) × N(q) • V — валидность и верифицируемость • D — сложность на границе способностей (p* = 0.2) • N — новизна относительно буфера задач
Награда каркаса: R_harness = C(q,h) × F(h,{τ_i}) × H(h) • C — соответствие задаче • F — точность оценки • H — устойчивость к reward hacking
💡 Вывод и значение Ornith-1.5 показывает, что замкнутый цикл самообучения без человеческих задач и каркасов позволяет моделям непрерывно расширять собственный curriculum и достигать SOTA среди open-source моделей.
📌 Важные детали • p* = 0.2 — целевая доля успешных решений • σ² в формуле D • sim(q,q_j) — косинусное сходство для novelty • GRPO — алгоритм оптимизации всех трёх стадий