VeriHarness: верификация агентов
VeriHarness — фреймворк для верификации long-horizon агентов, использующий ту же модель, что генерировала rollout'ы, для проверки и улучшения артефактов через разрешение разногласий и фальсификацию консенсуса.
privacy
Эта заметка участвует в semantic memory.
AI Summary
- Короткий обзор сути: VeriHarness — это verification harness для long-horizon general agents, который берёт N независимых rollout'ов одной и той же модели, использует ту же модель внутри изолированных сессий для проверки и выдаёт улучшенный артефакт с записью доказательств.
🔑 Ключевые факты: • verifier не является более сильным судьёй — преимущество только от структуры пула rollout'ов и активного сбора evidence из окружения; • два механизма: disagreement resolver (разрешает расхождения) и consensus challenger (фальсифицирует общие утверждения); • четыре model turns в трёх изолированных сессиях: resolver, challenger, adjudication, delivery; • adjudication выдаёт base rollout, evidence-backed revision plan (work[]) и unresolved claims (open[]); • single programmatic gate: delivered bundle должен содержать все файлы base под теми же именами.
📌 Важные детали: • 26 000 rollout'ов Gemini 3.5 Flash и Claude Opus 4.8 на пяти бенчмарках (APEX-Agents, Workspace-Bench Lite, WorkBuddy Bench, SpreadsheetBench 2, JobBench) выпущены на HF (caiqizh/veriharness); • средний прирост 6.2–6.4 балла над single rollout; • jail на mount-namespace (unshare -r -m -p) без привилегий; • native mode (--env native / native-full) запускает adjudication и delivery в task image бенчмарка; • skills library разделена на evidence-, resolve-, falsify-, repair-; --skills-mode mounted/auto; • scoring: final = select + (revised − base_regraded) для отмены grader drift.
💡 Вывод и значение: • для запуска: pip install -r requirements.txt, harness/scripts/setup_pi.sh, затем python -m harness.driver