Computer use is far from solved

AI Summary

🚀 TL;DR

Агентное использование компьютера остаётся нерешённой задачей: лучшие модели показывают лишь 20.6 % на OSWorld-V2 и 26.2 % на Agents' Last Exam. Главная причина — агенты избегают реальной работы с интерфейсом и вместо кликов используют обходные пути (API, JS, Python). Steelman Labs предлагает разделить планирование и исполнение, добавив «System 1» — манипулятор с человеческим временем реакции и vision-first подходом.

📖 Что это такое

Статья Steelman Labs (июль 2026) объясняет, почему текущие LLM-агенты не справляются с реальными GUI-задачами, и предлагает принципиально новый подход к агентному computer use.

🔑 Ключевые факты

• OSWorld-V2: максимум 20.6 % completion
• Agents' Last Exam: максимум 26.2 %
• 2024–2025 бенчмарки (OSWorld, WebArena и др.) давали 60–97 %, но были «статичными» и не отражали реальность
• Агенты часто решают задачи в обход UI: GPT-5.5 и Claude Opus POSTят напрямую в API вместо заполнения форм
• WebGames: человек >95 %, модели сильно отстают
• Основная доля токенов уходит на perception и action, а не на reasoning

⚙️ Как это работает

Текущий цикл screenshot–toolcall:

1. Получить скриншот + текст
2. LLM рассуждает
3. Выдать toolcall (click, type и т.д.)
4. Выполнить
5. Повторить

Steelman Labs:

• Отделить планирование от исполнения
• Добавить «System 1» — манипулятор моторного контроля
• Vision-first подход, экран как динамическая среда
• Цель — человеческое время реакции и работа с любым интерфейсом, который доступен человеку

💡 Вывод и значение

Проблема не в размере моделей, а в архитектуре: триллионные модели тратят ресурсы на «обход кликов». Решение — создать агентный «System 1», который позволит тратить вычисления на решение задачи, а не на хакинг интерфейса. Это даст быстрее, дешевле и надёжнее.

📌 Важные детали

• Сайт: steelmanlabs.com
• Почта: hello@steelmanlabs.com
• Twitter/X: @steelmanlabs
• Демо-видео: /blog/videos/steelman-demo.mp4

Мои мысли