Jev: System One модель для агентов
Jev — это не LLM, а System One модель от TypeSafe AI, которая делает быстрые структурированные классификации для агентских циклов, ускоряя их до 200× и снижая стоимость до 400×.
ai-agents
langchain
classification-model
system-one
model-routing
reinforcement-learning
structured-output
tool-calling
privacy
Эта заметка участвует в semantic memory.
AI Summary
- Короткий обзор сути: Агентский цикл традиционно тормозится на каждом шаге из-за вызовов LLM. Jev решает эту проблему, заменяя LLM на System One модель, которая за один параллельный запрос выдаёт вероятности и типизированные ответы. 🔑 Ключевые факты: Jev не генерирует текст, а возвращает три типа ответов — Choice, Score, Noul — с вероятностями и confidence; поддерживает несколько вопросов в одном запросе; обучен RLCD (reinforcement learning for calibrated decisions). Интеграция в LangChain идёт через TypeSafeClassifier и два middleware: ModelRouterMiddleware и AutoModeMiddleware. 📌 Важные детали: запрос содержит state (текст, JSON или сообщения) и словарь questions; latency почти не растёт при добавлении вопросов; AutoModeMiddleware блокирует опасные tool calls до их выполнения; ModelRouterMiddleware выбирает модель по критериям стоимости/сложности. Примеры: is_urgent → noul 0.999; guardrail для bash-команд. 💡 Вывод и значение: использовать Jev для model-routing и guardrails, LLM — только для генерации; установить langchain-typesafe, задать TYPESAFE_API_KEY; протестировать AutoModeMiddleware на своих инструментах; следить за обновлениями на X и форуме LangChain.