Большинство агентных циклов выполняют вызов инструмента в тот же момент, когда модель его предлагает. Результаты JevAct показывают, что дешёвая вероятностная контрольная точка непосредственно перед выполнением может сделать агентов, работающих с инструментами, надёжнее, хотя выигрыш сильно различается от бенчмарка к бенчмарку.
Резюме для руководства
- LLM-агенты всё чаще совершают значимые действия через внешние инструменты, но эти действия часто выполняются без независимой проверки соответствия политике или завершённости задачи.
- JevAct заранее, в офлайне, компилирует политику предметной области в вопросы, правила, исполняемые проверки состояния и, где нужно, чек-лист передачи.
- Во время выполнения код проверяет факты в записях инструментов, а Kev, открытая модель решений типа Jev, отвечает на вопросы, зависящие от диалога.
- По сравнению с обвязкой ReAct на τ²-bench (Airline, Telecom) и BFCL выигрыш стабилен на Telecom и в успехе BFCL во всех трёх прогонах и менее однозначен на Airline.
- Сами авторы формулируют вывод осторожно: результаты указывают на то, что структурированные модели решений в сочетании с исполняемой верификацией могут повысить надёжность.
Проблема: выполнение следует за предложением #
Агент, который бронирует рейс, отменяет заказ или меняет настройку аккаунта, делает то, что нельзя тихо откатить. Неприятно то, как мало стоит между предложением модели и его последствиями. Многие агентные циклы выполняют предложенный вызов инструмента сразу, как только модель его выдала. Никто независимо не проверяет, соответствует ли действие политике предметной области и действительно ли завершена задача, которую агент считает выполненной.
Этот разрыв служит отправной точкой для «Think Before You Act: Decision Gate for LLM Agents», препринта arXiv 2026 года, написанного Ифтахом Шохамом (Iftach Shoham), Ювалем Давидом (Yuval David) и коллегами из IBM, где представлен JevAct. Наблюдение не новое, но его стоит проговорить, потому что большая часть агентного инструментария сосредоточена на улучшении того, кто предлагает. Агенты ReAct чередуют рассуждения с использованием инструментов, и этот паттерн стал распространённой базовой линией. Методы рефлексии, такие как Self-Refine и Reflexion, добавляют критику и обратную связь, чтобы улучшить последующие предложения или попытки, не обновляя веса модели. При всей пользе эти методы сами по себе не проверяют конкретное действие на соответствие политике непосредственно перед выполнением. Проверка, которая интересует JevAct, находится в другой точке цикла: после того как предложение появилось и до того как оно зафиксировано.
Что такое JevAct #
JevAct это обвязка, которая проверяет выбранные предложения до выполнения. Он описан как фреймворк верификации во время выполнения, который перехватывает выбранные действия агента и даёт возможность исправления на основе обратной связи. Он работает независимо от базовой модели агента и не требует изменения параметров модели или её инструментов. В оцениваемой конфигурации LLM агента, базовый промпт и инструменты остаются неизменными.
Архитектурно JevAct дополняет обвязку агента ReAct, вставляя этап избирательной проверки между предложением сообщения и его выполнением. Слово «избирательной» важно. Фреймворк не проверяет каждое сообщение; он нацелен на определённые виды действий. В статье определены два. Вызов записи меняет среду, например бронирует, отменяет или меняет настройку. Передача (hand-off) завершает попытку агента: пользователь передаётся человеку или ему сообщают, что больше ничего сделать нельзя. Запись это место, где нарушение политики наносит ущерб; передача это место, где агент может сдаться слишком рано. Заявленная цель фреймворка, выявлять потенциально недопустимые действия и преждевременное завершение задачи, точно ложится на эти две категории.
Когда проверка не пройдена, предложение не просто блокируется. Проверки могут отложить выполнение и запросить у LLM пересмотренное предложение с временной обратной связью в пределах фиксированного бюджета исправлений. Прошедшее проверку предложение выполняется. Помеченное возвращается агенту с адресной обратной связью и ограниченной возможностью исправиться. Разделение обязанностей остаётся чётким: агент по-прежнему предлагает действия, а Kev их не выбирает.
Два вида свидетельств, один шлюз #
Конструкция опирается на разделение того, что можно проверить детерминированно, и того, что нельзя. JevAct сочетает детерминированную проверку фактов о состоянии инструментов с вероятностной оценкой контекста диалога. Во время выполнения код проверяет факты, доступные в записях инструментов, а Kev отвечает на вопросы, зависящие от диалога.
Такое разделение разумно. Часть условий политики это факты в записях инструмента, и программа может прочитать их без чьего-либо мнения. Другие условия живут в том, что пользователь и агент сказали друг другу, и никакой запрос к базе данных их не разрешит. Если первое отдать коду, а второе модели, модель спрашивают только о том, на что код ответить не может.
Офлайн-половина делает подход практичным. Компилятор превращает политику предметной области в вопросы, правила, исполняемые проверки состояния инструментов и, где нужно, чек-лист передачи. Иначе говоря, JevAct компилирует политики предметной области в исполняемые проверки состояния и структурированные вопросы, которые оценивает модель решений, работающая только в режиме prefill. Авторы пишут, что закладывают основу процесса, который компилирует политики предметной области в вопросы, правила принятия решений, исполняемые проверки состояния и чек-листы передачи для шлюза на модели решений. Это скромная формулировка, и я принял бы её буквально: речь об основе процесса, а не о готовом продукте.
Почему модель решений, а не LLM-судья #
Очевидная альтернатива это LLM-судья, который читает предложение и пишет вердикт. Возражение статьи практическое. Свободные объяснения такого судьи всё равно нужно интерпретировать, прежде чем шлюз сможет на них действовать, а принимать это решение с помощью передовой модели дорого. Шлюзу нужно решение, а не эссе.
Модели решений созданы именно для этого. Jev представил модели решений, которые возвращают типизированные варианты, оценки и вероятности вместо сгенерированного текста. Они возвращают варианты и вероятности для фиксированных вопросов, что упрощает проверки по порогу. Модель, которую использует JevAct, работает только в режиме prefill и выдаёт вероятностные суждения, не опираясь на генерацию LLM. Kev это открытая модель решений типа Jev, вынесенная на отдельный этап верификации перед фиксацией выбранных действий.
Есть подвох, и авторы называют его сами. Вероятности модели решений не гарантированно откалиброваны и не гарантированно верны, поэтому их ценность нужно проверять в агентном цикле, а не принимать на веру. Это предложение задаёт рамку всей эмпирической части. Центральный вопрос в том, может ли модель решений служить верификатором с вероятностным порогом наряду с исполняемыми проверками состояния инструментов. На него отвечает эксперимент, и самые интересные детали именно в нём.
Смежные работы о моделях решений дают неоднозначную картину того, почему эта проверка важна. Ли (Li) и соавторы сообщают о конкурентоспособных результатах в оценке предпочтений и фактической точности, опирающейся на свидетельства, но о более слабых результатах там, где требуется вывод. Рао (Rao) и Каллисон-Бёрч (Callison-Burch) сообщают о неоднозначных результатах в оценке по рубрикам и об ошибках, совпадающих с ошибками LLM-судей. Модель решений, сильная в одних задачах суждения и слабее в других, как раз тот компонент, который стоит сочетать с детерминированными проверками, а не доверять ему в одиночку.
Как проводилось сравнение #
JevAct сравнивается с обвязкой ReAct, в обоих вариантах используется одна и та же LLM агента. Задачи охватывают Airline и Telecom в τ²-bench и многошаговые задачи вызова функций в BFCL. Фиксация LLM агента в обоих вариантах это правильный контроль для поставленного вопроса: любая разница возникает из обвязки, а не из более сильного или слабого предлагающего.
Статья приводит результаты в показателях pass^3 из таблицы 2, а также успех хотя бы в одном прогоне. Эти два показателя тянут в разные стороны, и контраст между ними оказывается информативным. Успех во всех трёх прогонах вознаграждает агента, который справляется каждый раз. Успех хотя бы в одном прогоне вознаграждает агента, который справляется с любой попытки. Верификатор, отлавливающий плохие действия, должен надёжнее помогать первому показателю, чем второму, и результаты согласуются с таким прочтением. Однако статья говорит лишь, что картина BFCL согласуется с более воспроизводимой работой на некоторых задачах, поэтому всё остальное я отмечаю как интерпретацию, а не вывод.
Что показывают цифры #
На Telecom все восемь агентов улучшают и успех хотя бы в одном прогоне, и успех во всех трёх. Это самый чистый результат статьи: ни одного исключения среди протестированных агентов ни по одному показателю.
На BFCL все девять агентов улучшают успех во всех трёх прогонах, но результаты «хотя бы в одном» неоднозначны. Читать это нужно внимательно. На BFCL более строгий показатель растёт у каждого протестированного агента, на 0,1–9,6 пункта; более мягкий улучшается у четырёх агентов и снижается у пяти. Если вам важно, чтобы агент каждый раз вёл себя правильно, направление благоприятное. Если важно, сможет ли повторная попытка в итоге увенчаться успехом, выгода здесь не установлена.
Airline слабое место. На Airline эффекты меньше и зависят от агента. Сводка результатов говорит об особенно стабильном выигрыше на Telecom и BFCL при менее однозначных показателях на Airline. Основателю, читающему это, не стоит округлять вывод до «улучшает всё». Авторы сообщают о повышении надёжности агентов на нескольких моделях и бенчмарках, но на Airline выигрыш меньше и неоднозначен, и сами они пишут, что их результаты не доказывают единообразного выигрыша. Статья предупреждает, что при 50 задачах Airline одна задача сдвигает оценку на 2 процентных пункта, поэтому небольшие различия следует трактовать с осторожностью; дальше этого я не стану гадать, почему Airline ведёт себя иначе.
Общий вывод сами авторы формулируют с оговорками: результаты указывают на то, что сочетание структурированных моделей решений с исполняемой верификацией может повысить надёжность LLM-агентов, работающих с инструментами. «Указывают» здесь правильный глагол. Это многообещающий результат, а не доказательство.
Что сравнение изолирует, а что нет #
Одно ограничение заслуживает большего веса, чем обычно получает. Поскольку JevAct добавляет скомпилированные проверки и возможности исправления, сравнения оценивают обвязку целиком, а не судью по отдельности. Это серьёзная оговорка для тех, кто надеется заключить, что основную работу делает модель решений. Выигрыш может давать вероятность Kev, исполняемые проверки состояния, дополнительные шансы на исправление или какое-то их сочетание. Основные сравнения их не разделяют.
Я бы сказал, что это не столько изъян, сколько честное описание того, что может показать системная статья. Вопрос, который ставят авторы, может ли модель решений служить верификатором с вероятностным порогом наряду с исполняемыми проверками состояния инструментов, получает ответ на уровне пары, ведь «наряду» заложено в сам вопрос. Но тот, кто решает, куда вкладывать усилия, должен держать это в уме. Если вы строите что-то похожее, из этих данных нельзя вывести, что одна модель решений дала бы улучшение, равно как и одни проверки кодом.
Это также значит, что оговорка о калибровке остаётся в силе. Вероятности не гарантированно откалиброваны и не гарантированно верны, и результат на уровне обвязки эту неопределённость не снимает. Он показывает, что конструкция в целом помогла на протестированных бенчмарках.
Место среди других схем защиты #
JevAct присоединяется к многочисленным подходам к защите действий агентов, и различия поучительны. GuardAgent использует отдельного агента, который генерирует и выполняет проверочный код по заданным пользователем требованиям. Цвердлинг (Zwerdling) и соавторы компилируют корпоративные политики в исполняемые защитные проверки, контролирующие соответствие перед действиями с инструментами. AgentSpec представляет ограничения времени выполнения в виде триггеров, предикатов и действий по принуждению. ShieldAgent выводит проверяемые правила из документов с политиками.
Другие опираются на модели в самой верификации. ToolSafe использует обученные защитные ограничения, чтобы оценивать предложенные вызовы инструментов и возвращать обратную связь, а PolicyGuard и PolicyGuide используют верификаторы на основе моделей для соблюдения политик и управления процессом. CaMeL идёт другим путём, обеспечивая безопасность за счёт разделения доверенного потока управления и недоверенных данных.
На этом фоне отличительный выбор JevAct состоит в конкретной паре. Как и направление, компилирующее политику в исполняемые защитные проверки, он превращает политику в проверки состояния инструментов. Как и верификаторы на основе моделей, он использует модель для суждений, которые не может вынести код. Добавляет он модель решений, возвращающую вероятности для фиксированных вариантов, которая работает онлайн перед выполнением выбранных действий и даёт обратную связь для исправления. Предложения он оставляет LLM ReAct, а Kev выносит на отдельный этап верификации перед фиксацией выбранных действий.
Почему за этой конструкцией стоит следить #
На мой взгляд, самая полезная идея здесь не сам Kev, а дисциплина разделения. Спрашивайте код о том, на что может ответить код. Спрашивайте модель только о том, что зависит от диалога. Держите предлагающего и проверяющего раздельно, чтобы модель, проверяющая действие, не была той, что его предложила. И делайте выход верификатора вероятностью, сравниваемой с порогом, чтобы шлюз был сравнением, а не текстом, который кому-то нужно разбирать.
Такая конструкция также делает слабые места видимыми. Если проверка дала сбой, можно выяснить, была ли это проверка состояния или вопрос о диалоге. Если пороги выбраны неверно, это числа, которые можно изучить. Собственная осторожность статьи, требующая проверять вероятности в цикле, это правильный инстинкт и более здравая позиция, чем считать, что верификатор работает, потому что звучит разумно.
Неоднородные результаты, если на то пошло, внушают доверие к честности отчёта. Фреймворк, заявляющий единообразный выигрыш везде, заслуживал бы больше подозрений, чем тот, что показывает восемь из восьми на Telecom, девять из девяти в успехе BFCL во всех трёх прогонах, неоднозначные результаты BFCL «хотя бы в одном» и переменные эффекты на Airline. Эта картина даёт практикам то, на что можно опираться при планировании: сильнее всего данные о надёжности в повторных прогонах, слабее всего в области, где эффект зависит от агента.
Что с этим делать #
Для технических читателей вывод архитектурный. В JevAct LLM агента, базовый промпт и инструменты остаются неизменными, поэтому слой верификации это то, что добавляется вокруг агента, а не то, чему его обучают. Для основателей практическое прочтение уже, чем заголовок. Статья сообщает о повышении надёжности на нескольких моделях и бенчмарках при менее однозначной картине на Airline, а её сравнения оценивают обвязку целиком, а не судью по отдельности. Основные сравнения не устанавливают, какой компонент обеспечивает улучшение, хотя абляция на Airline в статье указывает, что в этой конфигурации значительная его часть приходится на программную верификацию.
Открытым остаётся центральный вопрос самой статьи: может ли модель решений служить верификатором с вероятностным порогом наряду с исполняемыми проверками состояния инструментов, если, как отмечают авторы, её вероятности не гарантированно откалиброваны и не гарантированно верны. Результаты Airline, где эффекты меньше и зависят от агента, это первое место, куда стоит смотреть. Связана ли эта вариативность с проверками, порогами или компилируемыми политиками, опубликованные результаты оставляют открытым, и именно этот эксперимент я хотел бы увидеть следующим.
Часто задаваемые вопросы #
Что такое JevAct? JevAct это фреймворк верификации во время выполнения от исследователей IBM, который перехватывает выбранные действия агента, а именно вызовы записи и передачи, до их выполнения. Помеченное предложение возвращается агенту с адресной обратной связью и ограниченной возможностью исправиться. LLM агента, базовый промпт и инструменты не меняются.
Что делает Kev в JevAct? Kev это открытая модель решений типа Jev, которая отвечает на фиксированные вопросы вероятностями, а не сгенерированным текстом. В JevAct она отвечает на вопросы, зависящие от диалога, а код проверяет факты, доступные в записях инструментов. Kev не выбирает действия; их по-прежнему предлагает агент.
Как оценивался JevAct? Статья сравнивает JevAct с обвязкой ReAct, в обоих вариантах используется одна и та же LLM агента. Задачи охватывают Airline и Telecom в τ²-bench и многошаговые задачи вызова функций в BFCL, а успех приводится и как успех хотя бы в одном из трёх прогонов, и как успех во всех трёх.
Улучшил ли JevAct каждого агента на каждом бенчмарке? Нет. На Telecom все восемь агентов улучшили оба показателя, на BFCL все девять улучшили успех во всех трёх прогонах при неоднозначных результатах «хотя бы в одном». На Airline эффекты были меньше и зависели от агента, и авторы пишут, что их результаты не доказывают единообразного выигрыша.
Показывает ли статья, что выигрыш обеспечивает одна модель решений? Нет. Поскольку JevAct добавляет скомпилированные проверки и возможности исправления, основные сравнения оценивают обвязку целиком, а не судью по отдельности. Авторы также отмечают, что вероятности модели решений не гарантированно откалиброваны и не гарантированно верны.
Источники #
- Shoham, I., David, Y., Akrabi, O., Bilgory, E., Levy, I., Marreed, S., Zeltyn, S. and Shlomov, S., (2026). Think Before You Act: Decision Gate for LLM Agents ⧉. arXiv.
- Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K. and Cao, Y., (2022). ReAct: Synergizing Reasoning and Acting in Language Models ⧉. arXiv.
- Barres, V., Dong, H., Ray, S., Si, X. and Narasimhan, K., (2025). τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment ⧉. arXiv.
- TypeSafe AI, (2026). Introducing System One Models and Jev ⧉. TypeSafe AI.
- Palmer, J., (2026). KEV: Prefill-only Decision Models ⧉. GitHub.
- Xiang, Z. et al., (2024). GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning ⧉. arXiv.
- Chen, Z., Kang, M. and Li, B., (2025). ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning ⧉. arXiv.
- Li, Y., Miao, Y., Krishnan, R. and Padman, R., (2026). Jev-as-a-Judge: Accept When Confident, Escalate When Unsure ⧉. arXiv.
- Rao, D. and Callison-Burch, C., (2026). Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places ⧉. arXiv.
Последняя проверка .
Перепубликовать эту статью
Скопировать формат для Medium
# Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/](https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/) JevAct проверяет выбранные действия LLM-агента до выполнения. Против ReAct на той же модели выигрыш стабилен на Telecom и BFCL, но неоднозначен на Airline. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/
Скопировать формат для Mastodon
Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau JevAct проверяет выбранные действия LLM-агента до выполнения. Против ReAct на той же модели выигрыш стабилен на Telecom и BFCL, но неоднозначен на Airline. https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/
Копировать в формате для LinkedIn
Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau JevAct проверяет выбранные действия LLM-агента до выполнения. Против ReAct на той же модели выигрыш стабилен на Telecom и BFCL, но неоднозначен на Airline. Вот ключевые стратегические выводы: - Проблема: выполнение следует за предложением. Агент, который бронирует рейс, отменяет заказ или меняет настройку аккаунта, делает то, что нельзя тихо откатить. - Что такое JevAct. JevAct это обвязка, которая проверяет выбранные предложения до выполнения. - Два вида свидетельств, один шлюз. Конструкция опирается на разделение того, что можно проверить детерминированно, и того, что нельзя. - Почему модель решений, а не LLM-судья. Очевидная альтернатива это LLM-судья, который читает предложение и пишет вердикт. Каков подход вашей организации к вызовам, описанным в этой статье? → https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/ #LlmАгенты #ВерификацияАгентов #ВерификацияВоВремяВыполнения #МоделиРешений #АгентыСИнструментами Sebastien Rousseau | CC-BY-4.0
Цитировать эту статью
Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau
JevAct проверяет выбранные действия LLM-агента до выполнения. Против ReAct на той же модели выигрыш стабилен на Telecom и BFCL, но неоднозначен на Airline.
BibTeX
@online{rousseau2026проверка,
author = {Rousseau, Sebastien},
title = {{Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/ ER -
Vancouver
Rousseau S. Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/
Chicago
Rousseau, Sebastien. "Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/.
APA
Rousseau, S. (2026, November 18). Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/
Опубликовать заново
Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau
JevAct проверяет выбранные действия LLM-агента до выполнения. Против ReAct на той же модели выигрыш стабилен на Telecom и BFCL, но неоднозначен на Airline.
Эта статья распространяется по лицензии Creative Commons Attribution 4.0 International. При повторной публикации требуется указание канонической ссылки.
Проверка действий агента до выполнения: шлюз JevAct на модели решений — Sebastien Rousseau JevAct проверяет выбранные действия LLM-агента до выполнения. Против ReAct на той же модели выигрыш стабилен на Telecom и BFCL, но неоднозначен на Airline. Originally published at https://sebastienrousseau.com/ru/2026-11-18-proverka-deystviy-agenta-vypolneniya-shlyuz-jevact/ by Sebastien Rousseau. Licensed under CC-BY-4.0.
