Більшість циклів агента виконує виклик інструмента одразу, щойно модель його запропонує. Результати JevAct свідчать, що дешева контрольна точка на основі ймовірностей, розміщена безпосередньо перед виконанням, може зробити агентів з інструментами надійнішими, хоча виграш різко відрізняється залежно від бенчмарку.
Резюме для керівництва
- LLM-агенти дедалі частіше виконують наслідкові дії через зовнішні інструменти, проте ці дії часто виконуються без незалежної перевірки відповідності політиці чи завершення завдання.
- JevAct офлайн компілює політику домену в запитання, правила, виконувані перевірки стану та, за потреби, чеклист передачі.
- Під час виконання код перевіряє факти в записах інструментів, а Kev, відкрита модель рішень типу Jev, відповідає на запитання, що залежать від розмови.
- Порівняно з harness ReAct на τ²-bench (Airline, Telecom) і BFCL виграш стабільний у Telecom і в успіху у трьох запусках у BFCL та більш змішаний в Airline.
- Власне формулювання авторів обережне: результати свідчать, що структуровані моделі рішень у поєднанні з виконуваною верифікацією можуть підвищити надійність.
Проблема: виконання йде слідом за пропозицією #
Агент, який бронює рейс, скасовує замовлення чи змінює налаштування облікового запису, робить те, що не можна тихо скасувати. Незручно те, як мало стоїть між пропозицією моделі та її наслідком. Багато циклів агента виконують запропонований виклик інструмента, щойно модель його згенерувала. Ніхто незалежно не перевіряє, чи відповідає дія політиці домену і чи справді завершене завдання, яке агент вважає завершеним.
Цей розрив є відправною точкою «Think Before You Act: Decision Gate for LLM Agents», препринту arXiv 2026 року, який написали Іфтах Шохам (Iftach Shoham), Ювал Давид (Yuval David) та колеги з IBM і в якому представлено JevAct. Спостереження не нове, але його варто сформулювати прямо, бо так багато інструментарію для агентів зосереджено на тому, щоб покращити того, хто пропонує. Агенти ReAct чергують міркування з використанням інструментів, і цей патерн став поширеною базовою лінією. Методи рефлексії, як-от Self-Refine і Reflexion, додають критику й зворотний зв'язок, щоб покращити наступні пропозиції чи спроби, не оновлюючи ваг моделі. Хоч які корисні, ці методи самі по собі не перевіряють конкретну дію на відповідність політиці домену безпосередньо перед виконанням. Перевірка, яка цікавить JevAct, розташована в іншій точці циклу: після появи пропозиції й до її фіксації.
Що таке JevAct #
JevAct є harness, що перевіряє вибрані пропозиції до виконання. Його описано як фреймворк верифікації під час виконання, який перехоплює вибрані дії агента й уможливлює корекцію на основі зворотного зв'язку. Він працює незалежно від базової моделі агента й не потребує змін ні параметрів моделі, ні інструментів. В оціненій конфігурації LLM агента, базовий промпт та інструменти залишаються незмінними.
Архітектурно JevAct доповнює harness агента ReAct, вставляючи вибірковий етап перевірки між пропозицією повідомлення та виконанням. Слово «вибірковий» важливе. Фреймворк не перевіряє кожне повідомлення; він націлений на певні види дій. У статті визначено два. Виклик запису (write call) змінює середовище, наприклад бронюванням, скасуванням чи зміною налаштування. Передача (hand-off) завершує спробу агента: або переведенням користувача на людину, або повідомленням, що більше нічого зробити не можна. Записи є місцем, де порушення політики завдає шкоди; передачі є місцем, де агент може здатися зарано. Заявлена мета фреймворку, виявлення потенційно недійсних дій і передчасного завершення завдання, відповідає саме цим двом категоріям.
Коли перевірка не проходить, пропозицію не просто блокують. Перевірки можуть відкласти виконання й запросити в LLM переглянуту пропозицію з тимчасовим зворотним зв'язком у межах фіксованого бюджету переглядів. Пропозиція, що пройшла перевірку, виконується. Позначена повертається агентові з цільовим зворотним зв'язком і обмеженою можливістю переглянути її. Поділ праці залишається чітким: агент і далі пропонує дії, а Kev їх не обирає.
Два види доказів, один шлюз #
Дизайн спирається на розмежування між тим, що можна перевірити детерміновано, і тим, що не можна. JevAct поєднує детерміновану верифікацію фактів стану інструментів з імовірнісною оцінкою контексту розмови. Під час виконання код перевіряє факти, доступні в записах інструментів, а Kev відповідає на запитання, що залежать від розмови.
Це розмежування слушне. Деякі умови політики є фактами в записах інструмента, і програма може прочитати їх без думки будь-якої моделі. Інші умови містяться в тому, що користувач і агент сказали одне одному, і жоден запит до бази даних їх не з'ясує. Передаючи перший вид коду, а другий моделі, ви питаєте модель лише про те, на що код відповісти не може.
Саме офлайн-половина робить це практичним. Компілятор перетворює політику домену на запитання, правила, виконувані перевірки стану інструментів і, за потреби, чеклист передачі. Інакше кажучи, JevAct компілює політики домену у виконувані перевірки стану та структуровані запитання, які оцінює модель рішень, що працює лише на префілі. Автори кажуть, що закладають основу для робочого процесу, який компілює політики домену в запитання, правила рішень, виконувані перевірки стану й чеклисти передачі для шлюзу на основі моделі рішень. Це скромне формулювання, і я сприймав би його буквально: заява стосується основи робочого процесу, а не готового продукту.
Чому модель рішень, а не LLM-суддя #
Очевидна альтернатива полягає в LLM-судді, який читає пропозицію й пише вердикт. Заперечення статті практичне. Вільні пояснення такого судді все одно треба інтерпретувати, перш ніж шлюз зможе на них діяти, а ухвалювати таке рішення за допомогою фронтирної моделі дорого. Шлюзу потрібне рішення, а не есе.
Моделі рішень створено саме для цього. Jev запровадив моделі рішень, які повертають типізовані варіанти, оцінки та ймовірності замість згенерованого тексту. Вони повертають варіанти й імовірності для фіксованих запитань, що робить перевірки на основі порогів простими. Модель, яку використовує JevAct, працює лише на префілі й видає оцінки на основі ймовірностей, не покладаючись на генерацію LLM. Kev є відкритою моделлю рішень типу Jev, розміщеною в окремому кроці верифікації перед фіксацією вибраних дій.
Є застереження, і автори формулюють його самі. Імовірності моделі рішень не гарантовано відкалібровані чи правильні, тож їхню цінність треба перевіряти в циклі агента, а не припускати. Це речення задає рамку для всієї емпіричної частини. Центральне питання полягає в тому, чи може модель рішень слугувати верифікатором із порогом імовірності поряд із виконуваними перевірками стану інструментів. На нього має відповісти експеримент, і саме в експерименті цікаві деталі.
Суміжні роботи щодо моделей рішень дають змішану картину того, чому така перевірка важлива. Лі (Li) та співавтори повідомляють про конкурентні результати щодо переваг і фактичності з опорою на докази, але слабші результати там, де потрібне виведення. Рао (Rao) і Каллісон-Берч (Callison-Burch) повідомляють про змішані результати за рубриками й помилки, що перетинаються з помилками LLM-суддів. Модель рішень, сильна в одних завданнях оцінювання й слабша в інших, є саме тим компонентом, який варто поєднувати з детермінованими перевірками, а не довіряти йому самому.
Як проводили порівняння #
JevAct порівнюють із harness ReAct, використовуючи ту саму LLM агента в обох гілках. Завдання охоплюють Airline і Telecom у τ²-bench та багатокрокові завдання з викликом функцій у BFCL. Фіксація LLM агента в обох гілках є правильним контролем для поставленого питання: будь-яка різниця походить від harness, а не від сильнішого чи слабшого пропонента.
Стаття подає результати через показники pass^3 з Таблиці 2 разом з успіхом хоча б раз. Ці два показники тягнуть у різні боки, і контраст між ними виявляється інформативним. Успіх у всіх трьох запусках винагороджує агента, який щоразу діє правильно. Успіх хоча б раз винагороджує агента, який діє правильно в будь-якій спробі. Верифікатор, що перехоплює погані дії, мав би надійніше допомагати першому показнику, ніж другому, і результати узгоджуються з таким прочитанням. Утім, стаття каже лише, що патерн BFCL узгоджується з більш відтворюваною роботою на деяких завданнях, тож решту я позначаю як інтерпретацію, а не висновок.
Що показують числа #
У Telecom усі вісім агентів покращують і успіх хоча б раз, і успіх у всіх трьох запусках. Це найчистіший результат статті: жодних винятків серед протестованих агентів за жодним показником.
У BFCL усі дев'ять агентів покращують успіх у трьох запусках, але результати «хоча б раз» змішані. Читайте уважно. У BFCL суворіший показник зростає для кожного протестованого агента, на 0,1–9,6 пункту; м'якший покращується для чотирьох агентів і погіршується для п'яти. Якщо вам важливо, щоб агент щоразу поводився правильно, це сприятливий напрям. Якщо вам важливо, чи може повторна спроба зрештою вдатися, користь тут не встановлено.
Airline є слабким місцем. Ефекти в Airline менші й залежать від агента. Підсумок результатів формулює це як особливо стабільний виграш у Telecom і BFCL, тоді як результати в Airline більш змішані. Засновникові не варто округлювати це до «покращує все». Автори повідомляють про підвищення надійності агентів на кількох моделях і бенчмарках, але в Airline виграш менший і змішаний, і вони кажуть, що їхні результати не встановлюють рівномірного виграшу. Стаття застерігає, що за 50 завдань Airline одне завдання змінює оцінку на 2 відсоткові пункти, тож невеликі різниці слід читати обережно; понад це я не гадатиму, чому Airline поводиться інакше.
Загальне прочитання автори самі формулюють обережно: результати свідчать, що поєднання структурованих моделей рішень із виконуваною верифікацією може підвищити надійність LLM-агентів з інструментами. «Свідчать» тут правильне дієслово. Це обнадійливий результат, а не доказ.
Що порівняння ізолює, а що ні #
Одне обмеження заслуговує на більшу вагу, ніж зазвичай отримує. Оскільки JevAct додає скомпільовані перевірки й можливості перегляду, порівняння оцінюють увесь harness, а не суддю окремо. Це суттєве застереження для кожного, хто сподівається дійти висновку, що основну роботу виконує модель рішень. Виграш може походити від імовірностей Kev, від виконуваних перевірок стану, від додаткових шансів на перегляд або від певної комбінації. Основні порівняння їх не розділяють.
Я вважаю, що це не стільки вада, скільки чесний опис того, що може показати системна стаття. Питання, яке ставлять автори, чи може модель рішень слугувати верифікатором із порогом імовірності поряд із виконуваними перевірками стану інструментів, отримує відповідь на рівні пари, бо «поряд із» міститься в самому питанні. Але читач, який вирішує, куди вкладати зусилля, має це пам'ятати. Якщо ви будуєте щось подібне, з цих доказів не можна вивести, що сама модель рішень дала б покращення, ані що його дали б самі перевірки кодом.
Це також означає, що застереження щодо калібрування залишається в силі. Імовірності не гарантовано відкалібровані чи правильні, і результат на рівні harness цієї невизначеності не прибирає. Він показує, що конфігурація в цілому допомогла на протестованих бенчмарках.
Місце серед інших дизайнів захисту #
JevAct приєднується до численного набору підходів до захисту дій агентів, і відмінності повчальні. GuardAgent використовує окремого агента для генерації й виконання коду верифікації за визначеними користувачем вимогами захисту. Цвердлінг (Zwerdling) та співавтори компілюють політики компанії у виконувані запобіжники, що перевіряють відповідність перед діями інструментів. AgentSpec подає обмеження під час виконання як тригери, предикати й дії примусового виконання. ShieldAgent виводить перевірювані правила з документів політик.
Інші покладаються на моделі для самої верифікації. ToolSafe використовує навчений запобіжник для оцінки запропонованих викликів інструментів і повернення зворотного зв'язку, а PolicyGuard і PolicyGuide використовують верифікатори на основі моделей для дотримання політик і спрямування робочого процесу. CaMeL іде іншим шляхом, забезпечуючи безпеку через розділення довіреного потоку керування та недовірених даних.
На цьому тлі визначальним вибором JevAct є саме його поєднання. Як і напрям «компіляція у виконувані запобіжники», він перетворює політику на перевірки стану інструментів. Як і верифікатори на основі моделей, він використовує модель для суджень, яких код винести не може. Він додає модель рішень, що повертає ймовірності для фіксованих варіантів і використовується онлайн перед виконанням вибраних дій, зі зворотним зв'язком для перегляду. Пропозиції він залишає LLM ReAct, а Kev ставить в окремий крок верифікації перед фіксацією вибраних дій.
Чому за цим дизайном варто стежити #
На мою думку, найкорисніша ідея тут не сам Kev, а дисципліна розмежування. Питайте код про те, на що код може відповісти. Питайте модель лише про те, що залежить від розмови. Тримайте пропонента й верифікатора окремо, щоб модель, яка перевіряє дію, не була тією, що її запропонувала. І робіть вихід верифікатора ймовірністю відносно порогу, щоб шлюз був порівнянням, а не текстом, який хтось має розбирати.
Такий дизайн також робить слабкі місця видимими. Якщо перевірка спрацювала хибно, можна з'ясувати, чи це була перевірка стану, чи запитання про розмову. Якщо пороги неправильні, це числа, які можна дослідити. Власне застереження статті, що ймовірності треба перевіряти в циклі, є правильним інстинктом і кращою позицією, ніж припущення, що верифікатор працює, бо звучить розумно.
Нерівномірні результати радше заспокоюють щодо чесності звітності. Фреймворк, що заявляє рівномірний виграш скрізь, заслуговував би на більшу підозру, ніж той, що показує вісім із восьми в Telecom, дев'ять із дев'яти за успіхом у трьох запусках у BFCL, змішані результати «хоча б раз» у BFCL і змінні ефекти в Airline. Цей патерн дає практикам основу для планування: найсильніші докази стосуються надійності в повторних запусках, найслабші стосуються домену, де ефекти залежать від агента.
Що з цим робити #
Для технічних читачів висновок архітектурний. LLM агента, базовий промпт та інструменти в JevAct залишаються незмінними, тож рівень верифікації ви додаєте навколо агента, а не тренуєте в ньому. Для засновників практичне прочитання вужче за заголовок. Стаття повідомляє про підвищену надійність на кількох моделях і бенчмарках, з більш змішаною картиною в Airline, а її порівняння оцінюють увесь harness, а не суддю окремо. Основні порівняння не встановлюють, який компонент забезпечує покращення, хоча абляція статті для Airline свідчить, що в цьому середовищі значну його частину дає програмна верифікація.
Відкрите питання є власним центральним питанням статті: чи може модель рішень слугувати верифікатором із порогом імовірності поряд із виконуваними перевірками стану інструментів, коли, як зазначають автори, її ймовірності не гарантовано відкалібровані чи правильні. Результати Airline, де ефекти менші й залежать від агента, є місцем, куди варто подивитися першим. Чи пов'язана ця варіативність із перевірками, порогами чи політиками, що компілюються, наведені результати залишають відкритим, і саме цей експеримент я найбільше хотів би побачити наступним.
Часті запитання #
Що таке JevAct? JevAct є фреймворком верифікації під час виконання від дослідників IBM, який перехоплює вибрані дії агента, а саме виклики запису та передачі, до їх виконання. Позначена пропозиція повертається агентові з цільовим зворотним зв'язком і обмеженою можливістю переглянути її. LLM агента, базовий промпт та інструменти залишаються незмінними.
Що робить Kev у JevAct? Kev є відкритою моделлю рішень типу Jev, яка відповідає на фіксовані запитання ймовірностями, а не згенерованим текстом. У JevAct вона відповідає на запитання, що залежать від розмови, тоді як код перевіряє факти, доступні в записах інструментів. Kev не обирає дій; їх і далі пропонує агент.
Як оцінювали JevAct? Стаття порівнює JevAct із harness ReAct, використовуючи ту саму LLM агента в обох гілках. Завдання охоплюють Airline і Telecom у τ²-bench та багатокрокові завдання з викликом функцій у BFCL, а успіх подано і як успіх хоча б раз за три запуски, і як успіх у всіх трьох запусках.
Чи покращив JevAct кожного агента на кожному бенчмарку? Ні. У Telecom усі вісім агентів покращилися за обома показниками, а в BFCL усі дев'ять покращили успіх у трьох запусках, тоді як результати «хоча б раз» були змішаними. Ефекти в Airline були меншими й залежали від агента, і автори кажуть, що результати не встановлюють рівномірного виграшу.
Чи показує стаття, що виграш забезпечує сама модель рішень? Ні. Оскільки JevAct додає скомпільовані перевірки й можливості перегляду, основні порівняння оцінюють увесь harness, а не суддю окремо. Автори також зазначають, що ймовірності моделі рішень не гарантовано відкалібровані чи правильні.
Джерела #
- Shoham, I., David, Y., Akrabi, O., Bilgory, E., Levy, I., Marreed, S., Zeltyn, S. and Shlomov, S., (2026). Think Before You Act: Decision Gate for LLM Agents ⧉. arXiv.
- Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K. and Cao, Y., (2022). ReAct: Synergizing Reasoning and Acting in Language Models ⧉. arXiv.
- Barres, V., Dong, H., Ray, S., Si, X. and Narasimhan, K., (2025). τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment ⧉. arXiv.
- TypeSafe AI, (2026). Introducing System One Models and Jev ⧉. TypeSafe AI.
- Palmer, J., (2026). KEV: Prefill-only Decision Models ⧉. GitHub.
- Xiang, Z. et al., (2024). GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning ⧉. arXiv.
- Chen, Z., Kang, M. and Li, B., (2025). ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning ⧉. arXiv.
- Li, Y., Miao, Y., Krishnan, R. and Padman, R., (2026). Jev-as-a-Judge: Accept When Confident, Escalate When Unsure ⧉. arXiv.
- Rao, D. and Callison-Burch, C., (2026). Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places ⧉. arXiv.
Останній перегляд .
Перепублікувати цю статтю
Скопіювати формат для Medium
# Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/](https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/) JevAct перевіряє вибрані дії LLM-агента до виконання. Порівняно з ReAct на тій самій моделі виграш стабільний у Telecom і BFCL, але змішаний в Airline. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/
Скопіювати формат для Mastodon
Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau JevAct перевіряє вибрані дії LLM-агента до виконання. Порівняно з ReAct на тій самій моделі виграш стабільний у Telecom і BFCL, але змішаний в Airline. https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/
Копіювати відформатоване для LinkedIn
Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau JevAct перевіряє вибрані дії LLM-агента до виконання. Порівняно з ReAct на тій самій моделі виграш стабільний у Telecom і BFCL, але змішаний в Airline. Ось ключові стратегічні висновки: - Проблема: виконання йде слідом за пропозицією. Агент, який бронює рейс, скасовує замовлення чи змінює налаштування облікового запису, робить те, що не можна тихо скасувати. - Що таке JevAct. JevAct є harness, що перевіряє вибрані пропозиції до виконання. - Два види доказів, один шлюз. Дизайн спирається на розмежування між тим, що можна перевірити детерміновано, і тим, що не можна. - Чому модель рішень, а не LLM-суддя. Очевидна альтернатива полягає в LLM-судді, який читає пропозицію й пише вердикт. Яким є підхід вашої організації до викликів, описаних у цій статті? → https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/ #LlmАгенти #ВерифікаціяАгентів #ВерифікаціяПідЧасВиконання #МоделіРішень #АгентиЗІнструментами Sebastien Rousseau | CC-BY-4.0
Цитувати цю статтю
Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau
JevAct перевіряє вибрані дії LLM-агента до виконання. Порівняно з ReAct на тій самій моделі виграш стабільний у Telecom і BFCL, але змішаний в Airline.
BibTeX
@online{rousseau2026перевірка,
author = {Rousseau, Sebastien},
title = {{Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/ ER -
Vancouver
Rousseau S. Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/
Chicago
Rousseau, Sebastien. "Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/.
APA
Rousseau, S. (2026, November 18). Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/
Перевидати цю статтю
Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau
JevAct перевіряє вибрані дії LLM-агента до виконання. Порівняно з ReAct на тій самій моделі виграш стабільний у Telecom і BFCL, але змішаний в Airline.
Ця стаття поширюється за ліцензією Creative Commons Attribution 4.0 International. Перевидання вимагає посилання на канонічну URL-адресу.
Перевірка дій агента до виконання: шлюз рішень JevAct — Sebastien Rousseau JevAct перевіряє вибрані дії LLM-агента до виконання. Порівняно з ReAct на тій самій моделі виграш стабільний у Telecom і BFCL, але змішаний в Airline. Originally published at https://sebastienrousseau.com/uk/2026-11-18-perevirka-diy-ahenta-vykonannya-shlyuz-rishen/ by Sebastien Rousseau. Licensed under CC-BY-4.0.
