Sebastien Rousseau

AGENȚI LLM

Verificarea acțiunilor agenților înainte de execuție: JevAct

Majoritatea buclelor de agenți execută un apel de instrument în clipa în care modelul îl propune, iar rezultatele JevAct sugerează că un punct de control ieftin, bazat pe probabilități, plasat chiar înainte de execuție, poate face agenții mai fiabili, deși câștigurile variază puternic de la un benchmark la altul.

14 min de citit
Banner for: Verificarea acțiunilor agenților înainte de execuție: JevAct

Majoritatea buclelor de agenți execută un apel de instrument în clipa în care modelul îl propune, iar rezultatele JevAct sugerează că un punct de control ieftin, bazat pe probabilități, plasat chiar înainte de execuție, poate face agenții care folosesc instrumente mai fiabili, deși câștigurile variază puternic de la un benchmark la altul.

Rezumat executiv

  • Agenții LLM întreprind tot mai des acțiuni cu consecințe prin instrumente externe, însă aceste acțiuni sunt adesea executate fără verificarea independentă a conformității cu politica sau a finalizării sarcinii.
  • JevAct compilează offline o politică de domeniu în întrebări, reguli, verificări executabile ale stării și, unde este necesar, o listă de verificare pentru predare.
  • La rulare, codul verifică faptele din înregistrările instrumentelor, iar Kev, un model de decizie de tip Jev publicat open source, răspunde la întrebările care depind de conversație.
  • Comparat cu un harness ReAct pe τ²-bench (Airline, Telecom) și BFCL, câștigurile sunt consecvente pe Telecom și la succesul în trei rulări pe BFCL și mai mixte pe Airline.
  • Încadrarea autorilor este prudentă: constatările sugerează că modelele de decizie structurate combinate cu verificarea executabilă pot îmbunătăți fiabilitatea.

Problema: execuția urmează propunerii #

Un agent care rezervă un zbor, anulează o comandă sau modifică o setare de cont face ceva ce nu poate fi anulat discret. Partea incomodă este cât de puțin stă între sugestia modelului și efectul ei. Multe bucle de agenți execută un apel de instrument propus imediat ce modelul îl produce. Nimeni nu verifică independent dacă acțiunea respectă politica domeniului sau dacă o sarcină pe care agentul o consideră încheiată este cu adevărat încheiată.

Acest decalaj este punctul de plecare al lucrării „Think Before You Act: Decision Gate for LLM Agents”, un preprint arXiv din 2026 semnat de Iftach Shoham, Yuval David și colegii lor de la IBM, care introduce JevAct. Nu este o observație nouă, dar merită spusă direct, pentru că atât de multe unelte pentru agenți se concentrează pe îmbunătățirea celui care propune. Agenții ReAct alternează raționamentul cu utilizarea instrumentelor, iar acest tipar a devenit o referință comună. Metodele de reflecție precum Self-Refine și Reflexion adaugă critică și feedback pentru a îmbunătăți propunerile sau încercările ulterioare, fără a actualiza ponderile modelului. Oricât de utile ar fi, aceste metode nu verifică singure o anumită acțiune față de o politică de domeniu chiar înainte de execuție. Verificarea care interesează JevAct se află în alt punct al buclei: după ce există o propunere și înainte ca ea să fie aplicată.

Ce este JevAct #

JevAct este un harness care verifică anumite propuneri înainte de execuție. Este descris ca un cadru de verificare la rulare care interceptează anumite acțiuni ale agentului și permite corecția pe baza feedbackului. Funcționează independent de modelul agentului și nu necesită modificarea parametrilor modelului sau a instrumentelor. În configurația evaluată, LLM-ul agentului, promptul de bază și instrumentele rămân neschimbate.

Arhitectural, JevAct extinde harness-ul unui agent ReAct prin inserarea unei etape de verificare selective între propunerea mesajului și execuție. Cuvântul „selective” contează. Cadrul nu inspectează fiecare mesaj; vizează anumite tipuri de acțiuni. Lucrarea definește două. Un apel de scriere modifică mediul, de exemplu prin rezervare, anulare sau schimbarea unei setări. O predare încheie încercarea agentului, fie transferând utilizatorul către un om, fie spunându-i că nu se mai poate face nimic. Scrierile sunt locul în care o încălcare a politicii produce pagube; predările sunt locul în care un agent poate renunța prea devreme. Scopul declarat al cadrului, identificarea acțiunilor potențial invalide și a încheierii premature a sarcinii, corespunde acestor două categorii.

Când o verificare eșuează, propunerea nu este pur și simplu blocată. Verificările pot amâna execuția și pot cere LLM-ului o propunere revizuită, cu feedback temporar, în limita unui buget fix de revizuiri. O propunere care trece merge mai departe. Una semnalată se întoarce la agent cu feedback țintit și o șansă limitată de revizuire. Iar împărțirea rolurilor rămâne clară: agentul propune în continuare acțiunile, iar Kev nu le alege.

Două tipuri de dovezi, o singură poartă #

Designul se bazează pe separarea dintre ce poate fi verificat determinist și ce nu poate. JevAct combină verificarea deterministă a faptelor din starea instrumentelor cu evaluarea probabilistică a contextului conversației. La rulare, codul verifică faptele disponibile în înregistrările instrumentelor, iar Kev răspunde la întrebările care depind de conversație.

Separarea este rezonabilă. Unele condiții de politică sunt fapte aflate în înregistrările unui instrument, iar un program le poate citi fără opinia vreunui model. Alte condiții trăiesc în ce și-au spus utilizatorul și agentul, iar nicio interogare a unei baze de date nu le va lămuri. Dacă primul tip ajunge la cod și al doilea la un model, modelul este întrebat doar despre lucrurile la care codul nu poate răspunde.

Jumătatea offline este cea care face abordarea practică. Un compilator transformă o politică de domeniu în întrebări, reguli, verificări executabile asupra stării instrumentelor și, unde este necesar, o listă de verificare pentru predare. Cu alte cuvinte, JevAct compilează politicile de domeniu în verificări executabile ale stării și întrebări structurate evaluate de un model de decizie doar cu prefill. Autorii spun că pun bazele unui flux de lucru care compilează politicile de domeniu în întrebări, reguli de decizie, verificări executabile ale stării și liste de verificare pentru predare, destinate unei porți bazate pe un model de decizie. Este o formulare modestă și aș lua-o ca atare: afirmația privește fundația unui flux de lucru, nu un produs finit.

De ce un model de decizie și nu un LLM evaluator #

Alternativa evidentă este un LLM evaluator care citește propunerea și scrie un verdict. Obiecția lucrării este practică. Explicațiile libere ale unui astfel de evaluator trebuie totuși interpretate înainte ca o poartă să poată acționa pe baza lor, iar luarea acestei decizii cu un model de vârf este costisitoare. O poartă are nevoie de o decizie, nu de un eseu.

Modelele de decizie sunt construite pentru asta. Jev a introdus modele de decizie care returnează alegeri tipizate, scoruri și probabilități, nu text generat. Ele returnează alegeri și probabilități pentru întrebări fixe, ceea ce face simple verificările bazate pe praguri. Modelul folosit de JevAct funcționează doar cu prefill și produce judecăți bazate pe probabilități, fără a se baza pe generarea LLM. Kev este un model de decizie open source de tip Jev, plasat într-o etapă separată de verificare înainte ca acțiunile selectate să fie aplicate.

Există o capcană, iar autorii o spun singuri. Probabilitățile modelelor de decizie nu sunt garantat calibrate sau corecte, deci valoarea lor trebuie testată în bucla agentului, nu presupusă. Această frază încadrează întreaga secțiune empirică. Întrebarea centrală este dacă un model de decizie poate servi drept verificator cu prag de probabilitate alături de verificările executabile ale stării instrumentelor. Este o întrebare la care răspunde experimentul, iar experimentul este locul unde se află detaliile interesante.

Lucrările conexe despre modelele de decizie oferă o imagine mixtă a motivului pentru care această testare contează. Li et al. raportează rezultate competitive la preferințe și la factualitatea ancorată în dovezi, dar performanțe mai slabe atunci când este necesară o derivare. Rao și Callison-Burch raportează rezultate mixte pe rubrici și erori suprapuse cu cele ale evaluatorilor LLM. Un model de decizie puternic la unele sarcini de judecată și mai slab la altele este exact tipul de componentă pe care ai vrea să o asociezi cu verificări deterministe, nu să te bazezi doar pe ea.

Cum s-a făcut comparația #

JevAct este comparat cu un harness ReAct care folosește același LLM al agentului în ambele brațe. Sarcinile acoperă Airline și Telecom din τ²-bench și sarcini de apelare de funcții cu mai multe ture din BFCL. Menținerea aceluiași LLM al agentului în ambele brațe este controlul corect pentru întrebarea pusă: orice diferență vine din harness, nu dintr-un propunător mai puternic sau mai slab.

Lucrarea își raportează rezultatele folosind valorile pass^3 din Tabelul 2, împreună cu succesul cel puțin o dată. Cele două măsuri trag în direcții diferite, iar contrastul dintre ele se dovedește informativ. Succesul în toate cele trei rulări recompensează un agent care reușește de fiecare dată. Succesul cel puțin o dată recompensează un agent care reușește la oricare încercare. Un verificator care prinde acțiunile greșite ar trebui să o ajute pe prima mai sigur decât pe a doua, iar rezultatele se potrivesc acestei lecturi, deși lucrarea spune doar că tiparul BFCL este compatibil cu o performanță mai repetabilă pe unele sarcini, așa că restul îl semnalez ca interpretare, nu ca rezultat.

Ce arată cifrele #

Pe Telecom, toți cei opt agenți își îmbunătățesc atât succesul cel puțin o dată, cât și succesul în toate cele trei rulări. Este cel mai curat rezultat din lucrare: nicio excepție printre agenții testați, la niciuna dintre măsuri.

Pe BFCL, toți cei nouă agenți se îmbunătățesc la succesul în trei rulări, dar rezultatele la succesul cel puțin o dată sunt mixte. Citiți cu atenție. Pe BFCL, măsura mai strictă crește pentru fiecare agent testat, cu 0,1 până la 9,6 puncte; măsura mai îngăduitoare se îmbunătățește pentru patru agenți și scade pentru cinci. Dacă vă interesează ca un agent să se comporte corect de fiecare dată, aceasta este direcția favorabilă. Dacă vă interesează dacă o reîncercare ar putea reuși în cele din urmă, beneficiul nu este demonstrat aici.

Airline este punctul slab. Efectele pe Airline sunt mai mici și variază de la agent la agent. Sinteza rezultatelor vorbește despre câștiguri deosebit de consecvente pe Telecom și BFCL, în timp ce performanța pe Airline este mai mixtă. Un fondator care citește asta nu ar trebui să rotunjească la „îmbunătățește totul”. Autorii raportează îmbunătățiri ale fiabilității agenților pe mai multe modele și benchmark-uri, dar pe Airline câștigurile sunt mai mici și mixte, iar ei spun că rezultatele nu demonstrează câștiguri uniforme. Lucrarea avertizează că, la 50 de sarcini Airline, o singură sarcină mișcă scorul cu 2 puncte procentuale, deci diferențele mici trebuie citite cu prudență; dincolo de asta, nu voi ghici de ce Airline se comportă diferit.

Lectura de ansamblu este nuanțată chiar de autori: constatările sugerează că a combina modele de decizie structurate cu verificarea executabilă poate îmbunătăți fiabilitatea agenților LLM care folosesc instrumente. „Sugerează” este verbul potrivit. Este un rezultat promițător, nu o demonstrație.

Ce izolează comparația și ce nu #

O limită merită mai multă greutate decât primește de obicei. Deoarece JevAct adaugă verificări compilate și oportunități de revizuire, comparațiile evaluează întregul harness, nu evaluatorul izolat. Este o rezervă importantă pentru oricine speră să conchidă că modelul de decizie face munca grea. Câștigurile ar putea veni din probabilitățile lui Kev, din verificările executabile ale stării, din șansele suplimentare de revizuire sau dintr-o combinație. Comparațiile principale nu le separă.

Aș susține că nu este atât un defect, cât o descriere onestă a ceea ce poate arăta o lucrare despre un sistem. Întrebarea autorilor, dacă un model de decizie poate servi drept verificator cu prag de probabilitate alături de verificările executabile ale stării instrumentelor, primește răspuns la nivelul perechii, pentru că „alături de” face parte din întrebare. Dar un cititor care decide unde să investească efort ar trebui să țină cont de asta. Dacă construiți ceva similar, nu puteți deduce din aceste dovezi că modelul de decizie singur ar aduce îmbunătățirea, nici că verificările de cod singure ar face-o.

Înseamnă, de asemenea, că rezerva privind calibrarea rămâne valabilă. Probabilitățile nu sunt garantat calibrate sau corecte, iar rezultatul la nivel de harness nu elimină această incertitudine. Arată că aranjamentul în ansamblu a ajutat pe benchmark-urile testate.

Unde se situează printre alte modele de protecție #

JevAct se alătură unui set aglomerat de abordări pentru protejarea acțiunilor agenților, iar diferențele sunt instructive. GuardAgent folosește un agent separat pentru a genera și executa cod de verificare pornind de la cerințe de protecție definite de utilizator. Zwerdling et al. compilează politicile companiei în bariere de siguranță executabile care verifică conformitatea înainte de acțiunile asupra instrumentelor. AgentSpec reprezintă constrângerile de rulare ca declanșatori, predicate și acțiuni de aplicare. ShieldAgent derivă reguli verificabile din documentele de politică.

Alții se bazează pe modele pentru verificarea propriu-zisă. ToolSafe folosește o barieră de siguranță învățată pentru a evalua apelurile de instrument propuse și a returna feedback, în timp ce PolicyGuard și PolicyGuide folosesc verificatori bazați pe modele pentru respectarea politicilor și ghidarea fluxurilor de lucru. CaMeL urmează alt drum, impunând securitatea prin separarea fluxului de control de încredere de datele nesigure.

Pe acest fundal, alegerea distinctivă a JevAct este asocierea sa specifică. Ca direcția de lucru care compilează politici în bariere executabile, transformă politica în verificări asupra stării instrumentelor. Ca verificatorii bazați pe modele, folosește un model pentru judecățile pe care codul nu le poate face. Ce adaugă este un model de decizie care returnează probabilități pentru alegeri fixe, folosit online înainte ca acțiunile selectate să fie executate, cu feedback pentru revizuire. Lasă propunerile în seama LLM-ului ReAct și pune Kev într-o etapă separată de verificare înainte ca acțiunile selectate să fie aplicate.

De ce merită urmărit acest design #

Părerea mea este că cea mai utilă idee de aici nu este Kev în sine, ci disciplina separării. Întrebați codul ce poate codul să răspundă. Întrebați un model doar ce depinde de conversație. Țineți separat cel care propune de cel care verifică, astfel încât modelul care verifică o acțiune să nu fie cel care a sugerat-o. Și faceți ca ieșirea verificatorului să fie o probabilitate comparată cu un prag, astfel încât poarta să fie o comparație, nu un text pe care cineva trebuie să-l interpreteze.

Acest design face și punctele slabe lizibile. Dacă o verificare dă greș, puteți întreba dacă a fost o verificare de stare sau o întrebare despre conversație. Dacă pragurile sunt greșite, sunt numere pe care le puteți examina. Prudența lucrării, potrivit căreia probabilitățile trebuie testate în buclă, este instinctul corect și o poziție mai bună decât a presupune că un verificator funcționează pentru că pare rezonabil.

Rezultatele inegale sunt, dacă ceva, liniștitoare în privința onestității raportării. Un cadru care pretinde câștiguri uniforme peste tot ar merita mai multă suspiciune decât unul care arată opt din opt pe Telecom, nouă din nouă la succesul în trei rulări pe BFCL, rezultate mixte la succesul cel puțin o dată pe BFCL și efecte variabile pe Airline. Tiparul le oferă practicienilor ceva în jurul căruia să planifice: cele mai solide dovezi privesc fiabilitatea în rulări repetate, iar cele mai slabe se află în domeniul în care efectele variază de la agent la agent.

Ce e de făcut cu asta #

Pentru cititorii tehnici, concluzia este arhitecturală. LLM-ul agentului, promptul de bază și instrumentele rămân neschimbate în JevAct, deci stratul de verificare este ceva ce adăugați în jurul unui agent, nu ceva ce antrenați în el. Pentru fondatori, lectura practică este mai îngustă decât titlul. Lucrarea raportează o fiabilitate îmbunătățită pe mai multe modele și benchmark-uri, cu Airline mai mixt, iar comparațiile sale evaluează întregul harness, nu evaluatorul izolat. Comparațiile principale nu stabilesc ce componentă aduce îmbunătățirea, deși ablația pe Airline din lucrare sugerează că verificarea programatică explică o mare parte din ea în acel cadru.

Întrebarea deschisă este chiar cea centrală a lucrării: dacă un model de decizie poate servi drept verificator cu prag de probabilitate alături de verificările executabile ale stării instrumentelor, când, așa cum notează autorii, probabilitățile sale nu sunt garantat calibrate sau corecte. Rezultatele pe Airline, unde efectele sunt mai mici și variază de la agent la agent, sunt primul loc unde trebuie privit. Dacă această variație provine din verificări, din praguri sau din politicile compilate este o chestiune pe care rezultatele raportate o lasă deschisă și este experimentul pe care mi-aș dori cel mai mult să-l văd în continuare.

Întrebări frecvente #

Ce este JevAct? JevAct este un cadru de verificare la rulare creat de cercetători IBM, care interceptează anumite acțiuni ale agentului, și anume apelurile de scriere și predările, înainte de execuție. O propunere semnalată se întoarce la agent cu feedback țintit și o șansă limitată de revizuire. LLM-ul agentului, promptul de bază și instrumentele rămân neschimbate.

Ce face Kev în JevAct? Kev este un model de decizie open source de tip Jev, care răspunde la întrebări fixe cu probabilități, nu cu text generat. În JevAct, răspunde la întrebările care depind de conversație, în timp ce codul verifică faptele disponibile în înregistrările instrumentelor. Kev nu alege acțiuni; agentul le propune în continuare.

Cum a fost evaluat JevAct? Lucrarea compară JevAct cu un harness ReAct care folosește același LLM al agentului în ambele brațe. Sarcinile acoperă Airline și Telecom din τ²-bench și sarcini de apelare de funcții cu mai multe ture din BFCL, cu succesul raportat atât ca succes cel puțin o dată în trei rulări, cât și ca succes în toate cele trei rulări.

A îmbunătățit JevAct fiecare agent pe fiecare benchmark? Nu. Pe Telecom, toți cei opt agenți s-au îmbunătățit la ambele măsuri, iar pe BFCL toți cei nouă s-au îmbunătățit la succesul în trei rulări, în timp ce rezultatele la succesul cel puțin o dată au fost mixte. Efectele pe Airline au fost mai mici și au variat de la agent la agent, iar autorii spun că rezultatele nu demonstrează câștiguri uniforme.

Arată lucrarea că modelul de decizie singur produce câștigurile? Nu. Deoarece JevAct adaugă verificări compilate și oportunități de revizuire, comparațiile principale evaluează întregul harness, nu evaluatorul izolat. Autorii notează, de asemenea, că probabilitățile modelului de decizie nu sunt garantat calibrate sau corecte.

Referințe #

Ultima revizuire .

Republică acest articol

Copiază formatul pentru Medium

# Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/](https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/)

JevAct verifică acțiunile agenților LLM înainte de execuție. Față de ReAct cu același model, câștigurile sunt constante pe Telecom și BFCL, mixte pe Airline.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/

Copiază formatul pentru Mastodon

Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau

JevAct verifică acțiunile agenților LLM înainte de execuție. Față de ReAct cu același model, câștigurile sunt constante pe Telecom și BFCL, mixte pe Airline.

https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/

Copiați formatat pentru LinkedIn

Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau

JevAct verifică acțiunile agenților LLM înainte de execuție. Față de ReAct cu același model, câștigurile sunt constante pe Telecom și BFCL, mixte pe Airline.

Iată principalele concluzii strategice:

- Problema: execuția urmează propunerii. Un agent care rezervă un zbor, anulează o comandă sau modifică o setare de cont face ceva ce nu poate fi anulat discret.
- Ce este JevAct. JevAct este un harness care verifică anumite propuneri înainte de execuție.
- Două tipuri de dovezi, o singură poartă. Designul se bazează pe separarea dintre ce poate fi verificat determinist și ce nu poate.
- De ce un model de decizie și nu un LLM evaluator. Alternativa evidentă este un LLM evaluator care citește propunerea și scrie un verdict.

Care este abordarea organizației dvs. față de provocările descrise în acest articol?

→ https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/

#AgențiLlm #VerificareaAgenților #VerificareLaRulare #ModeleDeDecizie #AgențiCuInstrumente

Sebastien Rousseau | CC-BY-4.0
Citează acest articol

Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau

JevAct verifică acțiunile agenților LLM înainte de execuție. Față de ReAct cu același model, câștigurile sunt constante pe Telecom și BFCL, mixte pe Airline.

BibTeX

@online{rousseau2026verificarea,
  author  = {Rousseau, Sebastien},
  title   = {{Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/
ER  -

Vancouver

Rousseau S. Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/

Chicago

Rousseau, Sebastien. "Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/.

APA

Rousseau, S. (2026, November 18). Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/

Republică acest articol

Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau

JevAct verifică acțiunile agenților LLM înainte de execuție. Față de ReAct cu același model, câștigurile sunt constante pe Telecom și BFCL, mixte pe Airline.

Acest articol este licențiat sub Creative Commons Attribution 4.0 International. Republicarea necesită atribuirea la URL-ul canonic.

Verificarea acțiunilor agenților înainte de execuție: JevAct — Sebastien Rousseau

JevAct verifică acțiunile agenților LLM înainte de execuție. Față de ReAct cu același model, câștigurile sunt constante pe Telecom și BFCL, mixte pe Airline.

Originally published at https://sebastienrousseau.com/ro/2026-11-18-verificarea-actiunilor-agentilor-inainte-executie-jevact/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.