Sebastien Rousseau

LLM-AGENTS

Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct

De meeste agentlussen voeren een tool-aanroep uit zodra het model die voorstelt, en de resultaten van JevAct suggereren dat een goedkoop, op kansen gebaseerd controlepunt vlak vóór uitvoering agents met tools betrouwbaarder kan maken, al verschilt de winst sterk per benchmark.

13 min. leestijd
Banner for: Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct

De meeste agentlussen voeren een tool-aanroep uit zodra het model die voorstelt, en de resultaten van JevAct suggereren dat een goedkoop, op kansen gebaseerd controlepunt vlak vóór uitvoering agents met tools betrouwbaarder kan maken, al verschilt de winst sterk per benchmark.

Managementsamenvatting

  • LLM-agents voeren steeds vaker ingrijpende acties uit via externe tools, maar die acties worden vaak uitgevoerd zonder onafhankelijke verificatie van beleidsnaleving of taakvoltooiing.
  • JevAct compileert een domeinbeleid offline tot vragen, regels, uitvoerbare statuscontroles en, waar nodig, een checklist voor overdracht.
  • Tijdens runtime controleert code de feiten in toolrecords, terwijl Kev, een open-source beslismodel naar het voorbeeld van Jev, de vragen beantwoordt die van het gesprek afhangen.
  • Vergeleken met een ReAct-harnas op τ²-bench (Airline, Telecom) en BFCL is de winst consistent op Telecom en op drie-runs-succes in BFCL, en wisselender op Airline.
  • De auteurs formuleren zelf voorzichtig: de bevindingen suggereren dat gestructureerde beslismodellen in combinatie met uitvoerbare verificatie de betrouwbaarheid kunnen verbeteren.

Het probleem: uitvoering volgt op het voorstel #

Een agent die een vlucht boekt, een bestelling annuleert of een accountinstelling wijzigt, doet iets wat niet stilletjes ongedaan te maken is. Het ongemakkelijke deel is hoe weinig er tussen de suggestie van het model en het effect staat. Veel agentlussen voeren een voorgestelde tool-aanroep uit zodra het model die produceert. Niemand controleert onafhankelijk of de actie aan het domeinbeleid voldoet, of dat een taak die de agent als afgerond beschouwt ook werkelijk is afgerond.

Dat gat is het vertrekpunt van "Think Before You Act: Decision Gate for LLM Agents", een arXiv-preprint uit 2026 van Iftach Shoham, Yuval David en collega's bij IBM, die JevAct introduceert. Het is geen nieuwe observatie, maar het verdient een heldere formulering, omdat zoveel agenttooling zich richt op het verbeteren van wie voorstelt. ReAct-agents wisselen redeneren af met toolgebruik, en dat patroon is een gangbare baseline geworden. Reflectiemethoden zoals Self-Refine en Reflexion voegen kritiek en feedback toe om latere voorstellen of pogingen te verbeteren, zonder de modelgewichten bij te werken. Hoe nuttig dat ook is, die methoden verifiëren op zichzelf geen specifieke actie tegen een domeinbeleid vlak vóór uitvoering. De controle waar het JevAct om gaat, zit op een ander punt in de lus: nadat er een voorstel is en voordat het wordt doorgevoerd.

Wat JevAct is #

JevAct is een harnas dat geselecteerde voorstellen vóór uitvoering controleert. Het wordt beschreven als een raamwerk voor runtimeverificatie dat geselecteerde agentacties onderschept en correctie op basis van feedback mogelijk maakt. Het werkt onafhankelijk van het onderliggende agentmodel en vereist geen aanpassingen aan de parameters of tools van het model. In de geëvalueerde opzet blijven de LLM, de basisprompt en de tools van de agent ongewijzigd.

Architectonisch breidt JevAct het harnas van een ReAct-agent uit met een selectieve controlefase tussen het voorstellen en het uitvoeren van een bericht. Het woord "selectief" doet ertoe. Het raamwerk inspecteert niet elk bericht; het richt zich op bepaalde soorten acties. De paper definieert er twee. Een schrijfaanroep verandert de omgeving, bijvoorbeeld door te boeken, te annuleren of een instelling te wijzigen. Een overdracht beëindigt de poging van de agent, door de gebruiker door te verbinden met een mens of door de gebruiker te zeggen dat er niets meer kan worden gedaan. Bij schrijfacties richt een beleidsschending schade aan; bij overdrachten kan een agent te vroeg opgeven. Het verklaarde doel van het raamwerk, het herkennen van mogelijk ongeldige acties en voortijdige taakbeëindiging, sluit aan op die twee categorieën.

Als een controle faalt, wordt het voorstel niet simpelweg geblokkeerd. De controles kunnen de uitvoering uitstellen en de LLM met tijdelijke feedback om een herzien voorstel vragen, binnen een vast herzieningsbudget. Een voorstel dat slaagt, gaat door. Een gemarkeerd voorstel gaat terug naar de agent met gerichte feedback en een begrensde kans op herziening. En de taakverdeling blijft helder: de agent stelt nog steeds acties voor, en Kev kiest ze niet.

Twee soorten bewijs, één poort #

Het ontwerp rust op een scheiding tussen wat deterministisch te verifiëren is en wat niet. JevAct combineert deterministische verificatie van feiten over de toolstatus met probabilistische beoordeling van de gesprekscontext. Tijdens runtime controleert code de feiten die in toolrecords beschikbaar zijn, en beantwoordt Kev de vragen die van het gesprek afhangen.

Die scheiding is verstandig. Sommige beleidsvoorwaarden zijn feiten in de records van een tool, en een programma kan ze lezen zonder de mening van een model. Andere voorwaarden zitten in wat gebruiker en agent tegen elkaar zeiden, en geen databasequery beslecht die. Door het eerste soort aan code te geven en het tweede aan een model, wordt het model alleen gevraagd naar wat code niet kan beantwoorden.

De offline helft maakt het praktisch te beschrijven. Een compiler zet een domeinbeleid om in vragen, regels, uitvoerbare controles op de toolstatus en, waar nodig, een checklist voor overdracht. Met andere woorden: JevAct compileert domeinbeleid tot uitvoerbare statuscontroles en gestructureerde vragen die een prefill-only beslismodel beoordeelt. De auteurs zeggen dat ze de basis leggen voor een workflow die domeinbeleid compileert tot vragen, beslisregels, uitvoerbare statuscontroles en overdrachtschecklists voor een beslispoort met een beslismodel. Dat is een bescheiden formulering, en ik neem die letterlijk: de claim gaat over het fundament van een workflow, niet over een af product.

Waarom een beslismodel in plaats van een LLM-beoordelaar #

Het voor de hand liggende alternatief is een LLM-beoordelaar die het voorstel leest en een oordeel schrijft. Het bezwaar van de paper is praktisch. Vrije toelichtingen van zo'n beoordelaar moeten nog worden geïnterpreteerd voordat een poort erop kan handelen, en die beslissing met een frontiermodel nemen is duur. Een poort heeft een beslissing nodig, geen essay.

Beslismodellen zijn daarvoor gebouwd. Jev introduceerde beslismodellen die getypeerde keuzes, scores en kansen teruggeven in plaats van gegenereerde tekst. Ze geven keuzes en kansen voor vaste vragen, wat controles op basis van drempelwaarden eenvoudig maakt. Het model dat JevAct gebruikt is prefill-only en produceert oordelen op basis van kansen zonder te leunen op LLM-generatie. Kev is een open-source beslismodel van het Jev-type, geplaatst in een aparte verificatiestap voordat geselecteerde acties worden doorgevoerd.

Er zit een addertje onder het gras, en de auteurs benoemen het zelf. De kansen van een beslismodel zijn niet gegarandeerd gekalibreerd of correct, dus hun waarde moet in de agentlus worden getest in plaats van aangenomen. Die zin kadert het hele empirische deel. De centrale vraag is of een beslismodel kan dienen als verifier met een kansdrempel naast uitvoerbare controles op de toolstatus. Het is een vraag die een experiment moet beantwoorden, en in dat experiment zit het interessante detail.

Gerelateerd werk over beslismodellen geeft een gemengd beeld van waarom dat testen telt. Li et al. rapporteren concurrerende resultaten op voorkeuren en op feitelijkheid gegrond in bewijs, maar zwakkere prestaties wanneer afleiding nodig is. Rao en Callison-Burch rapporteren wisselende resultaten met rubrics en overlappende fouten met LLM-beoordelaars. Een beslismodel dat sterk is in sommige beoordelingstaken en zwakker in andere, is precies het soort component dat je wilt combineren met deterministische controles in plaats van het alleen te vertrouwen.

Hoe de vergelijking is uitgevoerd #

JevAct wordt vergeleken met een ReAct-harnas dat in beide armen dezelfde agent-LLM gebruikt. De taken omvatten Airline en Telecom in τ²-bench en multi-turn function-calling-taken in BFCL. De agent-LLM in beide armen gelijk houden is de juiste controle voor de gestelde vraag: elk verschil komt van het harnas, niet van een sterkere of zwakkere voorsteller.

De paper rapporteert zijn resultaten met pass^3-cijfers uit Tabel 2, naast minstens-één-keer-succes. Die twee maten trekken in verschillende richtingen, en het contrast tussen beide blijkt informatief. Succes over alle drie de runs beloont een agent die het elke keer goed doet. Minstens-één-keer-succes beloont een agent die het bij een willekeurige poging goed doet. Een verifier die slechte acties onderschept, zou het eerste betrouwbaarder moeten helpen dan het tweede, en de resultaten passen bij die lezing. De paper zegt echter alleen dat het BFCL-patroon past bij beter herhaalbare prestaties op sommige taken, dus de rest markeer ik als interpretatie en niet als bevinding.

Wat de cijfers laten zien #

Op Telecom verbeteren alle acht agents zowel minstens-één-keer-succes als succes over alle drie de runs. Dat is het schoonste resultaat in de paper: geen uitzonderingen onder de geteste agents, op geen van beide maten.

Op BFCL verbeteren alle negen agents op drie-runs-succes, maar de minstens-één-keer-resultaten zijn wisselend. Lees dat zorgvuldig. Op BFCL stijgt de strengere maat voor elke geteste agent, met 0,1 tot 9,6 punten; de soepelere maat verbetert voor vier agents en daalt voor vijf. Als het je gaat om een agent die zich elke keer correct gedraagt, is dat de gunstige richting. Als het je gaat om de vraag of een nieuwe poging uiteindelijk slaagt, is het voordeel hier niet aangetoond.

Airline is het zwakke punt. Op Airline zijn de effecten kleiner en verschillen ze per agent. De samenvatting van de resultaten spreekt van bijzonder consistente winst op Telecom en BFCL, terwijl de prestaties op Airline wisselender zijn. Een oprichter die dit leest, moet dat niet afronden tot "verbetert alles". De auteurs rapporteren verbeterde betrouwbaarheid van agents over meerdere modellen en benchmarks, maar op Airline is de winst kleiner en wisselend, en ze zeggen dat hun bevindingen geen uniforme winst aantonen. De paper waarschuwt dat bij 50 Airline-taken één taak een score met 2 procentpunten verschuift, dus kleine verschillen moeten voorzichtig worden gelezen; verder ga ik niet raden waarom Airline zich anders gedraagt.

De algemene lezing wordt door de auteurs zelf voorzichtig gebracht: de bevindingen suggereren dat het combineren van gestructureerde beslismodellen met uitvoerbare verificatie de betrouwbaarheid van LLM-agents met tools kan verbeteren. "Suggereren" is het juiste werkwoord. Het is een veelbelovend resultaat, geen bewijs.

Wat de vergelijking wel en niet isoleert #

Eén beperking verdient meer gewicht dan ze meestal krijgt. Omdat JevAct gecompileerde controles en herzieningskansen toevoegt, evalueren de vergelijkingen het volledige harnas, niet de beoordelaar in isolatie. Dat is een belangrijk voorbehoud voor wie wil concluderen dat het beslismodel het zware werk doet. De winst kan komen van de kansen van Kev, van de uitvoerbare statuscontroles, van de extra kansen op herziening, of van een combinatie. De hoofdvergelijkingen scheiden die niet.

Ik zou betogen dat dit niet zozeer een gebrek is als een eerlijke beschrijving van wat een systeempaper kan laten zien. De vraag die de auteurs stellen, of een beslismodel kan dienen als verifier met een kansdrempel naast uitvoerbare controles op de toolstatus, wordt beantwoord op het niveau van het paar, want "naast" staat in de vraag zelf. Maar wie beslist waar hij inspanning in steekt, moet het in gedachten houden. Bouw je iets vergelijkbaars, dan kun je uit dit bewijs niet afleiden dat het beslismodel alleen de verbetering zou dragen, noch dat de codecontroles dat alleen zouden doen.

Het betekent ook dat het voorbehoud over kalibratie blijft staan. De kansen zijn niet gegarandeerd gekalibreerd of correct, en het resultaat op harnasniveau neemt die onzekerheid niet weg. Het laat zien dat de opzet als geheel hielp op de geteste benchmarks.

Waar dit staat tussen andere ontwerpen voor vangrails #

JevAct voegt zich bij een volle verzameling benaderingen om agentacties te bewaken, en de verschillen zijn leerzaam. GuardAgent gebruikt een aparte agent om verificatiecode te genereren en uit te voeren op basis van door gebruikers gedefinieerde bewakingseisen. Zwerdling et al. compileren bedrijfsbeleid tot uitvoerbare bewakers die naleving controleren vóór toolacties. AgentSpec representeert runtimebeperkingen als triggers, predicaten en handhavingsacties. ShieldAgent leidt verifieerbare regels af uit beleidsdocumenten.

Andere leunen voor de verificatie zelf op modellen. ToolSafe gebruikt een aangeleerde vangrail om voorgestelde tool-aanroepen te beoordelen en feedback terug te geven, terwijl PolicyGuard en PolicyGuide modelgebaseerde verifiers gebruiken voor beleidsnaleving en workflowbegeleiding. CaMeL kiest een andere route en dwingt beveiliging af door vertrouwde control flow te scheiden van onvertrouwde data.

Tegen die achtergrond is de onderscheidende keuze van JevAct zijn specifieke combinatie. Net als het werk dat beleid compileert tot uitvoerbare bewakers, zet het beleid om in controles op de toolstatus. Net als de modelgebaseerde verifiers gebruikt het een model voor oordelen die code niet kan vellen. Wat het toevoegt, is een beslismodel dat kansen over vaste keuzes teruggeeft, online ingezet voordat geselecteerde acties worden uitgevoerd, met feedback voor herziening. Het laat voorstellen over aan de ReAct-LLM en zet Kev in een aparte verificatiestap voordat geselecteerde acties worden doorgevoerd.

Waarom dit ontwerp het volgen waard is #

Mijn standpunt is dat het nuttigste idee hier niet Kev zelf is, maar de discipline van de scheiding. Vraag code wat code kan beantwoorden. Vraag een model alleen wat van het gesprek afhangt. Houd voorsteller en verifier gescheiden, zodat het model dat een actie controleert niet het model is dat haar voorstelde. En maak de uitvoer van de verifier een kans tegenover een drempel, zodat de poort een vergelijking is en geen tekst die iemand moet ontleden.

Dat ontwerp maakt ook de zwakke punten leesbaar. Gaat een controle mis, dan kun je vragen of het een statuscontrole was of een gespreksvraag. Kloppen de drempels niet, dan zijn het getallen die je kunt onderzoeken. De eigen waarschuwing van de paper dat kansen in de lus getest moeten worden, is het juiste instinct, en een betere houding dan aannemen dat een verifier werkt omdat hij verstandig klinkt.

De ongelijke resultaten stellen zo mogelijk gerust over de eerlijkheid van de rapportage. Een raamwerk dat overal uniforme winst claimt, zou meer argwaan verdienen dan een raamwerk dat acht van de acht laat zien op Telecom, negen van de negen op drie-runs-succes in BFCL, wisselende minstens-één-keer-resultaten op BFCL en variabele effecten op Airline. Het patroon geeft praktijkmensen iets om omheen te plannen: het sterkste bewijs geldt voor betrouwbaarheid over herhaalde runs, het zwakste ligt in het domein waar de effecten per agent verschillen.

Wat je hiermee doet #

Voor technische lezers is de les architectonisch. De LLM, de basisprompt en de tools van de agent blijven in JevAct ongewijzigd, dus de verificatielaag is iets wat je rond een agent toevoegt, niet iets wat je erin traint. Voor oprichters is de praktische lezing smaller dan de kop. De paper rapporteert verbeterde betrouwbaarheid over meerdere modellen en benchmarks, met Airline wisselender, en de vergelijkingen evalueren het volledige harnas en niet de beoordelaar in isolatie. De hoofdvergelijkingen tonen niet aan welk onderdeel de verbetering verdient, al suggereert de ablatie op Airline in de paper dat programmatische verificatie daar in die opzet een groot deel van verklaart.

De open vraag is de centrale vraag van de paper zelf: of een beslismodel kan dienen als verifier met een kansdrempel naast uitvoerbare controles op de toolstatus, terwijl, zoals de auteurs opmerken, de kansen ervan niet gegarandeerd gekalibreerd of correct zijn. De resultaten op Airline, waar de effecten kleiner zijn en per agent verschillen, zijn de plek om als eerste te kijken. Of die variatie terug te voeren is op de controles, de drempels of het gecompileerde beleid, laten de gerapporteerde resultaten open, en dat is het experiment dat ik het liefst als volgende zou zien.

Veelgestelde vragen #

Wat is JevAct? JevAct is een raamwerk voor runtimeverificatie van onderzoekers bij IBM dat geselecteerde agentacties, namelijk schrijfaanroepen en overdrachten, vóór uitvoering onderschept. Een gemarkeerd voorstel gaat terug naar de agent met gerichte feedback en een begrensde kans op herziening. De LLM, de basisprompt en de tools van de agent blijven ongewijzigd.

Wat doet Kev in JevAct? Kev is een open-source beslismodel naar het voorbeeld van Jev dat vaste vragen beantwoordt met kansen in plaats van gegenereerde tekst. In JevAct beantwoordt het de vragen die van het gesprek afhangen, terwijl code de feiten in toolrecords controleert. Kev kiest geen acties; de agent stelt ze nog steeds voor.

Hoe is JevAct geëvalueerd? De paper vergelijkt JevAct met een ReAct-harnas dat in beide armen dezelfde agent-LLM gebruikt. De taken omvatten Airline en Telecom in τ²-bench en multi-turn function-calling-taken in BFCL, met succes gerapporteerd als minstens één keer over drie runs en als succes in alle drie de runs.

Verbeterde JevAct elke agent op elke benchmark? Nee. Op Telecom verbeterden alle acht agents op beide maten, en op BFCL verbeterden alle negen op drie-runs-succes, terwijl de minstens-één-keer-resultaten wisselend waren. Op Airline waren de effecten kleiner en verschilden ze per agent, en de auteurs zeggen dat de bevindingen geen uniforme winst aantonen.

Toont de paper aan dat het beslismodel alleen de winst veroorzaakt? Nee. Omdat JevAct gecompileerde controles en herzieningskansen toevoegt, evalueren de hoofdvergelijkingen het volledige harnas, niet de beoordelaar in isolatie. De auteurs merken ook op dat de kansen van een beslismodel niet gegarandeerd gekalibreerd of correct zijn.

Referenties #

Laatst herzien .

Dit artikel herpubliceren

Kopieer opmaak voor Medium

# Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/](https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/)

JevAct controleert geselecteerde acties van LLM-agents vóór uitvoering. Tegenover ReAct met hetzelfde model: winst op Telecom en BFCL, wisselend op Airline.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/

Kopieer opmaak voor Mastodon

Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau

JevAct controleert geselecteerde acties van LLM-agents vóór uitvoering. Tegenover ReAct met hetzelfde model: winst op Telecom en BFCL, wisselend op Airline.

https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/

Kopieer geformatteerd voor LinkedIn

Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau

JevAct controleert geselecteerde acties van LLM-agents vóór uitvoering. Tegenover ReAct met hetzelfde model: winst op Telecom en BFCL, wisselend op Airline.

Dit zijn de belangrijkste strategische inzichten:

- Het probleem: uitvoering volgt op het voorstel. Een agent die een vlucht boekt, een bestelling annuleert of een accountinstelling wijzigt, doet iets wat niet stilletjes ongedaan te maken is.
- Wat JevAct is. JevAct is een harnas dat geselecteerde voorstellen vóór uitvoering controleert.
- Twee soorten bewijs, één poort. Het ontwerp rust op een scheiding tussen wat deterministisch te verifiëren is en wat niet.
- Waarom een beslismodel in plaats van een LLM-beoordelaar. Het voor de hand liggende alternatief is een LLM-beoordelaar die het voorstel leest en een oordeel schrijft.

Hoe gaat uw organisatie om met de uitdagingen die in dit artikel worden beschreven?

→ https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/

#LlmAgents #Agentverificatie #Runtimeverificatie #Beslismodellen #AgentsMetTools

Sebastien Rousseau | CC-BY-4.0
Dit artikel citeren

Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau

JevAct controleert geselecteerde acties van LLM-agents vóór uitvoering. Tegenover ReAct met hetzelfde model: winst op Telecom en BFCL, wisselend op Airline.

BibTeX

@online{rousseau2026agentacties,
  author  = {Rousseau, Sebastien},
  title   = {{Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/
ER  -

Vancouver

Rousseau S. Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/

Chicago

Rousseau, Sebastien. "Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/.

APA

Rousseau, S. (2026, November 18). Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/

Dit artikel herpubliceren

Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau

JevAct controleert geselecteerde acties van LLM-agents vóór uitvoering. Tegenover ReAct met hetzelfde model: winst op Telecom en BFCL, wisselend op Airline.

Dit artikel valt onder de licentie Creative Commons Attribution 4.0 International. Herpublicatie vereist attributie aan de canonieke URL.

Agentacties verifiëren vóór uitvoering: de beslispoort van JevAct — Sebastien Rousseau

JevAct controleert geselecteerde acties van LLM-agents vóór uitvoering. Tegenover ReAct met hetzelfde model: winst op Telecom en BFCL, wisselend op Airline.

Originally published at https://sebastienrousseau.com/nl/2026-11-18-agentacties-verifieren-uitvoering-beslispoort-jevact/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.