La maggior parte dei cicli di un agente esegue una chiamata di strumento nel momento stesso in cui il modello la propone. I risultati di JevAct indicano che un punto di controllo economico, basato su probabilità e collocato subito prima dell'esecuzione, può rendere più affidabili gli agenti che usano strumenti, anche se i miglioramenti variano molto da un benchmark all'altro.
Sintesi per il management
- Gli agenti LLM compiono sempre più spesso azioni rilevanti tramite strumenti esterni, eppure queste azioni vengono spesso eseguite senza una verifica indipendente della conformità alle policy o del completamento del compito.
- JevAct compila offline una policy di dominio in domande, regole, controlli eseguibili sullo stato e, dove serve, una checklist per il passaggio di consegne.
- A runtime il codice verifica i fatti nei record degli strumenti, mentre Kev, un modello decisionale open source sul modello di Jev, risponde alle domande che dipendono dalla conversazione.
- Rispetto a un harness ReAct su τ²-bench (Airline, Telecom) e BFCL, i miglioramenti sono costanti su Telecom e sul successo su tre esecuzioni di BFCL, e più contrastanti su Airline.
- Gli stessi autori restano prudenti: i risultati suggeriscono che i modelli decisionali strutturati, combinati con la verifica eseguibile, possono migliorare l'affidabilità.
Il problema: l'esecuzione segue la proposta #
Un agente che prenota un volo, annulla un ordine o modifica un'impostazione di un conto fa qualcosa che non si può annullare in silenzio. La parte scomoda è quanto poco separi il suggerimento del modello dal suo effetto. Molti cicli di agenti eseguono una chiamata di strumento proposta appena il modello la produce. Nessuno verifica in modo indipendente se l'azione rispetta la policy del dominio, o se un compito che l'agente ritiene concluso lo sia davvero.
Questo divario è il punto di partenza di "Think Before You Act: Decision Gate for LLM Agents", un preprint arXiv del 2026 di Iftach Shoham, Yuval David e colleghi di IBM, che presenta JevAct. Non è un'osservazione nuova, ma vale la pena esplicitarla perché gran parte degli strumenti per agenti si concentra sul migliorare chi propone. Gli agenti ReAct alternano ragionamento e uso di strumenti, e questo schema è diventato una baseline diffusa. Metodi di riflessione come Self-Refine e Reflexion aggiungono critica e feedback per migliorare le proposte o i tentativi successivi, senza aggiornare i pesi del modello. Per quanto utili, questi metodi non verificano di per sé una specifica azione rispetto a una policy di dominio subito prima dell'esecuzione. Il controllo che interessa a JevAct si colloca in un punto diverso del ciclo: dopo che una proposta esiste e prima che venga eseguita.
Che cos'è JevAct #
JevAct è un harness che controlla determinate proposte prima dell'esecuzione. È descritto come un framework di verifica a runtime che intercetta specifiche azioni dell'agente e consente una correzione guidata dal feedback. Opera in modo indipendente dal modello sottostante dell'agente e non richiede modifiche ai parametri del modello né agli strumenti. Nella configurazione valutata, LLM, prompt di base e strumenti dell'agente restano invariati.
Sul piano architetturale, JevAct estende l'harness di un agente ReAct inserendo una fase di controllo selettiva tra la proposta del messaggio e la sua esecuzione. La parola "selettiva" conta. Il framework non ispeziona ogni messaggio; prende di mira tipi specifici di azione. Il paper ne definisce due. Una chiamata di scrittura modifica l'ambiente, per esempio prenotando, annullando o cambiando un'impostazione. Un passaggio di consegne chiude il tentativo dell'agente, trasferendo l'utente a un operatore umano oppure comunicandogli che non si può fare altro. Le scritture sono il punto in cui una violazione delle policy fa danni; i passaggi di consegne sono il punto in cui un agente può arrendersi troppo presto. L'obiettivo dichiarato del framework, individuare azioni potenzialmente non valide e chiusure premature del compito, corrisponde a queste due categorie.
Quando un controllo fallisce, la proposta non viene semplicemente bloccata. I controlli possono rinviare l'esecuzione e chiedere all'LLM una proposta rivista con un feedback temporaneo, entro un budget fisso di revisioni. Una proposta che supera il controllo procede. Una proposta segnalata torna all'agente con un feedback mirato e una possibilità delimitata di revisione. E la divisione dei compiti resta netta: l'agente continua a proporre le azioni, Kev non le sceglie.
Due tipi di evidenza, un solo gate #
Il progetto poggia su una separazione tra ciò che si può verificare in modo deterministico e ciò che non si può. JevAct combina la verifica deterministica dei fatti nello stato degli strumenti con una valutazione probabilistica del contesto conversazionale. A runtime il codice verifica i fatti disponibili nei record degli strumenti, e Kev risponde alle domande che dipendono dalla conversazione.
È una separazione sensata. Alcune condizioni di policy sono fatti contenuti nei record di uno strumento, e un programma può leggerli senza l'opinione di alcun modello. Altre condizioni stanno in ciò che utente e agente si sono detti, e nessuna interrogazione di un database le risolverà. Affidare il primo tipo al codice e il secondo a un modello significa interrogare il modello solo su ciò a cui il codice non sa rispondere.
È la metà offline a rendere tutto questo descrivibile in termini pratici. Un compilatore trasforma una policy di dominio in domande, regole, controlli eseguibili sullo stato degli strumenti e, dove serve, una checklist per il passaggio di consegne. In altre parole, JevAct compila le policy di dominio in controlli di stato eseguibili e in domande strutturate valutate da un modello decisionale prefill-only. Gli autori dicono di gettare le basi di un flusso di lavoro che compila le policy di dominio in domande, regole decisionali, controlli di stato eseguibili e checklist per il passaggio di consegne, a servizio di un gate basato su un modello decisionale. È una formulazione modesta, e la prenderei alla lettera: l'affermazione riguarda le basi di un flusso di lavoro, non un prodotto finito.
Perché un modello decisionale e non un LLM giudice #
L'alternativa ovvia è un LLM giudice che legge la proposta e scrive un verdetto. L'obiezione del paper è pratica. Le spiegazioni in forma libera di un giudice del genere vanno comunque interpretate prima che un gate possa agire, e prendere questa decisione con un modello di frontiera è costoso. A un gate serve una decisione, non un saggio.
I modelli decisionali sono costruiti per questo. Jev ha introdotto modelli decisionali che restituiscono scelte tipizzate, punteggi e probabilità anziché testo generato. Restituiscono scelte e probabilità per domande fisse, il che rende immediati i controlli basati su soglie. Il modello usato da JevAct è prefill-only e produce giudizi basati su probabilità senza ricorrere alla generazione dell'LLM. Kev è un modello decisionale open source di tipo Jev, collocato in una fase di verifica separata prima che determinate azioni vengano eseguite.
C'è un limite, e sono gli autori stessi a dichiararlo. Le probabilità dei modelli decisionali non sono garantite come calibrate o corrette, quindi il loro valore va verificato nel ciclo dell'agente e non dato per scontato. Questa frase inquadra l'intera sezione empirica. La domanda centrale è se un modello decisionale possa fungere da verificatore con soglia di probabilità, affiancato a controlli eseguibili sullo stato degli strumenti. È una domanda a cui si risponde con un esperimento, ed è nell'esperimento che si trovano i dettagli interessanti.
La letteratura sui modelli decisionali offre un quadro contrastante del perché questa verifica sia importante. Li et al. riportano risultati competitivi su preferenze e fattualità ancorata alle evidenze, ma prestazioni più deboli quando serve una derivazione. Rao e Callison-Burch riportano risultati contrastanti sulle rubriche ed errori sovrapposti a quelli dei giudici LLM. Un modello decisionale forte in alcuni compiti di giudizio e più debole in altri è esattamente il tipo di componente da affiancare a controlli deterministici, anziché fidarsene da solo.
Come è stato condotto il confronto #
JevAct viene confrontato con un harness ReAct che usa lo stesso LLM dell'agente in entrambi i bracci. I compiti coprono Airline e Telecom di τ²-bench e compiti multi-turno di function calling in BFCL. Mantenere fisso l'LLM dell'agente nei due bracci è il controllo giusto per la domanda posta: qualsiasi differenza dipende dall'harness, non da un proponente più forte o più debole.
Il paper riporta i risultati con i valori pass^3, tratti dalla Tabella 2, insieme al successo almeno una volta. Le due misure tirano in direzioni diverse, e il contrasto tra loro si rivela istruttivo. Il successo su tutte e tre le esecuzioni premia un agente che fa la cosa giusta ogni volta. Il successo almeno una volta premia un agente che ci riesce in un tentativo qualsiasi. Un verificatore che intercetta le azioni errate dovrebbe aiutare la prima misura in modo più affidabile della seconda, e i risultati sono compatibili con questa lettura; il paper però dice soltanto che l'andamento su BFCL è coerente con prestazioni più ripetibili su alcuni compiti, quindi il resto lo segnalo come interpretazione, non come risultato.
Che cosa mostrano i numeri #
Su Telecom, tutti gli otto agenti migliorano sia il successo almeno una volta sia il successo su tutte e tre le esecuzioni. È il risultato più netto del paper: nessuna eccezione tra gli agenti testati, su nessuna delle due misure.
Su BFCL, tutti i nove agenti migliorano nel successo su tre esecuzioni, ma i risultati almeno una volta sono contrastanti. Va letto con attenzione. Su BFCL la misura più severa sale per ogni agente testato, da 0,1 a 9,6 punti; quella più permissiva migliora per quattro agenti e peggiora per cinque. Se interessa che un agente si comporti correttamente ogni volta, la direzione è favorevole. Se interessa sapere se un nuovo tentativo potrebbe alla fine riuscire, il beneficio qui non è dimostrato.
Airline è il punto debole. Su Airline gli effetti sono più contenuti e variano da agente ad agente. La sintesi dei risultati parla di miglioramenti particolarmente costanti su Telecom e BFCL, mentre le prestazioni su Airline sono più contrastanti. Un fondatore che legge questi dati non dovrebbe arrotondarli a "migliora tutto". Gli autori riportano miglioramenti dell'affidabilità degli agenti su più modelli e benchmark, ma su Airline i miglioramenti sono più contenuti e contrastanti, e dichiarano che i loro risultati non dimostrano miglioramenti uniformi. Il paper avverte che, con 50 compiti Airline, un singolo compito sposta il punteggio di 2 punti percentuali, quindi le piccole differenze vanno lette con cautela; oltre a questo, non azzardo ipotesi sul perché Airline si comporti diversamente.
La lettura complessiva è prudente per scelta degli stessi autori: i risultati suggeriscono che combinare modelli decisionali strutturati con la verifica eseguibile può migliorare l'affidabilità degli agenti LLM che usano strumenti. "Suggeriscono" è il verbo giusto. È un risultato promettente, non una dimostrazione.
Che cosa il confronto isola e che cosa no #
C'è un limite che merita più peso di quello che riceve di solito. Poiché JevAct aggiunge controlli compilati e occasioni di revisione, i confronti valutano l'harness completo, non il giudice preso da solo. È una riserva importante per chi spera di concludere che il lavoro pesante lo faccia il modello decisionale. I miglioramenti potrebbero venire dalle probabilità di Kev, dai controlli di stato eseguibili, dalle occasioni aggiuntive di revisione o da una loro combinazione. I confronti principali non li separano.
Sostengo che non sia tanto un difetto quanto una descrizione onesta di ciò che un paper di sistema può dimostrare. La domanda degli autori, cioè se un modello decisionale possa fungere da verificatore con soglia di probabilità affiancato a controlli eseguibili sullo stato degli strumenti, trova risposta al livello della coppia, dato che l'"affiancato" fa parte della domanda stessa. Ma chi deve decidere dove investire dovrebbe tenerlo presente. Se si costruisce qualcosa di simile, da queste evidenze non si può dedurre che il modello decisionale da solo porterebbe il miglioramento, né che lo farebbero da soli i controlli in codice.
Significa anche che la riserva sulla calibrazione resta valida. Le probabilità non sono garantite come calibrate o corrette, e il risultato a livello di harness non elimina questa incertezza. Mostra che la configurazione nel suo complesso ha aiutato sui benchmark testati.
Dove si colloca tra gli altri approcci di protezione #
JevAct si aggiunge a un insieme affollato di approcci per proteggere le azioni degli agenti, e le differenze sono istruttive. GuardAgent usa un agente separato per generare ed eseguire codice di verifica a partire da requisiti di protezione definiti dall'utente. Zwerdling et al. compilano le policy aziendali in guardie eseguibili che verificano la conformità prima delle azioni sugli strumenti. AgentSpec rappresenta i vincoli a runtime come trigger, predicati e azioni di enforcement. ShieldAgent ricava regole verificabili dai documenti di policy.
Altri si affidano ai modelli per la verifica stessa. ToolSafe usa un guardrail appreso per valutare le chiamate di strumento proposte e restituire feedback, mentre PolicyGuard e PolicyGuide usano verificatori basati su modelli per l'aderenza alle policy e la guida del flusso di lavoro. CaMeL segue un'altra strada e impone la sicurezza separando il flusso di controllo fidato dai dati non fidati.
In questo quadro, la scelta distintiva di JevAct è la sua particolare combinazione. Come il filone che compila le policy in guardie eseguibili, trasforma la policy in controlli sullo stato degli strumenti. Come i verificatori basati su modelli, usa un modello per i giudizi che il codice non può dare. Ciò che aggiunge è un modello decisionale che restituisce probabilità su scelte fisse, usato online prima che determinate azioni vengano eseguite, con feedback per la revisione. Lascia le proposte all'LLM ReAct e colloca Kev in una fase di verifica separata prima che le azioni selezionate vengano eseguite.
Perché vale la pena seguire questo progetto #
A mio avviso l'idea più utile qui non è Kev in sé, ma la disciplina della separazione. Chiedere al codice ciò a cui il codice sa rispondere. Chiedere a un modello solo ciò che dipende dalla conversazione. Tenere separati proponente e verificatore, in modo che il modello che controlla un'azione non sia quello che l'ha suggerita. E fare dell'output del verificatore una probabilità confrontata con una soglia, così che il gate sia un confronto e non un testo che qualcuno deve interpretare.
Questo progetto rende leggibili anche i punti deboli. Se un controllo sbaglia, si può chiedere se si trattava di un controllo di stato o di una domanda sulla conversazione. Se le soglie sono sbagliate, sono numeri che si possono esaminare. La cautela del paper, secondo cui le probabilità vanno testate nel ciclo, è l'istinto corretto, ed è una posizione migliore che presumere che un verificatore funzioni solo perché sembra ragionevole.
I risultati disomogenei sono, semmai, rassicuranti sull'onestà della rendicontazione. Un framework che dichiarasse miglioramenti uniformi ovunque meriterebbe più sospetto di uno che mostra otto su otto su Telecom, nove su nove nel successo su tre esecuzioni di BFCL, risultati almeno una volta contrastanti su BFCL ed effetti variabili su Airline. Lo schema offre a chi lavora sul campo qualcosa su cui pianificare: le evidenze più solide riguardano l'affidabilità su esecuzioni ripetute, le più deboli il dominio in cui gli effetti variano da agente ad agente.
Che cosa farne #
Per i lettori tecnici, la conclusione è architetturale. In JevAct LLM, prompt di base e strumenti dell'agente restano invariati, quindi lo strato di verifica è qualcosa che si aggiunge attorno a un agente, non qualcosa che gli si insegna con l'addestramento. Per i fondatori, la lettura pratica è più ristretta del titolo. Il paper riporta una maggiore affidabilità su più modelli e benchmark, con Airline più contrastante, e i suoi confronti valutano l'harness completo, non il giudice preso da solo. I confronti principali non stabiliscono quale componente generi il miglioramento, anche se l'ablazione del paper su Airline suggerisce che in quel contesto la verifica programmatica ne spiega una buona parte.
La domanda aperta è quella centrale del paper: se un modello decisionale possa fungere da verificatore con soglia di probabilità affiancato a controlli eseguibili sullo stato degli strumenti quando, come notano gli autori, le sue probabilità non sono garantite come calibrate o corrette. I risultati su Airline, dove gli effetti sono più contenuti e variano da agente ad agente, sono il primo punto da esaminare. Se quella variabilità dipenda dai controlli, dalle soglie o dalle policy compilate è una questione che i risultati riportati lasciano aperta, ed è l'esperimento che vorrei vedere per primo.
Domande frequenti #
Che cos'è JevAct? JevAct è un framework di verifica a runtime sviluppato da ricercatori IBM che intercetta determinate azioni dell'agente, cioè le chiamate di scrittura e i passaggi di consegne, prima dell'esecuzione. Una proposta segnalata torna all'agente con un feedback mirato e una possibilità delimitata di revisione. LLM, prompt di base e strumenti dell'agente restano invariati.
Che cosa fa Kev in JevAct? Kev è un modello decisionale open source sul modello di Jev che risponde a domande fisse con probabilità anziché con testo generato. In JevAct risponde alle domande che dipendono dalla conversazione, mentre il codice verifica i fatti disponibili nei record degli strumenti. Kev non sceglie le azioni; è sempre l'agente a proporle.
Come è stato valutato JevAct? Il paper confronta JevAct con un harness ReAct che usa lo stesso LLM dell'agente in entrambi i bracci. I compiti coprono Airline e Telecom di τ²-bench e compiti multi-turno di function calling in BFCL, con il successo riportato sia come successo almeno una volta su tre esecuzioni sia come successo in tutte e tre.
JevAct ha migliorato ogni agente su ogni benchmark? No. Su Telecom tutti gli otto agenti sono migliorati su entrambe le misure, e su BFCL tutti i nove sono migliorati nel successo su tre esecuzioni, mentre i risultati almeno una volta sono stati contrastanti. Su Airline gli effetti sono stati più contenuti e variabili da agente ad agente, e gli autori dichiarano che i risultati non dimostrano miglioramenti uniformi.
Il paper dimostra che è il modello decisionale da solo a produrre i miglioramenti? No. Poiché JevAct aggiunge controlli compilati e occasioni di revisione, i confronti principali valutano l'harness completo, non il giudice preso da solo. Gli autori notano inoltre che le probabilità dei modelli decisionali non sono garantite come calibrate o corrette.
Riferimenti #
- Shoham, I., David, Y., Akrabi, O., Bilgory, E., Levy, I., Marreed, S., Zeltyn, S. e Shlomov, S., (2026). Think Before You Act: Decision Gate for LLM Agents ⧉. arXiv.
- Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K. e Cao, Y., (2022). ReAct: Synergizing Reasoning and Acting in Language Models ⧉. arXiv.
- Barres, V., Dong, H., Ray, S., Si, X. e Narasimhan, K., (2025). τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment ⧉. arXiv.
- TypeSafe AI, (2026). Introducing System One Models and Jev ⧉. TypeSafe AI.
- Palmer, J., (2026). KEV: Prefill-only Decision Models ⧉. GitHub.
- Xiang, Z. et al., (2024). GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning ⧉. arXiv.
- Chen, Z., Kang, M. e Li, B., (2025). ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning ⧉. arXiv.
- Li, Y., Miao, Y., Krishnan, R. e Padman, R., (2026). Jev-as-a-Judge: Accept When Confident, Escalate When Unsure ⧉. arXiv.
- Rao, D. e Callison-Burch, C., (2026). Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places ⧉. arXiv.
Ultima revisione .
Ripubblica questo articolo
Copia il formato per Medium
# Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/](https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/) JevAct verifica alcune azioni degli agenti LLM prima che partano. Rispetto a ReAct con lo stesso modello, guadagni costanti su Telecom e BFCL, misti su Airline. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/
Copia il formato per Mastodon
Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau JevAct verifica alcune azioni degli agenti LLM prima che partano. Rispetto a ReAct con lo stesso modello, guadagni costanti su Telecom e BFCL, misti su Airline. https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/
Copia formattato per LinkedIn
Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau JevAct verifica alcune azioni degli agenti LLM prima che partano. Rispetto a ReAct con lo stesso modello, guadagni costanti su Telecom e BFCL, misti su Airline. Ecco i principali punti strategici: - Il problema: l'esecuzione segue la proposta. Un agente che prenota un volo, annulla un ordine o modifica un'impostazione di un conto fa qualcosa che non si può annullare in silenzio. - Che cos'è JevAct. JevAct è un harness che controlla determinate proposte prima dell'esecuzione. - Due tipi di evidenza, un solo gate. Il progetto poggia su una separazione tra ciò che si può verificare in modo deterministico e ciò che non si può. - Perché un modello decisionale e non un LLM giudice. L'alternativa ovvia è un LLM giudice che legge la proposta e scrive un verdetto. Qual è l'approccio della vostra organizzazione alle sfide descritte in questo articolo? → https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/ #AgentiLlm #VerificaDegliAgenti #VerificaARuntime #ModelliDecisionali #AgentiConStrumenti Sebastien Rousseau | CC-BY-4.0
Cita questo articolo
Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau
JevAct verifica alcune azioni degli agenti LLM prima che partano. Rispetto a ReAct con lo stesso modello, guadagni costanti su Telecom e BFCL, misti su Airline.
BibTeX
@online{rousseau2026verificare,
author = {Rousseau, Sebastien},
title = {{Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/ ER -
Vancouver
Rousseau S. Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/
Chicago
Rousseau, Sebastien. "Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/.
APA
Rousseau, S. (2026, November 18). Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/
Ripubblica questo articolo
Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau
JevAct verifica alcune azioni degli agenti LLM prima che partano. Rispetto a ReAct con lo stesso modello, guadagni costanti su Telecom e BFCL, misti su Airline.
Questo articolo è pubblicato con licenza Creative Commons Attribution 4.0 International. La ripubblicazione richiede l'attribuzione all'URL canonico.
Verificare le azioni di un agente prima che partano: il gate di JevAct — Sebastien Rousseau JevAct verifica alcune azioni degli agenti LLM prima che partano. Rispetto a ReAct con lo stesso modello, guadagni costanti su Telecom e BFCL, misti su Airline. Originally published at https://sebastienrousseau.com/it/2026-11-18-verificare-le-azioni-agente-prima-partano/ by Sebastien Rousseau. Licensed under CC-BY-4.0.
