Sebastien Rousseau

AGENTS LLM

Vérifier les actions d'un agent IA avant exécution : le cas JevAct

La plupart des boucles d'agents exécutent un appel d'outil dès que le modèle le propose, et les résultats de JevAct suggèrent qu'un point de contrôle peu coûteux, fondé sur des probabilités et placé juste avant l'exécution, peut rendre plus fiables les agents qui utilisent des outils, même si les gains varient fortement d'un benchmark à l'autre.

15 min de lecture
Banner for: Vérifier les actions d'un agent IA avant exécution : le cas JevAct

La plupart des boucles d'agents exécutent un appel d'outil dès que le modèle le propose, et les résultats de JevAct suggèrent qu'un point de contrôle peu coûteux, fondé sur des probabilités et placé juste avant l'exécution, peut rendre plus fiables les agents qui utilisent des outils, même si les gains varient fortement d'un benchmark à l'autre.

Synthèse

  • Les agents LLM effectuent de plus en plus d'actions lourdes de conséquences via des outils externes, mais ces actions sont souvent exécutées sans vérification indépendante de leur conformité aux politiques ni de l'achèvement de la tâche.
  • JevAct compile hors ligne une politique métier en questions, règles, contrôles exécutables de l'état et, si nécessaire, en liste de vérification pour le transfert.
  • À l'exécution, du code vérifie les faits présents dans les enregistrements des outils, tandis que Kev, un modèle de décision de type Jev publié en open source, répond aux questions qui dépendent de la conversation.
  • Comparés à un harnais ReAct sur τ²-bench (Airline, Telecom) et BFCL, les gains sont constants sur Telecom et sur le succès à trois exécutions de BFCL, et plus contrastés sur Airline.
  • Les auteurs eux-mêmes restent prudents : leurs résultats suggèrent que des modèles de décision structurés, combinés à une vérification exécutable, peuvent améliorer la fiabilité.

Le problème : l'exécution suit la proposition #

Un agent qui réserve un vol, annule une commande ou modifie un paramètre de compte fait quelque chose qui ne s'annule pas discrètement. Le plus inconfortable, c'est le peu de choses qui séparent la suggestion du modèle de son effet. De nombreuses boucles d'agents exécutent un appel d'outil proposé dès que le modèle le produit. Personne ne vérifie de manière indépendante si l'action respecte la politique du domaine, ni si une tâche que l'agent considère comme terminée l'est réellement.

Ce trou est le point de départ de « Think Before You Act: Decision Gate for LLM Agents », une prépublication arXiv de 2026 signée par Iftach Shoham, Yuval David et leurs collègues d'IBM, qui présente JevAct. Le constat n'est pas nouveau, mais il mérite d'être posé clairement, car une grande partie de l'outillage pour agents cherche à améliorer celui qui propose. Les agents ReAct entremêlent raisonnement et usage d'outils, et ce schéma est devenu une référence courante. Les méthodes de réflexion comme Self-Refine et Reflexion ajoutent critique et retour pour améliorer les propositions ou tentatives suivantes, sans modifier les poids du modèle. Aussi utiles soient-elles, ces méthodes ne vérifient pas à elles seules une action précise au regard d'une politique métier juste avant son exécution. Le contrôle qui intéresse JevAct se situe ailleurs dans la boucle : après l'existence d'une proposition et avant son engagement.

Ce qu'est JevAct #

JevAct est un harnais qui contrôle certaines propositions avant leur exécution. Il est décrit comme un cadre de vérification à l'exécution qui intercepte certaines actions de l'agent et permet une correction guidée par le retour. Il fonctionne indépendamment du modèle sous-jacent de l'agent et n'exige aucune modification des paramètres ni des outils du modèle. Dans la configuration évaluée, le LLM de l'agent, son prompt de base et ses outils restent inchangés.

Sur le plan architectural, JevAct enrichit le harnais d'un agent ReAct en insérant une étape de contrôle sélective entre la proposition d'un message et son exécution. Le mot « sélective » compte. Le cadre n'inspecte pas chaque message ; il cible certains types d'action. L'article en définit deux. Un appel d'écriture modifie l'environnement, par exemple en réservant, en annulant ou en changeant un paramètre. Un transfert met fin à la tentative de l'agent, soit en transférant l'utilisateur à un humain, soit en lui indiquant que rien de plus ne peut être fait. Les écritures sont là où une violation de politique cause des dégâts ; les transferts sont là où un agent peut abandonner trop tôt. L'objectif affiché du cadre, repérer les actions potentiellement invalides et les arrêts prématurés de tâche, correspond à ces deux catégories.

Lorsqu'un contrôle échoue, la proposition n'est pas simplement bloquée. Les contrôles peuvent différer l'exécution et demander au LLM une proposition révisée assortie d'un retour temporaire, dans la limite d'un budget de révision fixe. Une proposition validée suit son cours. Une proposition signalée retourne à l'agent avec un retour ciblé et une possibilité bornée de révision. Et la répartition des rôles reste nette : l'agent propose toujours les actions, et Kev ne les choisit pas.

Deux types de preuve, une seule porte #

La conception repose sur une séparation entre ce qui peut être vérifié de façon déterministe et ce qui ne le peut pas. JevAct combine une vérification déterministe des faits relatifs à l'état des outils avec une évaluation probabiliste du contexte conversationnel. À l'exécution, du code vérifie les faits disponibles dans les enregistrements des outils, et Kev répond aux questions qui dépendent de la conversation.

Cette séparation est judicieuse. Certaines conditions de politique sont des faits inscrits dans les enregistrements d'un outil, qu'un programme peut lire sans l'avis d'aucun modèle. D'autres résident dans ce que l'utilisateur et l'agent se sont dit, ce qu'aucune requête en base de données ne tranchera. Confier les premières au code et les secondes à un modèle revient à n'interroger le modèle que sur ce que le code ne sait pas trancher.

La partie hors ligne est ce qui rend l'ensemble concret. Un compilateur transforme une politique métier en questions, en règles, en contrôles exécutables sur l'état des outils et, si nécessaire, en liste de vérification pour le transfert. Autrement dit, JevAct compile les politiques métier en contrôles d'état exécutables et en questions structurées évaluées par un modèle de décision en mode prefill uniquement. Les auteurs disent poser les bases d'un flux de travail qui compile les politiques métier en questions, règles de décision, contrôles d'état exécutables et listes de vérification pour le transfert, au service d'une porte de décision. La formulation est modeste, et je la prendrais au pied de la lettre : l'affirmation porte sur les fondations d'un flux de travail, pas sur un produit fini.

Pourquoi un modèle de décision plutôt qu'un LLM juge #

L'alternative évidente est un LLM juge qui lit la proposition et rédige un verdict. L'objection de l'article est pratique. Les explications en texte libre d'un tel juge doivent encore être interprétées avant qu'une porte puisse agir, et confier cette décision à un modèle de pointe coûte cher. Une porte a besoin d'une décision, pas d'une dissertation.

Les modèles de décision sont conçus pour cela. Jev a introduit des modèles de décision qui renvoient des choix typés, des scores et des probabilités plutôt que du texte généré. Ils renvoient des choix et des probabilités pour des questions fixes, ce qui rend simples les contrôles fondés sur des seuils. Le modèle utilisé par JevAct fonctionne en mode prefill uniquement et produit des jugements fondés sur des probabilités sans recourir à la génération par LLM. Kev est un modèle de décision open source de type Jev, placé dans une étape de vérification distincte, avant l'engagement de certaines actions.

Il y a un piège, et les auteurs le signalent eux-mêmes. Rien ne garantit que les probabilités d'un modèle de décision soient calibrées ou correctes ; leur valeur doit donc être testée dans la boucle de l'agent plutôt que supposée. Cette phrase cadre toute la partie empirique. La question centrale est de savoir si un modèle de décision peut servir de vérificateur à seuil de probabilité, aux côtés de contrôles exécutables sur l'état des outils. C'est une question que seule l'expérience peut trancher, et c'est dans l'expérience que se trouvent les détails intéressants.

Les travaux connexes sur les modèles de décision dressent un tableau contrasté qui montre pourquoi ce test compte. Li et al. rapportent des résultats compétitifs sur les préférences et la factualité ancrée dans des preuves, mais des performances plus faibles lorsqu'une dérivation est nécessaire. Rao et Callison-Burch rapportent des résultats mitigés sur des grilles d'évaluation et des erreurs qui recoupent celles des LLM juges. Un modèle de décision solide sur certaines tâches de jugement et plus faible sur d'autres est précisément le type de composant que l'on voudrait associer à des contrôles déterministes plutôt que de lui faire confiance seul.

Comment la comparaison a été menée #

JevAct est comparé à un harnais ReAct utilisant le même LLM d'agent dans les deux bras. Les tâches couvrent les domaines Airline et Telecom de τ²-bench ainsi que des tâches d'appel de fonctions multitours dans BFCL. Fixer le LLM d'agent dans les deux bras est le bon contrôle pour la question posée : toute différence provient du harnais, et non d'un proposant plus ou moins performant.

L'article présente ses résultats à l'aide des chiffres pass^3, tirés du tableau 2, ainsi que du succès au moins une fois. Ces deux mesures tirent dans des directions différentes, et leur contraste s'avère instructif. Le succès sur les trois exécutions récompense un agent qui réussit à chaque fois. Le succès au moins une fois récompense un agent qui réussit à l'une quelconque des tentatives. Un vérificateur qui intercepte les mauvaises actions devrait aider la première de manière plus fiable que la seconde, et les résultats concordent avec cette lecture ; l'article dit toutefois seulement que le schéma observé sur BFCL est cohérent avec des performances plus reproductibles sur certaines tâches, et je présente donc le reste comme une interprétation plutôt que comme un résultat.

Ce que montrent les chiffres #

Sur Telecom, les huit agents améliorent à la fois le succès au moins une fois et le succès sur les trois exécutions. C'est le résultat le plus net de l'article : aucune exception parmi les agents testés, sur aucune des deux mesures.

Sur BFCL, les neuf agents progressent en succès sur les trois exécutions, mais les résultats au moins une fois sont contrastés. Lisez cela attentivement. Sur BFCL, la mesure stricte progresse pour chaque agent testé, de 0,1 à 9,6 points ; la mesure souple progresse pour quatre agents et recule pour cinq. Si ce qui compte pour vous est qu'un agent se comporte correctement à chaque fois, c'est la direction favorable. Si ce qui compte est de savoir si une nouvelle tentative pourrait finir par réussir, le bénéfice n'est pas établi ici.

Airline est le point faible. Les effets y sont plus faibles et varient selon l'agent. La synthèse des résultats évoque des gains particulièrement constants sur Telecom et BFCL, tandis que les performances sur Airline sont plus contrastées. Un fondateur qui lit ces résultats ne doit pas les arrondir en « améliore tout ». Les auteurs rapportent une amélioration de la fiabilité des agents sur plusieurs modèles et benchmarks, mais sur Airline les gains sont plus faibles et contrastés, et ils précisent que leurs résultats n'établissent pas de gains uniformes. L'article souligne qu'avec 50 tâches Airline, une seule tâche fait varier un score de 2 points de pourcentage, si bien que les petits écarts doivent être lus avec prudence ; au-delà, je ne spéculerai pas sur la raison pour laquelle Airline se comporte différemment.

La lecture d'ensemble est nuancée par les auteurs eux-mêmes : leurs résultats suggèrent que combiner des modèles de décision structurés avec une vérification exécutable peut améliorer la fiabilité des agents LLM qui utilisent des outils. « Suggèrent » est le bon verbe. C'est un résultat prometteur, pas une preuve.

Ce que la comparaison isole, et ce qu'elle n'isole pas #

Une limite mérite plus de poids qu'on ne lui en accorde d'ordinaire. Comme JevAct ajoute des contrôles compilés et des possibilités de révision, les comparaisons évaluent le harnais complet, et non le juge isolément. C'est une réserve importante pour quiconque voudrait conclure que le modèle de décision fait l'essentiel du travail. Les gains pourraient provenir des probabilités de Kev, des contrôles d'état exécutables, des occasions supplémentaires de révision, ou d'une combinaison de ces éléments. Les comparaisons principales ne les dissocient pas.

Je soutiens que ce n'est pas tant un défaut qu'une description honnête de ce qu'un article système peut démontrer. La question posée par les auteurs, à savoir si un modèle de décision peut servir de vérificateur à seuil de probabilité aux côtés de contrôles exécutables sur l'état des outils, reçoit une réponse au niveau du couple, puisque « aux côtés de » figure dans la question elle-même. Mais un lecteur qui décide où investir ses efforts doit le garder à l'esprit. Si vous construisez quelque chose de comparable, vous ne pouvez pas déduire de ces éléments que le modèle de décision seul porterait l'amélioration, ni que les contrôles de code seuls le feraient.

Cela signifie aussi que la réserve sur la calibration tient toujours. Rien ne garantit que les probabilités soient calibrées ou correctes, et le résultat obtenu au niveau du harnais ne lève pas cette incertitude. Il montre que l'ensemble du dispositif a aidé sur les benchmarks testés.

Où se situe cette approche parmi les autres garde-fous #

JevAct rejoint un ensemble déjà fourni d'approches visant à encadrer les actions des agents, et les différences sont instructives. GuardAgent utilise un agent distinct pour générer et exécuter du code de vérification à partir d'exigences de garde définies par l'utilisateur. Zwerdling et al. compilent les politiques d'entreprise en garde-fous exécutables qui vérifient la conformité avant les actions sur les outils. AgentSpec représente les contraintes d'exécution sous forme de déclencheurs, de prédicats et d'actions d'application. ShieldAgent dérive des règles vérifiables à partir de documents de politique.

D'autres s'appuient sur des modèles pour la vérification elle-même. ToolSafe utilise un garde-fou appris pour évaluer les appels d'outil proposés et renvoyer un retour, tandis que PolicyGuard et PolicyGuide utilisent des vérificateurs à base de modèles pour le respect des politiques et le guidage du flux de travail. CaMeL emprunte une autre voie et assure la sécurité en séparant le flux de contrôle de confiance des données non fiables.

Sur ce fond, le choix distinctif de JevAct tient à son association particulière. Comme la lignée de travaux qui compilent les politiques en garde-fous exécutables, il transforme la politique en contrôles sur l'état des outils. Comme les vérificateurs à base de modèles, il recourt à un modèle pour les jugements que le code ne peut pas rendre. Ce qu'il ajoute, c'est un modèle de décision qui renvoie des probabilités à choix fixes, utilisé en ligne avant l'exécution de certaines actions, avec un retour en vue de la révision. Il laisse les propositions au LLM ReAct et place Kev dans une étape de vérification distincte, avant l'engagement de certaines actions.

Pourquoi cette conception mérite d'être suivie #

À mon sens, l'idée la plus utile ici n'est pas Kev lui-même, mais la discipline de la séparation. Demander au code ce que le code peut trancher. Ne demander à un modèle que ce qui dépend de la conversation. Séparer proposant et vérificateur, afin que le modèle qui contrôle une action ne soit pas celui qui l'a suggérée. Et faire de la sortie du vérificateur une probabilité comparée à un seuil, pour que la porte soit une comparaison plutôt qu'un texte que quelqu'un doit analyser.

Cette conception rend aussi les points faibles lisibles. Si un contrôle se déclenche à tort, on peut se demander s'il s'agissait d'un contrôle d'état ou d'une question conversationnelle. Si les seuils sont mal réglés, ce sont des nombres que l'on peut examiner. La mise en garde de l'article, selon laquelle les probabilités doivent être testées dans la boucle, relève du bon réflexe, et c'est une meilleure posture que de supposer qu'un vérificateur fonctionne parce qu'il paraît raisonnable.

Les résultats inégaux sont plutôt rassurants quant à l'honnêteté de la présentation. Un cadre revendiquant des gains uniformes partout mériterait davantage de méfiance qu'un cadre qui affiche huit sur huit sur Telecom, neuf sur neuf en succès à trois exécutions sur BFCL, des résultats contrastés au moins une fois sur BFCL et des effets variables sur Airline. Ce schéma donne aux praticiens une base de planification : les preuves les plus solides portent sur la fiabilité d'une exécution à l'autre, et les plus faibles sur le domaine où les effets varient selon l'agent.

Que faire de ces résultats #

Pour les lecteurs techniques, l'enseignement est architectural. Le LLM de l'agent, son prompt de base et ses outils restent inchangés dans JevAct : la couche de vérification s'ajoute autour d'un agent plutôt que d'être intégrée par l'entraînement. Pour les fondateurs, la lecture pratique est plus étroite que le titre. L'article rapporte une fiabilité améliorée sur plusieurs modèles et benchmarks, avec des résultats plus contrastés sur Airline, et ses comparaisons évaluent le harnais complet plutôt que le juge isolément. Les comparaisons principales n'établissent pas quel composant produit l'amélioration, même si l'ablation menée par l'article sur Airline suggère que la vérification programmatique en explique une large part dans ce contexte.

La question ouverte est celle que l'article place lui-même au centre : un modèle de décision peut-il servir de vérificateur à seuil de probabilité aux côtés de contrôles exécutables sur l'état des outils, alors que, comme le notent les auteurs, rien ne garantit que ses probabilités soient calibrées ou correctes ? Les résultats sur Airline, où les effets sont plus faibles et varient selon l'agent, sont le premier endroit où regarder. Savoir si cette variation tient aux contrôles, aux seuils ou aux politiques compilées est une question que les résultats publiés laissent ouverte, et c'est l'expérience que j'aimerais le plus voir ensuite.

Questions fréquentes #

Qu'est-ce que JevAct ? JevAct est un cadre de vérification à l'exécution conçu par des chercheurs d'IBM, qui intercepte certaines actions d'un agent, à savoir les appels d'écriture et les transferts, avant leur exécution. Une proposition signalée retourne à l'agent avec un retour ciblé et une possibilité bornée de révision. Le LLM de l'agent, son prompt de base et ses outils restent inchangés.

Quel est le rôle de Kev dans JevAct ? Kev est un modèle de décision open source de type Jev qui répond à des questions fixes par des probabilités plutôt que par du texte généré. Dans JevAct, il répond aux questions qui dépendent de la conversation, tandis que du code vérifie les faits disponibles dans les enregistrements des outils. Kev ne choisit pas les actions ; c'est toujours l'agent qui les propose.

Comment JevAct a-t-il été évalué ? L'article compare JevAct à un harnais ReAct utilisant le même LLM d'agent dans les deux bras. Les tâches couvrent les domaines Airline et Telecom de τ²-bench et des tâches d'appel de fonctions multitours dans BFCL, le succès étant mesuré à la fois au moins une fois sur trois exécutions et sur l'ensemble des trois exécutions.

JevAct a-t-il amélioré chaque agent sur chaque benchmark ? Non. Sur Telecom, les huit agents progressent sur les deux mesures, et sur BFCL les neuf progressent en succès sur les trois exécutions, avec des résultats au moins une fois contrastés. Sur Airline, les effets sont plus faibles et varient selon l'agent, et les auteurs précisent que leurs résultats n'établissent pas de gains uniformes.

L'article montre-t-il que le modèle de décision seul explique les gains ? Non. Comme JevAct ajoute des contrôles compilés et des possibilités de révision, les comparaisons principales évaluent le harnais complet, et non le juge isolément. Les auteurs notent aussi que rien ne garantit que les probabilités du modèle de décision soient calibrées ou correctes.

Références #

Dernière révision .

Republier cet article

Copier le format pour Medium

# Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/](https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/)

JevAct contrôle certaines actions d'agents LLM avant exécution. Face à ReAct avec le même modèle, gains nets sur Telecom et BFCL, plus contrastés sur Airline.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/

Copier le format pour Mastodon

Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau

JevAct contrôle certaines actions d'agents LLM avant exécution. Face à ReAct avec le même modèle, gains nets sur Telecom et BFCL, plus contrastés sur Airline.

https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/

Copier formaté pour LinkedIn

Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau

JevAct contrôle certaines actions d'agents LLM avant exécution. Face à ReAct avec le même modèle, gains nets sur Telecom et BFCL, plus contrastés sur Airline.

Voici les principaux points stratégiques à retenir :

- Le problème : l'exécution suit la proposition. Un agent qui réserve un vol, annule une commande ou modifie un paramètre de compte fait quelque chose qui ne s'annule pas discrètement.
- Ce qu'est JevAct. JevAct est un harnais qui contrôle certaines propositions avant leur exécution.
- Deux types de preuve, une seule porte. La conception repose sur une séparation entre ce qui peut être vérifié de façon déterministe et ce qui ne le peut pas.
- Pourquoi un modèle de décision plutôt qu'un LLM juge. L'alternative évidente est un LLM juge qui lit la proposition et rédige un verdict.

Quelle est l'approche de votre organisation face aux défis évoqués dans cet article ?

→ https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/

#AgentsLlm #VérificationDesAgents #VérificationÀL'exécution #ModèlesDeDécision #AgentsUtilisantDesOutils

Sebastien Rousseau | CC-BY-4.0
Citer cet article

Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau

JevAct contrôle certaines actions d'agents LLM avant exécution. Face à ReAct avec le même modèle, gains nets sur Telecom et BFCL, plus contrastés sur Airline.

BibTeX

@online{rousseau2026vérifier,
  author  = {Rousseau, Sebastien},
  title   = {{Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/
ER  -

Vancouver

Rousseau S. Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/

Chicago

Rousseau, Sebastien. "Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/.

APA

Rousseau, S. (2026, November 18). Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/

Republier cet article

Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau

JevAct contrôle certaines actions d'agents LLM avant exécution. Face à ReAct avec le même modèle, gains nets sur Telecom et BFCL, plus contrastés sur Airline.

Cet article est sous licence Creative Commons Attribution 4.0 International. La republication nécessite l'attribution à l'URL canonique.

Vérifier les actions d'un agent IA avant exécution : le cas JevAct — Sebastien Rousseau

JevAct contrôle certaines actions d'agents LLM avant exécution. Face à ReAct avec le même modèle, gains nets sur Telecom et BFCL, plus contrastés sur Airline.

Originally published at https://sebastienrousseau.com/fr/2026-11-18-verifier-les-actions-agent-ia-avant/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.