Sebastien Rousseau

LLM智能体

执行前先验证智能体操作:JevAct的决策模型关卡

多数智能体循环在模型提出工具调用的那一刻就执行它。JevAct的结果表明,在执行前设置一道低成本、基于概率的检查点,可以让使用工具的智能体更可靠,但收益因基准测试而差异显著。

1 分钟阅读
Banner for: 执行前先验证智能体操作:JevAct的决策模型关卡

多数智能体循环在模型提出工具调用的那一刻就执行它。JevAct的结果表明,在执行前设置一道低成本、基于概率的检查点,可以让使用工具的智能体更可靠,但收益因基准测试而差异显著。

执行摘要

  • LLM智能体越来越多地通过外部工具执行后果重大的操作,但这些操作往往未经对政策合规性或任务完成情况的独立验证就被执行。
  • JevAct在离线阶段将领域政策编译为问题、规则、可执行的状态检查,并在需要时生成一份移交检查清单。
  • 运行时,代码核验工具记录中的事实,而Kev这一开源的类Jev决策模型负责回答依赖对话内容的问题。
  • 在τ²-bench(Airline、Telecom)和BFCL上与ReAct执行框架对比,Telecom和BFCL三次全部成功率的提升较为一致,Airline则更为参差。
  • 作者本人的表述很审慎:研究结果表明,结构化决策模型与可执行验证相结合,可以提升可靠性。

问题所在:提议之后即执行 #

一个预订航班、取消订单或修改账户设置的智能体,所做的是无法悄然撤销的事情。令人不安的是,模型的建议与实际效果之间几乎没有任何阻隔。许多智能体循环在模型生成工具调用后立即执行。没有人独立检查该操作是否符合领域政策,也没有人检查智能体认为已完成的任务是否真的完成了。

这一缺口是《Think Before You Act: Decision Gate for LLM Agents》(三思而后行:LLM智能体的决策关卡)的出发点。这是IBM的Iftach Shoham、Yuval David及其同事于2026年发布的arXiv预印本,提出了JevAct。这并非新发现,但值得直说,因为大量智能体工具都把重心放在改进提议者上。ReAct智能体将推理与工具使用交替进行,这一模式已成为常见基线。Self-Refine和Reflexion等反思方法加入批评与反馈,以改进后续提议或尝试,而无需更新模型权重。这些方法固然有用,但它们本身并不会在执行前一刻对某个具体操作进行领域政策核验。JevAct关注的检查位于循环中的另一个位置:提议已经产生,而尚未提交执行。

JevAct是什么 #

JevAct是一个在执行前检查选定提议的执行框架(harness)。论文将其描述为一个运行时验证框架,拦截选定的智能体操作,并支持基于反馈的纠正。它独立于底层智能体模型运行,无需修改模型参数或工具。在评估设置中,智能体的LLM、基础提示词和工具均保持不变。

从架构上看,JevAct在ReAct智能体的执行框架中,于消息提议与执行之间插入一个选择性检查阶段。“选择性”一词很关键。该框架并不检查每一条消息,而是针对特定类型的操作。论文定义了两类。写操作调用会改变环境,例如预订、取消或修改设置。移交则结束智能体的尝试,要么将用户转给人工处理,要么告知用户已无法再做什么。写操作是违反政策会造成损害之处;移交则是智能体可能过早放弃之处。该框架识别潜在无效操作和过早终止任务的既定目标,恰好对应这两类。

检查未通过时,提议并不会被简单拦下。检查可以推迟执行,并附带临时反馈,请求LLM给出修订后的提议,修订次数受固定预算约束。通过检查的提议继续执行。被标记的提议则带着针对性反馈退回智能体,并获得有限的修订机会。分工始终清晰:提出操作的仍是智能体,Kev并不替它选择。

两类证据,一道关卡 #

这一设计建立在一个划分之上:哪些可以确定性地验证,哪些不能。JevAct将工具状态事实的确定性验证,与对话上下文的概率性评估结合起来。运行时,代码核验工具记录中可获得的事实,Kev则回答依赖对话内容的问题。

这一划分是合理的。有些政策条件是工具记录中的事实,程序可以直接读取,无需任何模型的判断。另一些条件存在于用户与智能体之间的对话中,任何数据库查询都无法定论。把前者交给代码、后者交给模型,意味着只就代码无法回答的问题去询问模型。

离线部分让这一切便于描述。编译器将领域政策转化为问题、规则、针对工具状态的可执行检查,并在需要时生成一份移交检查清单。换言之,JevAct将领域政策编译为可执行的状态检查,以及由仅预填充决策模型评估的结构化问题。作者表示,他们为一套工作流程奠定了基础,该流程将领域政策编译为问题、决策规则、可执行状态检查和移交检查清单,供决策模型关卡使用。这种表述相当克制,我会照字面理解:其主张关乎一套工作流程的基础,而非一款成品。

为何用决策模型而非LLM评审 #

显而易见的替代方案,是让一个LLM评审读取提议并写出裁决。论文的反对理由很务实。这类评审给出的自由文本解释,在关卡据以行动之前仍需解读,而用前沿模型做出这一决策成本高昂。关卡需要的是一个决定,而不是一篇文章。

决策模型正是为此而设计。Jev引入的决策模型返回类型化的选项、分数和概率,而非生成文本。它们针对固定问题返回选项和概率,使基于阈值的检查变得直接。JevAct使用的模型仅做预填充,在不依赖LLM生成的情况下给出基于概率的判断。Kev是一个开源的Jev类决策模型,被放置在选定操作提交之前的独立验证步骤中。

这里有一个前提,作者自己也点明了。决策模型的概率并不保证经过校准或正确无误,因此其价值必须在智能体循环中加以检验,而不能想当然。这句话为整个实证部分定下了框架。核心问题是,决策模型能否与可执行的工具状态检查并用,充当一个以概率阈值判定的验证器。这个问题要靠实验回答,而有意思的细节正藏在实验里。

关于决策模型的相关研究,从不同侧面说明了这种检验为何必要。Li等人报告,在偏好判断和基于证据的事实性判断上结果具有竞争力,但在需要推导时表现较弱。Rao和Callison-Burch报告,评分细则评审的结果好坏参半,且与LLM评审的错误存在重叠。一个在部分判断任务上表现强、在另一些任务上表现弱的决策模型,恰恰是你会希望与确定性检查搭配使用、而非单独信任的组件。

对比是如何进行的 #

JevAct与一个ReAct执行框架进行对比,两组使用相同的智能体LLM。任务涵盖τ²-bench中的Airline和Telecom,以及BFCL中的多轮函数调用任务。两组固定使用同一智能体LLM,是针对所提问题的正确对照:任何差异都来自执行框架,而非更强或更弱的提议者。

论文以取自表2的pass^3数据和至少一次成功率报告结果。这两个指标的指向不同,而两者之间的反差颇具启发性。三次全部成功奖励每次都做对的智能体。至少一次成功奖励任意一次尝试做对的智能体。一个能拦住错误操作的验证器,对前者的帮助理应比对后者更稳定,结果也符合这一解读。不过论文只说BFCL的模式与部分任务上更可复现的表现相一致,因此其余部分我标记为解读,而非研究发现。

数据显示了什么 #

在Telecom上,全部八个智能体的至少一次成功率和三次全部成功率均有提升。这是论文中最干净的结果:在所测试的智能体中,两项指标都没有例外。

在BFCL上,全部九个智能体的三次全部成功率均有提升,但至少一次成功率涨跌互现。这一点要仔细读。在BFCL上,更严格的指标对每个测试的智能体都有上升,幅度为0.1至9.6个百分点;较宽松的指标有四个智能体提升、五个下降。如果你关心的是智能体每次都表现正确,这是有利的方向。如果你关心的是重试最终能否成功,这里的收益尚未得到证实。

Airline是薄弱环节。Airline上的效果较小,且因智能体而异。结果总结的表述是:Telecom和BFCL上的收益尤为一致,而Airline上的表现更为参差。读到这里的创始人不应把它四舍五入成“全面提升”。作者报告了跨多个模型和基准的智能体可靠性提升,但在Airline上收益较小且参差不齐,他们也表示研究结果并不能证明收益是普遍一致的。论文提醒,Airline只有50个任务,单个任务就会让分数变动2个百分点,因此细微差异应审慎看待;除此之外,我不会去猜测Airline为何表现不同。

作者本人对整体解读也有所保留:研究结果表明,将结构化决策模型与可执行验证相结合,可以提升使用工具的LLM智能体的可靠性。“表明”是恰当的措辞。这是一个有前景的结果,而不是证明。

对比能分离出什么,不能分离出什么 #

有一项局限值得比通常更多的重视。由于JevAct增加了编译生成的检查和修订机会,对比评估的是完整的执行框架,而非单独评估评审组件。对于希望得出“决策模型承担了主要作用”这一结论的人,这是一个重要的保留。收益可能来自Kev的概率、可执行的状态检查、额外的修订机会,或其中某种组合。主要对比并没有把它们分开。

我认为这与其说是缺陷,不如说是如实描述了一篇系统论文所能展示的内容。作者提出的问题,即决策模型能否与可执行的工具状态检查并用、充当以概率阈值判定的验证器,是在两者组合的层面上得到回答的,因为“并用”本身就写在问题里。但决定把精力投向何处的读者应当记住这一点。如果你在构建类似系统,不能从这些证据推断仅靠决策模型就能带来提升,也不能推断仅靠代码检查就能做到。

这也意味着关于校准的保留依然成立。概率并不保证经过校准或正确无误,执行框架层面的结果并未消除这一不确定性。它表明的是,在所测试的基准上,这一整体安排起到了帮助作用。

在其他防护设计中的位置 #

防护智能体操作的方法已有很多,JevAct加入其中,彼此的差异颇具启发。GuardAgent使用一个独立的智能体,根据用户定义的防护要求生成并执行验证代码。Zwerdling等人将公司政策编译为可执行的防护规则,在工具操作之前检查合规性。AgentSpec将运行时约束表示为触发器、谓词和执行动作。ShieldAgent从政策文件中推导出可验证的规则。

另一些方法依赖模型来完成验证本身。ToolSafe使用学习得到的护栏机制评估所提出的工具调用并返回反馈,PolicyGuard和PolicyGuide则使用基于模型的验证器来确保政策遵循并提供工作流指导。CaMeL另辟蹊径,通过分离可信控制流与不可信数据来保障安全。

在这一背景下,JevAct的独特之处在于其特定的组合。与“编译为可执行防护规则”这一路研究一样,它将政策转化为针对工具状态的检查。与基于模型的验证器一样,它用模型做出代码无法做出的判断。它新增的,是一个返回固定选项概率的决策模型,在选定操作执行前在线使用,并提供用于修订的反馈。它把提议留给ReAct的LLM,把Kev放在选定操作提交前的独立验证步骤中。

为何这一设计值得关注 #

我的看法是,这里最有用的理念不是Kev本身,而是这种划分的纪律。代码能回答的,交给代码。只有依赖对话的问题,才去问模型。让提议者与验证者分离,使检查操作的模型不是提出该操作的模型。让验证器的输出是与阈值比较的概率,这样关卡就是一次比较,而不是一段需要有人解析的文本。

这种设计也让薄弱环节一目了然。如果某项检查误判,可以追问它是状态检查还是对话问题。如果阈值设错了,它们是可以检查的数字。论文自己提醒概率需要在循环中检验,这种直觉是正确的,比因为听起来合理就假定验证器有效要好得多。

结果不均衡,反倒让人对报告的诚实度更有信心。一个声称处处都有一致收益的框架,比一个展示Telecom八中八、BFCL三次全部成功率九中九、BFCL至少一次成功率涨跌互现、Airline效果参差的框架,更值得怀疑。这种模式给了实践者可以据以规划的依据:最有力的证据是多次运行中的可靠性,最薄弱的则是效果因智能体而异的那个领域。

该如何运用 #

对技术读者而言,结论在于架构。在JevAct中,智能体的LLM、基础提示词和工具均保持不变,因此验证层是围绕智能体加装的,而不是训练进智能体的。对创始人而言,实际解读比标题要窄。论文报告了跨多个模型和基准的可靠性提升,Airline则更为参差,其对比评估的是完整执行框架,而非单独评估评审组件。主要对比并未确定是哪个组件带来了提升,不过论文在Airline上的消融实验表明,在该场景下,程序化验证贡献了其中很大一部分。

开放问题正是论文自己的核心问题:当决策模型的概率如作者所说并不保证经过校准或正确无误时,它能否与可执行的工具状态检查并用,充当以概率阈值判定的验证器。Airline的结果,即效果较小且因智能体而异的地方,是首先应当审视之处。这种差异究竟源于检查、阈值还是被编译的政策,现有结果没有给出答案,而这正是我最希望看到的下一个实验。

常见问题 #

JevAct是什么? JevAct是IBM研究人员提出的运行时验证框架,在选定的智能体操作(即写操作调用和移交)执行前将其拦截。被标记的提议会带着针对性反馈退回智能体,并获得有限的修订机会。智能体的LLM、基础提示词和工具均保持不变。

Kev在JevAct中起什么作用? Kev是一个开源的类Jev决策模型,以概率而非生成文本回答固定问题。在JevAct中,它回答依赖对话内容的问题,而代码核验工具记录中可获得的事实。Kev并不选择操作;提出操作的仍是智能体。

JevAct是如何评估的? 论文将JevAct与一个ReAct执行框架进行对比,两组使用相同的智能体LLM。任务涵盖τ²-bench中的Airline和Telecom,以及BFCL中的多轮函数调用任务,成功率以三次运行中至少一次成功和三次全部成功两种方式报告。

JevAct是否在每个基准上都提升了每个智能体? 没有。在Telecom上,全部八个智能体的两项指标均有提升;在BFCL上,全部九个智能体的三次全部成功率均有提升,但至少一次成功率涨跌互现。Airline上的效果较小且因智能体而异,作者表示研究结果并不能证明收益是普遍一致的。

论文是否证明了收益仅由决策模型带来? 没有。由于JevAct增加了编译生成的检查和修订机会,主要对比评估的是完整执行框架,而非单独评估评审组件。作者还指出,决策模型的概率并不保证经过校准或正确无误。

参考文献 #

最近审阅 .

转载本文

复制 Medium 格式

# 执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/](https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/)

IBM研究人员提出的JevAct在LLM智能体执行写操作和移交之前进行拦截:代码核验工具状态事实,开源决策模型Kev以概率评估对话上下文,未通过的提议带着反馈退回修订。与同模型ReAct基线相比,Telecom和BFCL三次全部成功率提升一致,Airline效果参差,对比评估的是整个执行框架而非单独的评审组件。

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/

复制 Mastodon 格式

执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau

IBM研究人员提出的JevAct在LLM智能体执行写操作和移交之前进行拦截:代码核验工具状态事实,开源决策模型Kev以概率评估对话上下文,未通过的提议带着反馈退回修订。与同模型ReAct基线相比,Telecom和BFCL三次全部成功率提升一致,Airline效果参差,对比评估的是整个执行框架而非单独的评审组件。

https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/

复制 LinkedIn 格式

执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau

IBM研究人员提出的JevAct在LLM智能体执行写操作和移交之前进行拦截:代码核验工具状态事实,开源决策模型Kev以概率评估对话上下文,未通过的提议带着反馈退回修订。与同模型ReAct基线相比,Telecom和BFCL三次全部成功率提升一致,Airline效果参差,对比评估的是整个执行框架而非单独的评审组件。.

以下是关键战略要点:

- 问题所在:提议之后即执行. 一个预订航班、取消订单或修改账户设置的智能体,所做的是无法悄然撤销的事情。令人不安的是,模型的建议与实际效果之间几乎没有任何阻隔。许多智能体循环在模型生成工具调用后立即执行。没有人独立检查该操作是否符合领域政策,也没有人检查智能体认为已完成的任务是否真的完成了。.
- JevAct是什么. JevAct是一个在执行前检查选定提议的执行框架(harness)。论文将其描述为一个运行时验证框架,拦截选定的智能体操作,并支持基于反馈的纠正。它独立于底层智能体模型运行,无需修改模型参数或工具。在评估设置中,智能体的LLM、基础提示词和工具均保持不变。.
- 两类证据,一道关卡. 这一设计建立在一个划分之上:哪些可以确定性地验证,哪些不能。JevAct将工具状态事实的确定性验证,与对话上下文的概率性评估结合起来。运行时,代码核验工具记录中可获得的事实,Kev则回答依赖对话内容的问题。.
- 为何用决策模型而非LLM评审. 显而易见的替代方案,是让一个LLM评审读取提议并写出裁决。论文的反对理由很务实。这类评审给出的自由文本解释,在关卡据以行动之前仍需解读,而用前沿模型做出这一决策成本高昂。关卡需要的是一个决定,而不是一篇文章。.

贵组织如何应对本文所述的挑战?

→ https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/

#Llm智能体 #Ai智能体 #智能体验证 #运行时验证 #决策模型

Sebastien Rousseau | CC-BY-4.0
引用本文

执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau

IBM研究人员提出的JevAct在LLM智能体执行写操作和移交之前进行拦截:代码核验工具状态事实,开源决策模型Kev以概率评估对话上下文,未通过的提议带着反馈退回修订。与同模型ReAct基线相比,Telecom和BFCL三次全部成功率提升一致,Airline效果参差,对比评估的是整个执行框架而非单独的评审组件。

BibTeX

@online{rousseau2026执行前先验证智能体操作,
  author  = {Rousseau, Sebastien},
  title   = {{执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - 执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/
ER  -

Vancouver

Rousseau S. 执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/

Chicago

Rousseau, Sebastien. "执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/.

APA

Rousseau, S. (2026, November 18). 执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/

重新发布本文

执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau

IBM研究人员提出的JevAct在LLM智能体执行写操作和移交之前进行拦截:代码核验工具状态事实,开源决策模型Kev以概率评估对话上下文,未通过的提议带着反馈退回修订。与同模型ReAct基线相比,Telecom和BFCL三次全部成功率提升一致,Airline效果参差,对比评估的是整个执行框架而非单独的评审组件。

本文采用以下许可协议 Creative Commons Attribution 4.0 International. 重新发布需注明原始 URL 出处。

执行前先验证智能体操作:JevAct的决策模型关卡 — Sebastien Rousseau

IBM研究人员提出的JevAct在LLM智能体执行写操作和移交之前进行拦截:代码核验工具状态事实,开源决策模型Kev以概率评估对话上下文,未通过的提议带着反馈退回修订。与同模型ReAct基线相比,Telecom和BFCL三次全部成功率提升一致,Airline效果参差,对比评估的是整个执行框架而非单独的评审组件。

Originally published at https://sebastienrousseau.com/zh-hans/2026-11-18-zhixing-yanzheng-zhinengti-caozuo-jevact-juece/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.