Sebastien Rousseau

LLM 智能體

在執行前驗證智能體行動:JevAct 的決策模型關卡

多數智能體迴圈會在模型一提出工具呼叫時就立即執行;JevAct 的結果顯示,在執行前設置一道低成本、以機率為基礎的檢查點,可以讓使用工具的智能體更可靠,但效益因基準測試而有顯著差異。

2 分鐘閱讀
Banner for: 在執行前驗證智能體行動:JevAct 的決策模型關卡

多數智能體迴圈會在模型一提出工具呼叫時就立即執行;JevAct 的結果顯示,在執行前設置一道低成本、以機率為基礎的檢查點,可以讓使用工具的智能體更可靠,但效益因基準測試而有顯著差異。

執行摘要

  • LLM 智能體越來越常透過外部工具採取具實質後果的行動,但這些行動往往在未經獨立驗證是否符合政策、任務是否完成的情況下就被執行。
  • JevAct 以離線方式,將領域政策編譯成問題、規則、可執行的狀態檢查,以及必要時的轉交檢查清單。
  • 在執行期,程式碼負責檢查工具紀錄中的事實,而 Kev 這個開源、類 Jev 的決策模型,負責回答取決於對話內容的問題。
  • 在 τ²-bench(Airline、Telecom)與 BFCL 上與 ReAct 執行框架相比,Telecom 與 BFCL 的三次執行皆成功指標進步一致,Airline 則較為參差。
  • 作者本身的措辭相當謹慎:研究結果顯示,結構化決策模型與可執行驗證相結合,能夠提升可靠性。

問題所在:提出即執行 #

一個會訂機票、取消訂單或變更帳戶設定的智能體,所做的事無法悄悄復原。令人不安的是,模型的建議與實際效果之間,擋著的東西少得可憐。許多智能體迴圈會在模型產出工具呼叫的當下就執行它。沒有人獨立檢查這個行動是否符合該領域的政策,也沒有人檢查智能體認為已完成的任務是否真的完成。

這道落差,正是2026年 arXiv 預印本論文〈Think Before You Act: Decision Gate for LLM Agents〉的出發點。這篇論文由 IBM 的 Iftach Shoham、Yuval David 與其同事撰寫,提出了 JevAct。這不是新的觀察,但值得直接點明,因為大量智能體工具都把重心放在讓提案者變得更好。ReAct 智能體將推理與工具使用交錯進行,這種模式已成為常見的基準。Self-Refine 與 Reflexion 等反思方法加入批評與回饋,以改善後續的提案或嘗試,而不更新模型權重。這些方法固然有用,但它們本身並不會在執行前一刻,依據領域政策驗證某個特定行動。JevAct 關心的檢查位於迴圈中的另一個位置:在提案產生之後、提交之前。

JevAct 是什麼 #

JevAct 是一套在執行前檢查選定提案的執行框架。它被描述為一套執行期驗證框架,會攔截選定的智能體行動,並實現由回饋驅動的修正。它獨立於底層的智能體模型運作,無需修改模型的參數或工具。在評估的設定中,智能體的 LLM、基礎提示詞與工具都維持不變。

在架構上,JevAct 擴充了 ReAct 智能體的執行框架,在訊息提案與執行之間插入一個選擇性的檢查階段。「選擇性」這個詞很關鍵。這套框架不檢查每一則訊息,而是鎖定特定類型的行動。論文定義了兩種。寫入呼叫會改變環境,例如訂位、取消或變更設定。轉交則會結束智能體的嘗試,方式是將使用者轉給真人,或告訴使用者已無法再做任何事。寫入是違反政策會造成損害的地方;轉交則是智能體可能過早放棄的地方。這套框架所述的目標,也就是辨識可能無效的行動與過早終止的任務,正好對應到這兩個類別。

當檢查未通過時,提案並非單純被擋下。檢查可以延後執行,並附上暫時性的回饋,要求 LLM 提出修正後的提案,修正次數受固定預算限制。通過的提案會繼續執行。被標記的提案則帶著針對性的回饋退回給智能體,並獲得有限的修正機會。分工也維持清楚:提出行動的仍是智能體,Kev 不負責選擇行動。

兩種證據,一道關卡 #

這套設計建立在一個區分之上:什麼可以確定性地驗證,什麼不行。JevAct 將工具狀態事實的確定性驗證,與對話脈絡的機率性評估結合起來。在執行期,程式碼檢查工具紀錄中可取得的事實,而 Kev 回答取決於對話內容的問題。

這個區分很合理。有些政策條件是存放在工具紀錄中的事實,程式不需要任何模型的意見就能讀取。其他條件則存在於使用者與智能體之間的對話裡,任何資料庫查詢都無法定論。把第一類交給程式碼、第二類交給模型,意味著模型只需要回答程式碼無法回答的問題。

離線的那一半,讓這套做法可以具體描述。一個編譯器將領域政策轉換成問題、規則、針對工具狀態的可執行檢查,以及必要時的轉交檢查清單。換句話說,JevAct 將領域政策編譯成可執行的狀態檢查,以及由僅預填決策模型評估的結構化問題。作者表示,他們為一套工作流程奠定了基礎,這套流程會將領域政策編譯成供決策模型關卡使用的問題、決策規則、可執行狀態檢查與轉交檢查清單。這是相當低調的說法,我也會照字面理解:這項主張是關於一套工作流程的基礎,而非一個完成的產品。

為何用決策模型,而非 LLM 判斷者 #

顯而易見的替代方案,是讓一個 LLM 判斷者閱讀提案並寫出判定。論文的反對理由很務實。這類判斷者的自由格式說明,仍必須先被解讀,關卡才能據以行動;而用前沿模型來做這個決定,成本很高。關卡需要的是一個決定,不是一篇文章。

決策模型正是為此而生。Jev 引入的決策模型會回傳具型別的選項、分數與機率,而非生成文字。它們針對固定問題回傳選項與機率,讓以門檻為基礎的檢查變得簡單直接。JevAct 使用的模型是僅預填模型,能在不仰賴 LLM 生成的情況下產生以機率為基礎的判斷。Kev 是一個開源的 Jev 型決策模型,被放在一個獨立的驗證步驟中,位於選定行動提交之前。

這裡有一個陷阱,作者自己也明說了。決策模型的機率不保證經過校準或正確,因此其價值必須在智能體迴圈中實際測試,而不能直接假設。這句話框定了整個實證章節。核心問題在於:決策模型能否搭配可執行的工具狀態檢查,充當以機率門檻運作的驗證器。這是一個要靠實驗回答的問題,而值得關注的細節就在實驗裡。

關於決策模型的相關研究,對這類測試為何重要,呈現出參差的圖像。Li 等人回報,決策模型在偏好判斷與以證據為本的事實性判斷上有具競爭力的結果,但在需要推導時表現較弱。Rao 與 Callison-Burch 則回報評分準則判斷的結果好壞參半,且與 LLM 判斷者在相同的地方出錯。一個在某些判斷任務上表現強、在其他任務上較弱的決策模型,正是你會想搭配確定性檢查、而不是單獨信任的那種元件。

比較如何進行 #

JevAct 與 ReAct 執行框架相比,兩組使用相同的智能體 LLM。任務涵蓋 τ²-bench 中的 Airline 與 Telecom,以及 BFCL 中的多輪函式呼叫任務。在兩組之間固定智能體 LLM,是回答這個問題的正確對照:任何差異都來自執行框架,而不是來自更強或更弱的提案者。

論文以取自表2的 pass^3 數據,搭配至少一次成功率來報告結果。這兩項指標指向不同方向,而兩者之間的對比頗具啟發性。三次執行皆成功,獎勵的是每次都做對的智能體。至少一次成功,獎勵的是在任一次嘗試中做對的智能體。一個能攔下錯誤行動的驗證器,對前者的幫助理應比對後者更穩定,而結果也符合這種解讀。不過論文只說 BFCL 的模式符合某些任務表現更具可重複性,因此其餘部分我會標示為詮釋,而非研究發現。

數字呈現了什麼 #

在 Telecom 上,八個智能體在至少一次成功與三次執行皆成功兩項指標上全部進步。這是論文中最乾淨的結果:受測智能體在兩項指標上都沒有例外。

在 BFCL 上,九個智能體的三次執行皆成功比率全部提升,但至少一次成功的結果好壞參半。請仔細讀。在 BFCL 上,較嚴格的指標在每個受測智能體上都提升了0.1至9.6個百分點;較寬鬆的指標則有四個智能體進步、五個退步。如果你在意的是智能體每次都表現正確,這是有利的方向。如果你在意的是重試最終能否成功,這裡並未證實有此效益。

Airline 是弱點。Airline 的效果較小,且因智能體而異。結果摘要的說法是:Telecom 與 BFCL 上的進步特別一致,而 Airline 上的表現則較為參差。閱讀本文的創辦人不應將此簡化為「全面改善」。作者回報智能體可靠性在多個模型與基準測試上提升,但在 Airline 上效益較小且參差,他們也表示研究結果並未證實有一致的效益。論文提醒,Airline 只有50項任務,單一任務就會讓分數變動2個百分點,因此細微差異應審慎解讀;除此之外,我不會去臆測 Airline 為何表現不同。

整體解讀由作者自己加上了保留:研究結果顯示,結合結構化決策模型與可執行驗證,能夠提升使用工具之 LLM 智能體的可靠性。「顯示」是恰當的動詞。這是一個有希望的結果,不是證明。

這項比較能與不能區分出什麼 #

有一項限制值得比平常得到更多重視。由於 JevAct 加入了編譯而成的檢查與修正機會,這些比較評估的是整個執行框架,而非單獨評估判斷者。對任何希望得出「決策模型承擔了主要工作」這個結論的人而言,這是一個重大的保留。效益可能來自 Kev 的機率、可執行的狀態檢查、額外的修正機會,或其中某種組合。主要的比較並未將它們區分開來。

我認為這與其說是缺陷,不如說是對一篇系統論文能證明什麼的誠實描述。作者提出的問題,也就是決策模型能否搭配可執行的工具狀態檢查,充當以機率門檻運作的驗證器,是在兩者組合的層次上得到回答,因為「搭配」本身就寫在問題裡。但正在決定往哪裡投入心力的讀者應該記住這一點。如果你正在打造類似的東西,你無法從這些證據推論出光靠決策模型就能帶來改善,也無法推論出光靠程式碼檢查就能做到。

這也意味著關於校準的保留依然成立。機率不保證經過校準或正確,而執行框架層級的結果並未消除這份不確定性。它顯示的是,整套安排在受測的基準測試上有所幫助。

在其他防護設計中的定位 #

JevAct 加入了一個擁擠的智能體行動防護方法陣營,而彼此之間的差異頗具啟發。GuardAgent 使用一個獨立的智能體,依據使用者定義的防護要求產生並執行驗證程式碼。Zwerdling 等人將公司政策編譯成可執行的防護,在工具行動之前檢查合規性。AgentSpec 將執行期限制表示為觸發條件、述詞與執行動作。ShieldAgent 則從政策文件推導出可驗證的規則。

另一些方法則倚賴模型本身進行驗證。ToolSafe 使用一套經學習的護欄機制來評估提出的工具呼叫並回傳回饋,而 PolicyGuard 與 PolicyGuide 則使用以模型為基礎的驗證器,處理政策遵循與工作流程引導。CaMeL 走的是另一條路,透過區隔受信任的控制流程與不受信任的資料來確保安全。

在這樣的背景下,JevAct 的獨特選擇在於它的特定組合。和「編譯成可執行防護」這一系的研究一樣,它將政策轉換成針對工具狀態的檢查。和以模型為基礎的驗證器一樣,它用模型來做程式碼無法做的判斷。它新增的是一個回傳固定選項機率的決策模型,在選定行動執行前於線上使用,並提供修正用的回饋。它把提案留給 ReAct LLM,並讓 Kev 在選定行動提交前,處於一個獨立的驗證步驟中。

為何這套設計值得關注 #

我的看法是,這裡最有用的概念不是 Kev 本身,而是這種分工的紀律。程式碼能回答的,問程式碼。只有取決於對話的,才問模型。讓提案者與驗證者分開,使檢查行動的模型不是提出該行動的模型。並讓驗證者的輸出成為一個與門檻比較的機率,使關卡是一次比較,而不是一段需要有人解析的文字。

這套設計也讓弱點清晰可辨。如果某項檢查誤判,你可以追問那是狀態檢查還是對話問題。如果門檻設錯了,那也是你可以檢視的數字。論文本身提醒機率需要在迴圈中測試,這是正確的直覺,也比因為聽起來合理就假設驗證器有效的態度好得多。

結果的不均衡,反倒讓人對報告的誠實度更放心。一個宣稱處處都有一致效益的框架,比一個呈現 Telecom 八個全數進步、BFCL 三次執行皆成功九個全數進步、BFCL 至少一次成功好壞參半、Airline 效果不一的框架,更值得懷疑。這個模式給了實務工作者可以據以規劃的依據:最有力的證據在於多次執行間的可靠性,最弱的則是在效果因智能體而異的那個領域。

該如何運用 #

對技術讀者而言,重點在架構。在 JevAct 中,智能體的 LLM、基礎提示詞與工具都維持不變,因此驗證層是你在智能體外圍加上的東西,而不是訓練進智能體裡的東西。對創辦人而言,實務上的解讀比標題更窄。論文回報可靠性在多個模型與基準測試上提升,Airline 則較為參差,而其比較評估的是整個執行框架,而非單獨評估判斷者。主要的比較並未證實哪個元件帶來了改善,不過論文在 Airline 上的消融實驗顯示,在該設定中,程式化驗證佔了改善的很大一部分。

懸而未決的問題,正是論文本身的核心問題:當決策模型的機率如作者所指出,不保證經過校準或正確時,它能否搭配可執行的工具狀態檢查,充當以機率門檻運作的驗證器。效果較小且因智能體而異的 Airline 結果,是最先該看的地方。這種差異究竟源於檢查、門檻,還是被編譯的政策,已回報的結果並未給出答案,而這正是我最希望接下來看到的實驗。

常見問題 #

JevAct 是什麼? JevAct 是 IBM 研究人員提出的執行期驗證框架,會在選定的智能體行動(也就是寫入呼叫與轉交)執行前加以攔截。被標記的提案會帶著針對性的回饋退回給智能體,並獲得有限的修正機會。智能體的 LLM、基礎提示詞與工具都維持不變。

Kev 在 JevAct 中扮演什麼角色? Kev 是一個開源、類 Jev 的決策模型,以機率而非生成文字來回答固定問題。在 JevAct 中,它回答取決於對話內容的問題,而程式碼負責檢查工具紀錄中可取得的事實。Kev 不選擇行動;提出行動的仍是智能體。

JevAct 如何評估? 論文將 JevAct 與 ReAct 執行框架比較,兩組使用相同的智能體 LLM。任務涵蓋 τ²-bench 中的 Airline 與 Telecom,以及 BFCL 中的多輪函式呼叫任務,成功率同時以三次執行中至少一次成功,以及三次執行皆成功來報告。

JevAct 是否在每個基準測試上都改善了每個智能體? 沒有。在 Telecom 上,八個智能體在兩項指標上全部進步;在 BFCL 上,九個智能體的三次執行皆成功比率全部提升,但至少一次成功的結果好壞參半。Airline 的效果較小且因智能體而異,作者也表示研究結果並未證實有一致的效益。

論文是否證明效益單獨來自決策模型? 沒有。由於 JevAct 加入了編譯而成的檢查與修正機會,主要的比較評估的是整個執行框架,而非單獨評估判斷者。作者也指出,決策模型的機率不保證經過校準或正確。

參考資料 #

最近審閱 .

轉載本文

複製 Medium 格式

# 在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/](https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/)

IBM 研究人員提出的 JevAct,會在 LLM 智能體的寫入呼叫與轉交執行前加以攔截,以可執行的工具狀態檢查搭配 Kev 決策模型判斷。與使用相同模型的 ReAct 基準相比,Telecom 與 BFCL 的三次執行皆成功比率一致提升,Airline 則好壞參半,且證據涵蓋整個執行框架。

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/

複製 Mastodon 格式

在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau

IBM 研究人員提出的 JevAct,會在 LLM 智能體的寫入呼叫與轉交執行前加以攔截,以可執行的工具狀態檢查搭配 Kev 決策模型判斷。與使用相同模型的 ReAct 基準相比,Telecom 與 BFCL 的三次執行皆成功比率一致提升,Airline 則好壞參半,且證據涵蓋整個執行框架。

https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/

複製 LinkedIn 格式

在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau

IBM 研究人員提出的 JevAct,會在 LLM 智能體的寫入呼叫與轉交執行前加以攔截,以可執行的工具狀態檢查搭配 Kev 決策模型判斷。與使用相同模型的 ReAct 基準相比,Telecom 與 BFCL 的三次執行皆成功比率一致提升,Airline 則好壞參半,且證據涵蓋整個執行框架。.

以下是關鍵策略要點:

- 問題所在:提出即執行. 一個會訂機票、取消訂單或變更帳戶設定的智能體,所做的事無法悄悄復原。令人不安的是,模型的建議與實際效果之間,擋著的東西少得可憐。許多智能體迴圈會在模型產出工具呼叫的當下就執行它。沒有人獨立檢查這個行動是否符合該領域的政策,也沒有人檢查智能體認為已完成的任務是否真的完成。.
- JevAct 是什麼. JevAct 是一套在執行前檢查選定提案的執行框架。它被描述為一套執行期驗證框架,會攔截選定的智能體行動,並實現由回饋驅動的修正。它獨立於底層的智能體模型運作,無需修改模型的參數或工具。在評估的設定中,智能體的 LLM、基礎提示詞與工具都維持不變。.
- 兩種證據,一道關卡. 這套設計建立在一個區分之上:什麼可以確定性地驗證,什麼不行。JevAct 將工具狀態事實的確定性驗證,與對話脈絡的機率性評估結合起來。在執行期,程式碼檢查工具紀錄中可取得的事實,而 Kev 回答取決於對話內容的問題。.
- 為何用決策模型,而非 LLM 判斷者. 顯而易見的替代方案,是讓一個 LLM 判斷者閱讀提案並寫出判定。論文的反對理由很務實。這類判斷者的自由格式說明,仍必須先被解讀,關卡才能據以行動;而用前沿模型來做這個決定,成本很高。關卡需要的是一個決定,不是一篇文章。.

貴組織如何應對本文所述的挑戰?

→ https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/

#Llm智能體 #智能體驗證 #執行期驗證 #決策模型 #使用工具的智能體

Sebastien Rousseau | CC-BY-4.0
引用本文

在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau

IBM 研究人員提出的 JevAct,會在 LLM 智能體的寫入呼叫與轉交執行前加以攔截,以可執行的工具狀態檢查搭配 Kev 決策模型判斷。與使用相同模型的 ReAct 基準相比,Telecom 與 BFCL 的三次執行皆成功比率一致提升,Airline 則好壞參半,且證據涵蓋整個執行框架。

BibTeX

@online{rousseau2026在執行前驗證智能體行動,
  author  = {Rousseau, Sebastien},
  title   = {{在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - 在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/
ER  -

Vancouver

Rousseau S. 在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/

Chicago

Rousseau, Sebastien. "在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/.

APA

Rousseau, S. (2026, November 18). 在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/

重新發佈本文

在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau

IBM 研究人員提出的 JevAct,會在 LLM 智能體的寫入呼叫與轉交執行前加以攔截,以可執行的工具狀態檢查搭配 Kev 決策模型判斷。與使用相同模型的 ReAct 基準相比,Telecom 與 BFCL 的三次執行皆成功比率一致提升,Airline 則好壞參半,且證據涵蓋整個執行框架。

本文採用以下授權條款 Creative Commons Attribution 4.0 International. 重新發佈需註明原始 URL 出處。

在執行前驗證智能體行動:JevAct 的決策模型關卡 — Sebastien Rousseau

IBM 研究人員提出的 JevAct,會在 LLM 智能體的寫入呼叫與轉交執行前加以攔截,以可執行的工具狀態檢查搭配 Kev 決策模型判斷。與使用相同模型的 ReAct 基準相比,Telecom 與 BFCL 的三次執行皆成功比率一致提升,Airline 則好壞參半,且證據涵蓋整個執行框架。

Originally published at https://sebastienrousseau.com/zh-hant/2026-11-18-zhixing-yanzheng-zhinengti-xingdong-jevact-juece-tw/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.