Sebastien Rousseau

TÁC NHÂN LLM

Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct

Phần lớn vòng lặp tác nhân thực thi một lệnh gọi công cụ ngay khi mô hình đề xuất, và kết quả của JevAct cho thấy một điểm kiểm tra rẻ, dựa trên xác suất, đặt ngay trước khi thực thi có thể giúp tác nhân dùng công cụ đáng tin cậy hơn, dù mức cải thiện chênh lệch rất mạnh giữa các bộ đánh giá.

19 phút đọc
Banner for: Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct

Phần lớn vòng lặp tác nhân thực thi một lệnh gọi công cụ ngay khi mô hình đề xuất, và kết quả của JevAct cho thấy một điểm kiểm tra rẻ, dựa trên xác suất, đặt ngay trước khi thực thi có thể giúp tác nhân dùng công cụ đáng tin cậy hơn, dù mức cải thiện chênh lệch rất mạnh giữa các bộ đánh giá.

Tóm tắt điều hành

  • Tác nhân LLM ngày càng thực hiện những hành động có hệ quả thông qua công cụ bên ngoài, nhưng các hành động đó thường được thực thi mà không có kiểm chứng độc lập về tuân thủ chính sách hay hoàn thành nhiệm vụ.
  • JevAct biên dịch ngoại tuyến một chính sách nghiệp vụ thành các câu hỏi, quy tắc, kiểm tra trạng thái thực thi được và, khi cần, một danh sách kiểm tra chuyển giao.
  • Lúc chạy, mã kiểm tra dữ kiện trong bản ghi công cụ, còn Kev, một mô hình quyết định kiểu Jev được mở mã nguồn, trả lời các câu hỏi phụ thuộc vào hội thoại.
  • So với một bộ khung ReAct trên τ²-bench (Airline, Telecom) và BFCL, mức cải thiện nhất quán trên Telecom và trên tỷ lệ thành công cả ba lượt của BFCL, và lẫn lộn hơn trên Airline.
  • Chính các tác giả diễn đạt thận trọng: các phát hiện gợi ý rằng mô hình quyết định có cấu trúc kết hợp với kiểm chứng thực thi được có thể cải thiện độ tin cậy.

Vấn đề: thực thi theo ngay sau đề xuất #

Một tác nhân đặt vé máy bay, hủy đơn hàng hay thay đổi cài đặt tài khoản đang làm một việc không thể lặng lẽ hoàn tác. Điều đáng lo là giữa gợi ý của mô hình và hệ quả thực tế có quá ít rào cản. Nhiều vòng lặp tác nhân thực thi lệnh gọi công cụ được đề xuất ngay khi mô hình tạo ra nó. Không ai kiểm tra độc lập xem hành động có tuân thủ chính sách của nghiệp vụ hay không, hay một nhiệm vụ mà tác nhân coi là xong đã thực sự xong chưa.

Khoảng trống đó là điểm xuất phát của "Think Before You Act: Decision Gate for LLM Agents", một bản tiền ấn phẩm trên arXiv năm 2026 của Iftach Shoham, Yuval David và các đồng nghiệp tại IBM, giới thiệu JevAct. Đây không phải nhận xét mới, nhưng đáng nói thẳng vì rất nhiều công cụ cho tác nhân tập trung vào việc làm bên đề xuất tốt hơn. Tác nhân ReAct đan xen suy luận với sử dụng công cụ, và mô hình đó đã trở thành một mốc so sánh phổ biến. Các phương pháp phản tư như Self-Refine và Reflexion bổ sung phê bình và phản hồi để cải thiện các đề xuất hoặc lượt thử sau, mà không cập nhật trọng số mô hình. Hữu ích là vậy, nhưng tự thân các phương pháp đó không kiểm chứng một hành động cụ thể theo chính sách nghiệp vụ ngay trước khi thực thi. Điểm kiểm tra mà JevAct quan tâm nằm ở một vị trí khác trong vòng lặp: sau khi đã có đề xuất và trước khi nó được cam kết.

JevAct là gì #

JevAct là một bộ khung (harness) kiểm tra các đề xuất được chọn trước khi thực thi. Nó được mô tả là một khung kiểm chứng lúc chạy, chặn các hành động được chọn của tác nhân và cho phép sửa lỗi dựa trên phản hồi. Nó vận hành độc lập với mô hình tác nhân bên dưới và không đòi hỏi thay đổi tham số hay công cụ của mô hình. Trong cấu hình được đánh giá, LLM, prompt gốc và công cụ của tác nhân giữ nguyên.

Về kiến trúc, JevAct mở rộng bộ khung của một tác nhân ReAct bằng cách chèn một giai đoạn kiểm tra chọn lọc giữa bước đề xuất thông điệp và bước thực thi. Từ "chọn lọc" có ý nghĩa. Khung này không soi mọi thông điệp; nó nhắm vào những loại hành động cụ thể. Bài báo định nghĩa hai loại. Một lệnh gọi ghi (write call) thay đổi môi trường, ví dụ đặt chỗ, hủy hoặc thay đổi một cài đặt. Một lệnh chuyển giao (hand-off) kết thúc nỗ lực của tác nhân, bằng cách chuyển người dùng sang một nhân viên hoặc báo cho người dùng rằng không thể làm gì thêm. Lệnh ghi là nơi vi phạm chính sách gây thiệt hại; chuyển giao là nơi tác nhân có thể bỏ cuộc quá sớm. Mục tiêu được nêu của khung, nhận diện các hành động có khả năng không hợp lệ và việc kết thúc nhiệm vụ quá sớm, khớp với hai loại đó.

Khi một kiểm tra thất bại, đề xuất không đơn giản bị chặn. Các kiểm tra có thể hoãn thực thi và yêu cầu LLM đưa ra đề xuất sửa đổi kèm phản hồi tạm thời, trong giới hạn một ngân sách sửa đổi cố định. Đề xuất đạt thì được thực thi. Đề xuất bị gắn cờ quay lại tác nhân kèm phản hồi có mục tiêu và một cơ hội sửa đổi có giới hạn. Và việc phân vai vẫn rõ ràng: tác nhân vẫn đề xuất hành động, còn Kev không chọn hành động.

Hai loại bằng chứng, một cổng #

Thiết kế dựa trên việc tách những gì có thể kiểm chứng một cách xác định khỏi những gì không thể. JevAct kết hợp kiểm chứng xác định các dữ kiện trạng thái công cụ với đánh giá xác suất về ngữ cảnh hội thoại. Lúc chạy, mã kiểm tra các dữ kiện có trong bản ghi công cụ, còn Kev trả lời những câu hỏi phụ thuộc vào hội thoại.

Cách tách đó hợp lý. Một số điều kiện chính sách là dữ kiện nằm trong bản ghi của công cụ, và một chương trình có thể đọc chúng mà không cần ý kiến của mô hình nào. Những điều kiện khác nằm trong những gì người dùng và tác nhân đã nói với nhau, mà không truy vấn cơ sở dữ liệu nào giải quyết được. Giao loại thứ nhất cho mã và loại thứ hai cho mô hình nghĩa là mô hình chỉ bị hỏi về những điều mã không trả lời được.

Nửa ngoại tuyến là phần làm cho cách tiếp cận này có thể mô tả một cách thực tế. Một trình biên dịch chuyển một chính sách nghiệp vụ thành các câu hỏi, quy tắc, kiểm tra thực thi được trên trạng thái công cụ và, khi cần, một danh sách kiểm tra chuyển giao. Nói cách khác, JevAct biên dịch chính sách nghiệp vụ thành các kiểm tra trạng thái thực thi được và các câu hỏi có cấu trúc, được đánh giá bởi một mô hình quyết định chỉ-prefill. Các tác giả nói họ đặt nền móng cho một quy trình biên dịch chính sách nghiệp vụ thành câu hỏi, quy tắc quyết định, kiểm tra trạng thái thực thi được và danh sách kiểm tra chuyển giao cho một cổng mô hình quyết định. Đó là cách diễn đạt khiêm tốn, và tôi hiểu nó đúng như vậy: tuyên bố là về nền móng của một quy trình, không phải một sản phẩm hoàn chỉnh.

Vì sao dùng mô hình quyết định thay vì LLM làm giám khảo #

Phương án hiển nhiên là một LLM giám khảo đọc đề xuất rồi viết phán quyết. Phản bác của bài báo mang tính thực tế. Lời giải thích tự do từ một giám khảo như vậy vẫn phải được diễn giải trước khi cổng có thể hành động, và đưa ra quyết định này bằng một mô hình tiên phong thì tốn kém. Một cổng cần một quyết định, không cần một bài luận.

Mô hình quyết định được xây cho đúng việc đó. Jev giới thiệu các mô hình quyết định trả về lựa chọn có kiểu, điểm số và xác suất thay vì văn bản sinh ra. Chúng trả về lựa chọn và xác suất cho các câu hỏi cố định, khiến các kiểm tra dựa trên ngưỡng trở nên đơn giản. Mô hình mà JevAct dùng là loại chỉ-prefill, đưa ra phán đoán dựa trên xác suất mà không dựa vào việc sinh văn bản của LLM. Kev là một mô hình quyết định kiểu Jev mã nguồn mở, được đặt trong một bước kiểm chứng riêng trước khi các hành động được chọn được cam kết.

Có một điểm vướng, và chính các tác giả đã nêu ra. Xác suất của mô hình quyết định không được đảm bảo là đã hiệu chỉnh hay chính xác, nên giá trị của chúng phải được kiểm nghiệm trong vòng lặp tác nhân thay vì mặc định. Câu đó định khung cho toàn bộ phần thực nghiệm. Câu hỏi trung tâm là liệu một mô hình quyết định có thể đóng vai trò bộ kiểm chứng theo ngưỡng xác suất, song song với các kiểm tra trạng thái công cụ thực thi được hay không. Đó là câu hỏi phải trả lời bằng thực nghiệm, và thực nghiệm là nơi chứa những chi tiết đáng chú ý.

Các nghiên cứu liên quan về mô hình quyết định cho thấy một bức tranh lẫn lộn, lý giải vì sao việc kiểm nghiệm đó quan trọng. Li và cộng sự báo cáo kết quả cạnh tranh về đánh giá mức ưa thích và tính xác thực dựa trên bằng chứng, nhưng kém hơn khi cần suy dẫn. Rao và Callison-Burch báo cáo kết quả lẫn lộn khi chấm theo tiêu chí (rubric) và những lỗi trùng lặp với LLM giám khảo. Một mô hình quyết định mạnh ở một số tác vụ phán xét và yếu hơn ở những tác vụ khác chính là loại thành phần mà ta muốn ghép với kiểm tra xác định thay vì tin tưởng một mình.

Phép so sánh được thực hiện thế nào #

JevAct được so sánh với một bộ khung ReAct dùng cùng LLM tác nhân ở cả hai nhánh. Các tác vụ trải trên Airline và Telecom trong τ²-bench và các tác vụ gọi hàm nhiều lượt trong BFCL. Giữ cố định LLM tác nhân ở cả hai nhánh là phép đối chứng đúng cho câu hỏi đặt ra: mọi khác biệt đến từ bộ khung, không phải từ một bên đề xuất mạnh hơn hay yếu hơn.

Bài báo báo cáo kết quả bằng chỉ số pass^3, lấy từ Bảng 2, cùng với tỷ lệ thành công ít nhất một lần. Hai thước đo này kéo về hai hướng khác nhau, và sự tương phản giữa chúng hóa ra rất có giá trị. Thành công cả ba lượt chạy thưởng cho tác nhân làm đúng mọi lần. Thành công ít nhất một lần thưởng cho tác nhân làm đúng ở bất kỳ lượt nào. Một bộ kiểm chứng bắt được hành động sai lẽ ra phải giúp thước đo thứ nhất ổn định hơn thước đo thứ hai, và kết quả khớp với cách đọc đó, dù bài báo chỉ nói rằng mẫu hình trên BFCL nhất quán với hiệu năng lặp lại tốt hơn ở một số tác vụ, nên tôi đánh dấu phần còn lại là diễn giải chứ không phải phát hiện.

Các con số cho thấy gì #

Trên Telecom, cả tám tác nhân đều cải thiện cả tỷ lệ thành công ít nhất một lần lẫn thành công cả ba lượt chạy. Đó là kết quả sạch nhất trong bài báo: không có ngoại lệ nào trong số tác nhân được thử, trên cả hai thước đo.

Trên BFCL, cả chín tác nhân đều cải thiện tỷ lệ thành công cả ba lượt, nhưng kết quả ít nhất một lần thì lẫn lộn. Hãy đọc kỹ. Trên BFCL, thước đo khắt khe hơn tăng ở mọi tác nhân được thử, từ 0,1 đến 9,6 điểm; thước đo dễ dãi hơn cải thiện ở bốn tác nhân và giảm ở năm. Nếu bạn quan tâm đến việc tác nhân hành xử đúng mọi lần, đó là hướng thuận lợi. Nếu bạn quan tâm đến việc thử lại có thể thành công hay không, lợi ích chưa được chứng minh ở đây.

Airline là điểm yếu. Tác động trên Airline nhỏ hơn và khác nhau tùy tác nhân. Phần tóm tắt kết quả diễn đạt là mức cải thiện đặc biệt nhất quán trên Telecom và BFCL, trong khi hiệu năng trên Airline lẫn lộn hơn. Một nhà sáng lập đọc điều này không nên làm tròn thành "cải thiện mọi thứ". Các tác giả báo cáo độ tin cậy của tác nhân được cải thiện trên nhiều mô hình và bộ đánh giá, nhưng trên Airline mức cải thiện nhỏ hơn và lẫn lộn, và họ nói các phát hiện không chứng minh được mức cải thiện đồng đều. Bài báo lưu ý rằng với 50 tác vụ Airline, chỉ một tác vụ cũng làm điểm số dịch chuyển 2 điểm phần trăm, nên những khác biệt nhỏ cần được đọc thận trọng; ngoài điều đó, tôi sẽ không đoán vì sao Airline hành xử khác.

Cách đọc tổng thể được chính các tác giả rào đón: các phát hiện gợi ý rằng kết hợp mô hình quyết định có cấu trúc với kiểm chứng thực thi được có thể cải thiện độ tin cậy của tác nhân LLM dùng công cụ. "Gợi ý" là động từ đúng. Đây là một kết quả hứa hẹn, không phải một chứng minh.

Phép so sánh tách biệt được gì và không tách biệt được gì #

Có một giới hạn đáng được coi trọng hơn mức thường thấy. Vì JevAct bổ sung các kiểm tra được biên dịch và cơ hội sửa đổi, các phép so sánh đánh giá toàn bộ bộ khung, không phải riêng bộ phán xét. Đó là một lưu ý quan trọng với bất kỳ ai muốn kết luận rằng mô hình quyết định đang gánh phần việc chính. Mức cải thiện có thể đến từ xác suất của Kev, từ các kiểm tra trạng thái thực thi được, từ các cơ hội sửa đổi bổ sung, hoặc từ một tổ hợp nào đó. Các phép so sánh chính không tách chúng ra.

Tôi cho rằng đó không hẳn là khiếm khuyết mà là sự mô tả trung thực những gì một bài báo hệ thống có thể chứng minh. Câu hỏi các tác giả đặt ra, liệu một mô hình quyết định có thể đóng vai trò bộ kiểm chứng theo ngưỡng xác suất song song với các kiểm tra trạng thái công cụ thực thi được hay không, được trả lời ở cấp độ cặp đôi, vì "song song" nằm ngay trong câu hỏi. Nhưng người đọc đang quyết định đầu tư công sức vào đâu nên ghi nhớ điều này. Nếu bạn đang xây một thứ tương tự, bạn không thể suy ra từ bằng chứng này rằng chỉ riêng mô hình quyết định sẽ mang lại cải thiện, cũng như chỉ riêng các kiểm tra bằng mã.

Điều đó cũng có nghĩa là lưu ý về hiệu chỉnh vẫn còn nguyên. Xác suất không được đảm bảo là đã hiệu chỉnh hay chính xác, và kết quả ở cấp bộ khung không xóa bỏ sự bất định đó. Nó cho thấy toàn bộ cách bố trí đã giúp ích trên các bộ đánh giá được thử.

Vị trí giữa các thiết kế rào chắn khác #

JevAct gia nhập một tập hợp đông đúc các cách tiếp cận bảo vệ hành động của tác nhân, và những khác biệt rất đáng học hỏi. GuardAgent dùng một tác nhân riêng để sinh và chạy mã kiểm chứng từ các yêu cầu rào chắn do người dùng định nghĩa. Zwerdling và cộng sự biên dịch chính sách công ty thành các rào chắn thực thi được, kiểm tra tuân thủ trước các hành động công cụ. AgentSpec biểu diễn ràng buộc lúc chạy dưới dạng bộ kích hoạt, vị từ và hành động cưỡng chế. ShieldAgent rút ra các quy tắc kiểm chứng được từ tài liệu chính sách.

Những cách khác dựa vào mô hình cho chính việc kiểm chứng. ToolSafe dùng một rào chắn an toàn được huấn luyện để đánh giá các lệnh gọi công cụ được đề xuất và trả phản hồi, còn PolicyGuard và PolicyGuide dùng bộ kiểm chứng dựa trên mô hình để đảm bảo tuân thủ chính sách và định hướng quy trình. CaMeL đi một con đường khác, cưỡng chế bảo mật bằng cách tách luồng điều khiển tin cậy khỏi dữ liệu không tin cậy.

Trên nền đó, lựa chọn khác biệt của JevAct là cách ghép cặp riêng của nó. Giống dòng nghiên cứu biên dịch thành rào chắn thực thi được, nó chuyển chính sách thành các kiểm tra trên trạng thái công cụ. Giống các bộ kiểm chứng dựa trên mô hình, nó dùng mô hình cho những phán đoán mà mã không thực hiện được. Điều nó bổ sung là một mô hình quyết định trả về xác suất cho các lựa chọn cố định, dùng trực tuyến trước khi các hành động được chọn thực thi, kèm phản hồi để sửa đổi. Nó để việc đề xuất cho LLM ReAct và đặt Kev vào một bước kiểm chứng riêng trước khi các hành động được chọn được cam kết.

Vì sao thiết kế này đáng theo dõi #

Quan điểm của tôi là ý tưởng hữu ích nhất ở đây không phải bản thân Kev mà là kỷ luật của việc phân tách. Hỏi mã những gì mã trả lời được. Chỉ hỏi mô hình những gì phụ thuộc vào hội thoại. Giữ bên đề xuất và bên kiểm chứng tách biệt, để mô hình kiểm tra một hành động không phải là mô hình đã gợi ý nó. Và biến đầu ra của bộ kiểm chứng thành một xác suất so với ngưỡng, để cổng là một phép so sánh chứ không phải một đoạn văn bản ai đó phải phân tích.

Thiết kế đó cũng làm lộ rõ các điểm yếu. Nếu một kiểm tra hoạt động sai, bạn có thể hỏi đó là kiểm tra trạng thái hay câu hỏi hội thoại. Nếu ngưỡng sai, chúng là những con số bạn có thể xem xét. Lời cảnh báo của chính bài báo rằng xác suất cần được kiểm nghiệm trong vòng lặp là bản năng đúng, và đó là một tư thế tốt hơn việc mặc định một bộ kiểm chứng hoạt động chỉ vì nó nghe có lý.

Kết quả không đồng đều, nếu có, lại khiến người đọc yên tâm hơn về tính trung thực của báo cáo. Một khung tuyên bố cải thiện đồng đều ở mọi nơi sẽ đáng ngờ hơn một khung cho thấy tám trên tám ở Telecom, chín trên chín ở tỷ lệ thành công cả ba lượt của BFCL, kết quả ít nhất một lần lẫn lộn trên BFCL, và tác động biến thiên trên Airline. Mẫu hình đó cho người thực hành một cơ sở để lập kế hoạch: bằng chứng mạnh nhất là cho độ tin cậy qua các lượt chạy lặp lại, và yếu nhất là ở nghiệp vụ mà tác động thay đổi tùy tác nhân.

Nên làm gì với điều này #

Với người đọc kỹ thuật, bài học là về kiến trúc. LLM, prompt gốc và công cụ của tác nhân giữ nguyên trong JevAct, nên lớp kiểm chứng là thứ bạn bổ sung quanh tác nhân chứ không phải thứ bạn huấn luyện vào nó. Với nhà sáng lập, cách đọc thực tế hẹp hơn tiêu đề. Bài báo báo cáo độ tin cậy được cải thiện trên nhiều mô hình và bộ đánh giá, với Airline lẫn lộn hơn, và các phép so sánh đánh giá toàn bộ bộ khung thay vì riêng bộ phán xét. Các phép so sánh chính không xác định thành phần nào tạo ra cải thiện, dù phép loại bỏ thành phần (ablation) trên Airline của bài báo gợi ý rằng kiểm chứng bằng lập trình chiếm phần lớn trong bối cảnh đó.

Câu hỏi mở chính là câu hỏi trung tâm của bài báo: liệu một mô hình quyết định có thể đóng vai trò bộ kiểm chứng theo ngưỡng xác suất song song với các kiểm tra trạng thái công cụ thực thi được, khi, như các tác giả lưu ý, xác suất của nó không được đảm bảo là đã hiệu chỉnh hay chính xác. Kết quả Airline, nơi tác động nhỏ hơn và khác nhau tùy tác nhân, là chỗ cần xem trước tiên. Liệu sự biến thiên đó bắt nguồn từ các kiểm tra, các ngưỡng hay các chính sách được biên dịch là điều các kết quả được báo cáo còn để ngỏ, và đó là thực nghiệm tôi muốn thấy nhất tiếp theo.

Câu hỏi thường gặp #

JevAct là gì? JevAct là một khung kiểm chứng lúc chạy do các nhà nghiên cứu IBM phát triển, chặn các hành động được chọn của tác nhân, cụ thể là lệnh gọi ghi và chuyển giao, trước khi thực thi. Một đề xuất bị gắn cờ quay lại tác nhân kèm phản hồi có mục tiêu và một cơ hội sửa đổi có giới hạn. LLM, prompt gốc và công cụ của tác nhân giữ nguyên.

Kev làm gì trong JevAct? Kev là một mô hình quyết định kiểu Jev mã nguồn mở, trả lời các câu hỏi cố định bằng xác suất thay vì văn bản sinh ra. Trong JevAct, nó trả lời các câu hỏi phụ thuộc vào hội thoại, còn mã kiểm tra các dữ kiện có trong bản ghi công cụ. Kev không chọn hành động; tác nhân vẫn là bên đề xuất.

JevAct được đánh giá thế nào? Bài báo so sánh JevAct với một bộ khung ReAct dùng cùng LLM tác nhân ở cả hai nhánh. Các tác vụ trải trên Airline và Telecom trong τ²-bench và các tác vụ gọi hàm nhiều lượt trong BFCL, với tỷ lệ thành công được báo cáo cả dưới dạng ít nhất một lần trong ba lượt chạy và thành công ở cả ba lượt.

JevAct có cải thiện mọi tác nhân trên mọi bộ đánh giá không? Không. Trên Telecom, cả tám tác nhân đều cải thiện ở cả hai thước đo, và trên BFCL cả chín tác nhân cải thiện tỷ lệ thành công cả ba lượt trong khi kết quả ít nhất một lần lẫn lộn. Tác động trên Airline nhỏ hơn và khác nhau tùy tác nhân, và các tác giả nói các phát hiện không chứng minh được mức cải thiện đồng đều.

Bài báo có chứng minh rằng riêng mô hình quyết định tạo ra mức cải thiện không? Không. Vì JevAct bổ sung các kiểm tra được biên dịch và cơ hội sửa đổi, các phép so sánh chính đánh giá toàn bộ bộ khung, không phải riêng bộ phán xét. Các tác giả cũng lưu ý rằng xác suất của mô hình quyết định không được đảm bảo là đã hiệu chỉnh hay chính xác.

Tài liệu tham khảo #

Cập nhật lần cuối .

Đăng lại bài viết này

Sao chép định dạng cho Medium

# Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/](https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/)

JevAct kiểm tra hành động của tác nhân LLM trước khi thực thi. So với ReAct cùng mô hình, cải thiện nhất quán trên Telecom và BFCL nhưng lẫn lộn trên Airline.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/

Sao chép định dạng cho Mastodon

Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau

JevAct kiểm tra hành động của tác nhân LLM trước khi thực thi. So với ReAct cùng mô hình, cải thiện nhất quán trên Telecom và BFCL nhưng lẫn lộn trên Airline.

https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/

Sao chép định dạng cho LinkedIn

Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau

JevAct kiểm tra hành động của tác nhân LLM trước khi thực thi. So với ReAct cùng mô hình, cải thiện nhất quán trên Telecom và BFCL nhưng lẫn lộn trên Airline.

Đây là những điểm chiến lược quan trọng:

- Vấn đề: thực thi theo ngay sau đề xuất. Một tác nhân đặt vé máy bay, hủy đơn hàng hay thay đổi cài đặt tài khoản đang làm một việc không thể lặng lẽ hoàn tác.
- JevAct là gì. JevAct là một bộ khung (harness) kiểm tra các đề xuất được chọn trước khi thực thi.
- Hai loại bằng chứng, một cổng. Thiết kế dựa trên việc tách những gì có thể kiểm chứng một cách xác định khỏi những gì không thể.
- Vì sao dùng mô hình quyết định thay vì LLM làm giám khảo. Phương án hiển nhiên là một LLM giám khảo đọc đề xuất rồi viết phán quyết.

Tổ chức của bạn tiếp cận như thế nào với những thách thức được nêu trong bài viết này?

→ https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/

#TácNhânLlm #KiểmChứngTácNhân #KiểmChứngLúcChạy #RuntimeVerification #MôHìnhQuyếtĐịnh

Sebastien Rousseau | CC-BY-4.0
Trích dẫn bài này

Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau

JevAct kiểm tra hành động của tác nhân LLM trước khi thực thi. So với ReAct cùng mô hình, cải thiện nhất quán trên Telecom và BFCL nhưng lẫn lộn trên Airline.

BibTeX

@online{rousseau2026kiểm,
  author  = {Rousseau, Sebastien},
  title   = {{Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/
ER  -

Vancouver

Rousseau S. Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/

Chicago

Rousseau, Sebastien. "Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/.

APA

Rousseau, S. (2026, November 18). Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/

Đăng lại bài này

Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau

JevAct kiểm tra hành động của tác nhân LLM trước khi thực thi. So với ReAct cùng mô hình, cải thiện nhất quán trên Telecom và BFCL nhưng lẫn lộn trên Airline.

Bài viết này được cấp phép theo Creative Commons Attribution 4.0 International. Đăng lại yêu cầu ghi nguồn đến URL chính tắc.

Kiểm chứng hành động tác nhân trước khi chạy: cổng quyết định JevAct — Sebastien Rousseau

JevAct kiểm tra hành động của tác nhân LLM trước khi thực thi. So với ReAct cùng mô hình, cải thiện nhất quán trên Telecom và BFCL nhưng lẫn lộn trên Airline.

Originally published at https://sebastienrousseau.com/vi/2026-11-18-kiem-chung-hanh-dong-tac-nhan/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.