ลูปของเอเจนต์ส่วนใหญ่รันการเรียกใช้เครื่องมือทันทีที่โมเดลเสนอ และผลของ JevAct ชี้ว่าจุดตรวจราคาถูกที่อิงความน่าจะเป็น วางไว้ก่อนการดำเนินการพอดี สามารถทำให้เอเจนต์ที่ใช้เครื่องมือน่าเชื่อถือขึ้นได้ แม้ผลที่ได้จะต่างกันมากในแต่ละชุดทดสอบ
บทสรุปสำหรับผู้บริหาร
- เอเจนต์ LLM ลงมือกระทำการที่มีผลจริงผ่านเครื่องมือภายนอกมากขึ้น แต่การกระทำเหล่านั้นมักถูกดำเนินการโดยไม่มีการตรวจสอบอิสระว่าเป็นไปตามนโยบายหรืองานเสร็จจริง
- JevAct คอมไพล์นโยบายของโดเมนแบบออฟไลน์เป็นคำถาม กฎ การตรวจสถานะที่รันได้ และรายการตรวจสอบก่อนส่งต่องาน (hand-off checklist) เมื่อจำเป็น
- ขณะรัน โค้ดตรวจข้อเท็จจริงในบันทึกของเครื่องมือ ส่วน Kev ซึ่งเป็น decision model แบบเดียวกับ Jev ที่เปิดซอร์ส ตอบคำถามที่ขึ้นกับบทสนทนา
- เมื่อเทียบกับ ReAct harness บน τ²-bench (Airline, Telecom) และ BFCL ผลดีขึ้นสม่ำเสมอบน Telecom และความสำเร็จครบสามรอบของ BFCL และปนกันมากกว่าบน Airline
- ผู้เขียนเองวางกรอบอย่างระมัดระวัง: ข้อค้นพบบ่งชี้ว่า decision model แบบมีโครงสร้างที่ใช้ร่วมกับการตรวจสอบที่รันได้ สามารถเพิ่มความน่าเชื่อถือได้
ปัญหา: การดำเนินการตามมาทันทีหลังการเสนอ #
เอเจนต์ที่จองเที่ยวบิน ยกเลิกคำสั่งซื้อ หรือเปลี่ยนการตั้งค่าบัญชี กำลังทำสิ่งที่ย้อนกลับเงียบ ๆ ไม่ได้ ส่วนที่น่าอึดอัดคือมีสิ่งกั้นระหว่างข้อเสนอของโมเดลกับผลที่เกิดน้อยเพียงใด ลูปของเอเจนต์จำนวนมากดำเนินการเรียกใช้เครื่องมือที่ถูกเสนอทันทีที่โมเดลสร้างออกมา ไม่มีใครตรวจอย่างเป็นอิสระว่าการกระทำนั้นเป็นไปตามนโยบายของโดเมนหรือไม่ หรืองานที่เอเจนต์คิดว่าเสร็จแล้วเสร็จจริงหรือไม่
ช่องว่างนี้คือจุดตั้งต้นของ "Think Before You Act: Decision Gate for LLM Agents" งานวิจัยฉบับร่างบน arXiv ปี 2026 โดย Iftach Shoham, Yuval David และคณะที่ IBM ซึ่งเปิดตัว JevAct นี่ไม่ใช่ข้อสังเกตใหม่ แต่ควรพูดให้ชัดเพราะเครื่องมือด้านเอเจนต์จำนวนมากมุ่งทำให้ผู้เสนอเก่งขึ้น เอเจนต์แบบ ReAct สลับการให้เหตุผลกับการใช้เครื่องมือ และรูปแบบนี้กลายเป็นค่าฐานที่พบทั่วไป วิธีแบบสะท้อนคิดอย่าง Self-Refine และ Reflexion เพิ่มการวิจารณ์และคำติชมเพื่อปรับข้อเสนอหรือการลองครั้งถัดไป โดยไม่ปรับน้ำหนักของโมเดล แม้จะมีประโยชน์ วิธีเหล่านั้นโดยตัวมันเองไม่ได้ตรวจการกระทำหนึ่ง ๆ เทียบกับนโยบายของโดเมนก่อนดำเนินการทันที การตรวจที่ JevAct ให้ความสำคัญอยู่คนละจุดในลูป: หลังจากมีข้อเสนอแล้ว และก่อนที่มันจะถูกยืนยันผล
JevAct คืออะไร #
JevAct คือ harness ที่ตรวจข้อเสนอที่ถูกเลือกก่อนดำเนินการ มันถูกอธิบายว่าเป็นเฟรมเวิร์กการตรวจสอบขณะรันที่ดักการกระทำบางประเภทของเอเจนต์ และเปิดให้แก้ไขโดยอาศัยคำติชม มันทำงานเป็นอิสระจากโมเดลของเอเจนต์ และไม่ต้องแก้พารามิเตอร์หรือเครื่องมือของโมเดล ในการตั้งค่าที่ประเมิน LLM, พรอมต์ตั้งต้น และเครื่องมือของเอเจนต์คงเดิม
ในเชิงสถาปัตยกรรม JevAct เสริม harness ของเอเจนต์ ReAct ด้วยการแทรกขั้นตรวจแบบเลือกสรรระหว่างการเสนอข้อความกับการดำเนินการ คำว่า "เลือกสรร" สำคัญ เฟรมเวิร์กไม่ได้ตรวจทุกข้อความ แต่เล็งการกระทำบางประเภท งานวิจัยนิยามไว้สองประเภท การเรียกแบบเขียน (write call) เปลี่ยนสภาพแวดล้อม เช่น การจอง การยกเลิก หรือการเปลี่ยนการตั้งค่า การส่งต่องาน (hand-off) ยุติความพยายามของเอเจนต์ ไม่ว่าจะโดยโอนผู้ใช้ไปหามนุษย์ หรือบอกผู้ใช้ว่าทำอะไรต่อไม่ได้แล้ว การเขียนคือจุดที่การละเมิดนโยบายสร้างความเสียหาย การส่งต่องานคือจุดที่เอเจนต์อาจยอมแพ้เร็วเกินไป เป้าหมายที่ประกาศไว้ของเฟรมเวิร์ก คือการระบุการกระทำที่อาจไม่ถูกต้องและการยุติงานก่อนเวลา สอดคล้องกับสองประเภทนี้พอดี
เมื่อการตรวจไม่ผ่าน ข้อเสนอไม่ได้ถูกบล็อกเฉย ๆ การตรวจสามารถเลื่อนการดำเนินการออกไป และขอข้อเสนอฉบับแก้จาก LLM พร้อมคำติชมชั่วคราว ภายใต้งบประมาณการแก้ไขที่กำหนดตายตัว ข้อเสนอที่ผ่านจะดำเนินต่อ ข้อเสนอที่ถูกตั้งธงจะกลับไปหาเอเจนต์พร้อมคำติชมแบบเจาะจงและโอกาสแก้ไขที่จำกัด และการแบ่งหน้าที่ยังชัดเจน: เอเจนต์ยังเป็นผู้เสนอการกระทำ และ Kev ไม่ได้เป็นผู้เลือก
หลักฐานสองแบบ ด่านเดียว #
การออกแบบตั้งอยู่บนการแยกระหว่างสิ่งที่ตรวจได้แบบกำหนดผลแน่นอนกับสิ่งที่ตรวจแบบนั้นไม่ได้ JevAct ผสานการตรวจข้อเท็จจริงในสถานะเครื่องมือแบบกำหนดผลแน่นอน เข้ากับการประเมินบริบทของบทสนทนาเชิงความน่าจะเป็น ขณะรัน โค้ดตรวจข้อเท็จจริงที่มีในบันทึกของเครื่องมือ และ Kev ตอบคำถามที่ขึ้นกับบทสนทนา
การแยกแบบนี้สมเหตุสมผล เงื่อนไขนโยบายบางข้อเป็นข้อเท็จจริงที่อยู่ในบันทึกของเครื่องมือ และโปรแกรมอ่านได้โดยไม่ต้องพึ่งความเห็นของโมเดลใด เงื่อนไขอื่นอยู่ในสิ่งที่ผู้ใช้กับเอเจนต์พูดกัน ซึ่งการค้นฐานข้อมูลไม่มีทางตัดสินได้ การมอบแบบแรกให้โค้ดและแบบหลังให้โมเดล หมายความว่าโมเดลจะถูกถามเฉพาะสิ่งที่โค้ดตอบไม่ได้
ครึ่งที่ทำแบบออฟไลน์คือสิ่งที่ทำให้อธิบายได้ในทางปฏิบัติ คอมไพเลอร์แปลงนโยบายของโดเมนเป็นคำถาม กฎ การตรวจที่รันได้บนสถานะเครื่องมือ และรายการตรวจสอบก่อนส่งต่องานเมื่อจำเป็น กล่าวอีกแบบ JevAct คอมไพล์นโยบายของโดเมนเป็นการตรวจสถานะที่รันได้ และคำถามแบบมีโครงสร้างที่ประเมินโดย decision model แบบ prefill-only ผู้เขียนบอกว่าพวกเขาวางรากฐานให้เวิร์กโฟลว์ที่คอมไพล์นโยบายของโดเมนเป็นคำถาม กฎการตัดสินใจ การตรวจสถานะที่รันได้ และรายการตรวจสอบก่อนส่งต่องาน สำหรับด่านแบบ decision model นี่เป็นการพูดอย่างถ่อมตัว และผมรับตามนั้น: ข้ออ้างว่าด้วยรากฐานของเวิร์กโฟลว์ ไม่ใช่ผลิตภัณฑ์ที่เสร็จสมบูรณ์
ทำไมใช้ decision model แทน LLM ที่ทำหน้าที่ผู้ตัดสิน #
ทางเลือกที่เห็นชัดคือ LLM ผู้ตัดสินที่อ่านข้อเสนอแล้วเขียนคำตัดสิน ข้อคัดค้านของงานวิจัยเป็นเรื่องปฏิบัติ คำอธิบายแบบข้อความอิสระจากผู้ตัดสินแบบนั้นยังต้องถูกตีความก่อนที่ด่านจะทำอะไรได้ และการตัดสินใจนี้ด้วยโมเดลระดับแนวหน้ามีต้นทุนสูง ด่านต้องการคำตัดสิน ไม่ใช่เรียงความ
Decision model ถูกสร้างมาเพื่อสิ่งนี้ Jev เปิดตัว decision model ที่คืนค่าเป็นตัวเลือกแบบมีชนิด คะแนน และความน่าจะเป็น แทนข้อความที่ถูกสร้างขึ้น มันคืนตัวเลือกและความน่าจะเป็นสำหรับคำถามที่กำหนดตายตัว ทำให้การตรวจแบบใช้ค่าเกณฑ์ตรงไปตรงมา โมเดลที่ JevAct ใช้เป็นแบบ prefill-only และให้การตัดสินที่อิงความน่าจะเป็นโดยไม่พึ่งการสร้างข้อความของ LLM Kev คือ decision model แบบ Jev ที่เปิดซอร์ส วางไว้ในขั้นตรวจสอบแยกต่างหากก่อนที่การกระทำที่เลือกจะถูกยืนยันผล
มีข้อแม้ และผู้เขียนระบุเอง ความน่าจะเป็นของ decision model ไม่รับประกันว่าปรับเทียบแล้วหรือถูกต้อง คุณค่าของมันจึงต้องทดสอบในลูปของเอเจนต์ ไม่ใช่สันนิษฐานเอา ประโยคนั้นกำหนดกรอบของทั้งส่วนการทดลอง คำถามหลักคือ decision model ทำหน้าที่ผู้ตรวจสอบที่ใช้ค่าเกณฑ์ความน่าจะเป็น ควบคู่กับการตรวจสถานะเครื่องมือที่รันได้ ได้หรือไม่ เป็นคำถามที่ต้องตอบด้วยการทดลอง และรายละเอียดที่น่าสนใจอยู่ในการทดลองนั้น
งานที่เกี่ยวข้องกับ decision model ให้ภาพที่ปนกันว่าทำไมการทดสอบจึงสำคัญ Li และคณะรายงานผลที่แข่งขันได้ในด้านความชอบและความถูกต้องที่อิงหลักฐาน แต่ผลอ่อนลงเมื่อต้องมีการอนุมาน Rao และ Callison-Burch รายงานผลแบบรูบริกที่ปนกัน และข้อผิดพลาดที่ทับซ้อนกับ LLM ผู้ตัดสิน decision model ที่เก่งในงานตัดสินบางแบบและอ่อนในบางแบบ คือส่วนประกอบประเภทที่ควรจับคู่กับการตรวจแบบกำหนดผลแน่นอน มากกว่าจะไว้ใจมันลำพัง
การเปรียบเทียบทำอย่างไร #
JevAct ถูกเปรียบเทียบกับ ReAct harness ที่ใช้ LLM ของเอเจนต์ตัวเดียวกันในทั้งสองกลุ่ม งานครอบคลุม Airline และ Telecom ใน τ²-bench และงานเรียกฟังก์ชันหลายรอบใน BFCL การตรึง LLM ของเอเจนต์ไว้ในทั้งสองกลุ่มคือการควบคุมที่ถูกต้องสำหรับคำถามนี้: ความต่างใด ๆ มาจาก harness ไม่ใช่จากผู้เสนอที่เก่งหรืออ่อนกว่า
งานวิจัยรายงานผลด้วยค่า pass^3 จาก Table 2 พร้อมความสำเร็จอย่างน้อยหนึ่งครั้ง สองตัววัดนี้ดึงไปคนละทิศ และความต่างระหว่างกันกลับให้ข้อมูล ความสำเร็จครบสามรอบให้รางวัลเอเจนต์ที่ทำถูกทุกครั้ง ความสำเร็จอย่างน้อยหนึ่งครั้งให้รางวัลเอเจนต์ที่ทำถูกในการลองครั้งใดก็ได้ ผู้ตรวจสอบที่จับการกระทำที่ผิดได้ควรช่วยแบบแรกได้แน่นอนกว่าแบบหลัง และผลก็สอดคล้องกับการอ่านแบบนั้น แม้งานวิจัยจะบอกเพียงว่ารูปแบบบน BFCL สอดคล้องกับประสิทธิภาพที่ทำซ้ำได้มากขึ้นในบางงาน ผมจึงขอระบุส่วนที่เหลือว่าเป็นการตีความ ไม่ใช่ข้อค้นพบ
ตัวเลขแสดงอะไร #
บน Telecom เอเจนต์ทั้งแปดตัวดีขึ้นทั้งความสำเร็จอย่างน้อยหนึ่งครั้งและความสำเร็จครบสามรอบ นี่คือผลที่สะอาดที่สุดในงานวิจัย: ไม่มีข้อยกเว้นในเอเจนต์ที่ทดสอบ ทั้งสองตัววัด
บน BFCL เอเจนต์ทั้งเก้าตัวดีขึ้นในความสำเร็จครบสามรอบ แต่ผลแบบอย่างน้อยหนึ่งครั้งปนกัน อ่านให้ดี บน BFCL ตัววัดที่เข้มกว่าเพิ่มขึ้นสำหรับทุกเอเจนต์ที่ทดสอบ 0.1 ถึง 9.6 จุด ตัววัดที่ผ่อนกว่าดีขึ้นสำหรับเอเจนต์สี่ตัวและลดลงสำหรับห้าตัว ถ้าคุณสนใจให้เอเจนต์ทำงานถูกทุกครั้ง นี่คือทิศทางที่เป็นผลดี ถ้าคุณสนใจว่าการลองซ้ำอาจสำเร็จในที่สุดหรือไม่ ประโยชน์ตรงนี้ยังไม่ถูกพิสูจน์
Airline คือจุดอ่อน ผลบน Airline เล็กกว่าและต่างกันไปตามเอเจนต์ บทสรุปผลระบุว่ามีผลดีขึ้นอย่างสม่ำเสมอเป็นพิเศษบน Telecom และ BFCL ขณะที่ประสิทธิภาพบน Airline ปนกันมากกว่า ผู้ก่อตั้งที่อ่านเรื่องนี้ไม่ควรปัดเศษเป็น "ดีขึ้นทุกอย่าง" ผู้เขียนรายงานว่าความน่าเชื่อถือของเอเจนต์ดีขึ้นในหลายโมเดลและหลายชุดทดสอบ แต่บน Airline ผลดีขึ้นน้อยกว่าและปนกัน และพวกเขาบอกว่าข้อค้นพบไม่ได้พิสูจน์ว่าดีขึ้นเท่ากันทุกที่ งานวิจัยเตือนว่าด้วยงาน Airline 50 งาน งานเดียวขยับคะแนนได้ 2 จุดเปอร์เซ็นต์ ความต่างเล็กน้อยจึงควรอ่านอย่างระมัดระวัง นอกเหนือจากนั้น ผมจะไม่เดาว่าทำไม Airline จึงต่างออกไป
การอ่านภาพรวมถูกผู้เขียนเองใส่เงื่อนไขไว้: ข้อค้นพบบ่งชี้ว่าการผสาน decision model แบบมีโครงสร้างเข้ากับการตรวจสอบที่รันได้ สามารถเพิ่มความน่าเชื่อถือของเอเจนต์ LLM ที่ใช้เครื่องมือ "บ่งชี้" คือคำกริยาที่ถูกต้อง เป็นผลที่มีอนาคต ไม่ใช่ข้อพิสูจน์
การเปรียบเทียบแยกอะไรออกมาได้ และแยกอะไรไม่ได้ #
ข้อจำกัดหนึ่งควรได้รับน้ำหนักมากกว่าที่มักได้รับ เพราะ JevAct เพิ่มการตรวจที่คอมไพล์แล้วและโอกาสแก้ไข การเปรียบเทียบจึงประเมินทั้ง harness ไม่ใช่ตัวผู้ตัดสินโดดเดี่ยว นี่เป็นข้อแม้สำคัญสำหรับใครก็ตามที่หวังจะสรุปว่า decision model คือผู้แบกงานหนัก ผลดีขึ้นอาจมาจากความน่าจะเป็นของ Kev จากการตรวจสถานะที่รันได้ จากโอกาสแก้ไขที่เพิ่มขึ้น หรือจากการผสมกัน การเปรียบเทียบหลักไม่ได้แยกสิ่งเหล่านี้ออกจากกัน
ผมเห็นว่านี่ไม่ใช่ข้อบกพร่อง แต่เป็นคำอธิบายตรงไปตรงมาว่างานวิจัยเชิงระบบแสดงอะไรได้ คำถามที่ผู้เขียนตั้ง คือ decision model ทำหน้าที่ผู้ตรวจสอบที่ใช้ค่าเกณฑ์ความน่าจะเป็นควบคู่กับการตรวจสถานะเครื่องมือที่รันได้หรือไม่ ถูกตอบในระดับคู่ เพราะคำว่า "ควบคู่" อยู่ในคำถามเอง แต่ผู้อ่านที่กำลังตัดสินใจว่าจะลงแรงตรงไหนควรจำไว้ ถ้าคุณกำลังสร้างอะไรที่คล้ายกัน คุณอนุมานจากหลักฐานนี้ไม่ได้ว่า decision model ลำพังจะแบกผลที่ดีขึ้นได้ และอนุมานไม่ได้เช่นกันว่าการตรวจด้วยโค้ดลำพังจะทำได้
มันยังหมายความว่าข้อแม้เรื่องการปรับเทียบยังคงอยู่ ความน่าจะเป็นไม่รับประกันว่าปรับเทียบแล้วหรือถูกต้อง และผลในระดับ harness ไม่ได้ลบความไม่แน่นอนนั้น มันแสดงว่าการจัดวางทั้งหมดช่วยได้บนชุดทดสอบที่ทดลอง
ตำแหน่งท่ามกลางการออกแบบระบบป้องกันอื่น #
JevAct เข้าร่วมกลุ่มแนวทางการป้องกันการกระทำของเอเจนต์ที่แออัดอยู่แล้ว และความต่างให้บทเรียน GuardAgent ใช้เอเจนต์แยกต่างหากสร้างและรันโค้ดตรวจสอบจากข้อกำหนดการป้องกันที่ผู้ใช้กำหนด Zwerdling และคณะคอมไพล์นโยบายบริษัทเป็นด่านป้องกันที่รันได้ ซึ่งตรวจการปฏิบัติตามก่อนการกระทำผ่านเครื่องมือ AgentSpec แทนข้อจำกัดขณะรันด้วยตัวกระตุ้น เงื่อนไข และการกระทำเพื่อบังคับใช้ ShieldAgent สกัดกฎที่ตรวจสอบได้จากเอกสารนโยบาย
แนวทางอื่นพึ่งโมเดลในการตรวจสอบเอง ToolSafe ใช้รั้วกันชนที่เรียนรู้มาประเมินการเรียกใช้เครื่องมือที่ถูกเสนอและส่งคำติชมกลับ ขณะที่ PolicyGuard และ PolicyGuide ใช้ผู้ตรวจสอบแบบโมเดลสำหรับการยึดตามนโยบายและการชี้นำเวิร์กโฟลว์ CaMeL ใช้เส้นทางต่างออกไป โดยบังคับใช้ความปลอดภัยผ่านการแยกโฟลว์ควบคุมที่เชื่อถือได้ออกจากข้อมูลที่ไม่น่าเชื่อถือ
เมื่อเทียบกับฉากหลังนั้น ทางเลือกที่ทำให้ JevAct ต่างคือการจับคู่เฉพาะของมัน เหมือนสายงานที่คอมไพล์เป็นด่านป้องกันที่รันได้ มันแปลงนโยบายเป็นการตรวจบนสถานะเครื่องมือ เหมือนผู้ตรวจสอบแบบโมเดล มันใช้โมเดลกับการตัดสินที่โค้ดทำไม่ได้ สิ่งที่มันเพิ่มคือ decision model ที่คืนความน่าจะเป็นของตัวเลือกที่กำหนดตายตัว ใช้แบบออนไลน์ก่อนการกระทำที่เลือกจะถูกดำเนินการ พร้อมคำติชมเพื่อแก้ไข มันปล่อยการเสนอไว้กับ ReAct LLM และวาง Kev ไว้ในขั้นตรวจสอบแยกต่างหากก่อนที่การกระทำที่เลือกจะถูกยืนยันผล
ทำไมการออกแบบนี้ควรจับตา #
ผมเห็นว่าแนวคิดที่มีประโยชน์ที่สุดในที่นี้ไม่ใช่ตัว Kev แต่คือวินัยของการแยกหน้าที่ ถามโค้ดในสิ่งที่โค้ดตอบได้ ถามโมเดลเฉพาะสิ่งที่ขึ้นกับบทสนทนา แยกผู้เสนอกับผู้ตรวจสอบออกจากกัน เพื่อให้โมเดลที่ตรวจการกระทำไม่ใช่ตัวที่เสนอมันเอง และทำให้ผลของผู้ตรวจสอบเป็นความน่าจะเป็นเทียบกับค่าเกณฑ์ เพื่อให้ด่านเป็นการเปรียบเทียบ ไม่ใช่ข้อความที่ใครต้องมาแปลความ
การออกแบบนั้นยังทำให้จุดอ่อนมองเห็นได้ ถ้าการตรวจทำงานผิด คุณถามได้ว่าเป็นการตรวจสถานะหรือคำถามเชิงบทสนทนา ถ้าค่าเกณฑ์ผิด มันคือตัวเลขที่คุณตรวจดูได้ ข้อเตือนของงานวิจัยเองว่าความน่าจะเป็นต้องทดสอบในลูปคือสัญชาตญาณที่ถูก และเป็นท่าทีที่ดีกว่าการสันนิษฐานว่าผู้ตรวจสอบใช้ได้เพราะฟังดูสมเหตุสมผล
ผลที่ไม่สม่ำเสมอ หากจะว่าไป กลับทำให้มั่นใจในความซื่อตรงของการรายงาน เฟรมเวิร์กที่อ้างว่าดีขึ้นเท่ากันทุกที่ควรถูกสงสัยมากกว่าเฟรมเวิร์กที่แสดงแปดในแปดบน Telecom เก้าในเก้าบนความสำเร็จครบสามรอบของ BFCL ผลแบบอย่างน้อยหนึ่งครั้งที่ปนกันบน BFCL และผลที่ผันแปรบน Airline รูปแบบนี้ให้ผู้ปฏิบัติงานมีสิ่งที่วางแผนได้: หลักฐานที่แข็งที่สุดคือความน่าเชื่อถือข้ามการรันซ้ำ และที่อ่อนที่สุดอยู่ในโดเมนที่ผลต่างกันไปตามเอเจนต์
จะทำอะไรกับเรื่องนี้ #
สำหรับผู้อ่านสายเทคนิค ข้อสรุปเป็นเรื่องสถาปัตยกรรม LLM, พรอมต์ตั้งต้น และเครื่องมือของเอเจนต์คงเดิมใน JevAct ชั้นการตรวจสอบจึงเป็นสิ่งที่คุณเพิ่มรอบเอเจนต์ ไม่ใช่สิ่งที่ฝึกเข้าไปในตัวมัน สำหรับผู้ก่อตั้ง การอ่านเชิงปฏิบัติแคบกว่าพาดหัว งานวิจัยรายงานความน่าเชื่อถือที่ดีขึ้นในหลายโมเดลและหลายชุดทดสอบ โดย Airline ปนกันมากกว่า และการเปรียบเทียบประเมินทั้ง harness ไม่ใช่ตัวผู้ตัดสินโดดเดี่ยว การเปรียบเทียบหลักไม่ได้ชี้ว่าส่วนประกอบใดสร้างผลที่ดีขึ้น แม้การทดลองตัดส่วนประกอบ (ablation) บน Airline ในงานวิจัยจะบ่งชี้ว่าการตรวจสอบเชิงโปรแกรมมีส่วนมากในบริบทนั้น
คำถามที่ยังเปิดอยู่คือคำถามหลักของงานวิจัยเอง: decision model ทำหน้าที่ผู้ตรวจสอบที่ใช้ค่าเกณฑ์ความน่าจะเป็นควบคู่กับการตรวจสถานะเครื่องมือที่รันได้ได้หรือไม่ เมื่อ อย่างที่ผู้เขียนระบุ ความน่าจะเป็นของมันไม่รับประกันว่าปรับเทียบแล้วหรือถูกต้อง ผลบน Airline ที่ผลเล็กกว่าและต่างกันไปตามเอเจนต์ คือจุดที่ควรดูก่อน ความผันแปรนั้นมาจากการตรวจ ค่าเกณฑ์ หรือนโยบายที่ถูกคอมไพล์ ผลที่รายงานยังไม่ได้ตอบ และเป็นการทดลองที่ผมอยากเห็นที่สุดเป็นลำดับถัดไป
คำถามที่พบบ่อย #
JevAct คืออะไร JevAct คือเฟรมเวิร์กการตรวจสอบขณะรันจากนักวิจัยของ IBM ที่ดักการกระทำบางประเภทของเอเจนต์ ได้แก่การเรียกแบบเขียนและการส่งต่องาน ไว้ก่อนดำเนินการ ข้อเสนอที่ถูกตั้งธงจะกลับไปหาเอเจนต์พร้อมคำติชมแบบเจาะจงและโอกาสแก้ไขที่จำกัด LLM, พรอมต์ตั้งต้น และเครื่องมือของเอเจนต์คงเดิม
Kev ทำอะไรใน JevAct Kev คือ decision model แบบเดียวกับ Jev ที่เปิดซอร์ส ซึ่งตอบคำถามที่กำหนดตายตัวด้วยความน่าจะเป็นแทนข้อความที่ถูกสร้างขึ้น ใน JevAct มันตอบคำถามที่ขึ้นกับบทสนทนา ขณะที่โค้ดตรวจข้อเท็จจริงที่มีในบันทึกของเครื่องมือ Kev ไม่ได้เลือกการกระทำ เอเจนต์ยังเป็นผู้เสนอ
JevAct ถูกประเมินอย่างไร งานวิจัยเปรียบเทียบ JevAct กับ ReAct harness ที่ใช้ LLM ของเอเจนต์ตัวเดียวกันในทั้งสองกลุ่ม งานครอบคลุม Airline และ Telecom ใน τ²-bench และงานเรียกฟังก์ชันหลายรอบใน BFCL โดยรายงานความสำเร็จทั้งแบบอย่างน้อยหนึ่งครั้งจากสามรอบ และแบบสำเร็จครบทั้งสามรอบ
JevAct ทำให้ทุกเอเจนต์ดีขึ้นในทุกชุดทดสอบหรือไม่ ไม่ บน Telecom เอเจนต์ทั้งแปดตัวดีขึ้นทั้งสองตัววัด และบน BFCL ทั้งเก้าตัวดีขึ้นในความสำเร็จครบสามรอบ ขณะที่ผลแบบอย่างน้อยหนึ่งครั้งปนกัน ผลบน Airline เล็กกว่าและต่างกันไปตามเอเจนต์ และผู้เขียนบอกว่าข้อค้นพบไม่ได้พิสูจน์ว่าดีขึ้นเท่ากันทุกที่
งานวิจัยแสดงหรือไม่ว่า decision model ลำพังเป็นผู้สร้างผลที่ดีขึ้น ไม่ เพราะ JevAct เพิ่มการตรวจที่คอมไพล์แล้วและโอกาสแก้ไข การเปรียบเทียบหลักจึงประเมินทั้ง harness ไม่ใช่ตัวผู้ตัดสินโดดเดี่ยว ผู้เขียนยังระบุว่าความน่าจะเป็นของ decision model ไม่รับประกันว่าปรับเทียบแล้วหรือถูกต้อง
เอกสารอ้างอิง #
- Shoham, I., David, Y., Akrabi, O., Bilgory, E., Levy, I., Marreed, S., Zeltyn, S. and Shlomov, S., (2026). Think Before You Act: Decision Gate for LLM Agents ⧉. arXiv
- Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K. and Cao, Y., (2022). ReAct: Synergizing Reasoning and Acting in Language Models ⧉. arXiv
- Barres, V., Dong, H., Ray, S., Si, X. and Narasimhan, K., (2025). τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment ⧉. arXiv
- TypeSafe AI, (2026). Introducing System One Models and Jev ⧉. TypeSafe AI
- Palmer, J., (2026). KEV: Prefill-only Decision Models ⧉. GitHub
- Xiang, Z. et al., (2024). GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning ⧉. arXiv
- Chen, Z., Kang, M. and Li, B., (2025). ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning ⧉. arXiv
- Li, Y., Miao, Y., Krishnan, R. and Padman, R., (2026). Jev-as-a-Judge: Accept When Confident, Escalate When Unsure ⧉. arXiv
- Rao, D. and Callison-Burch, C., (2026). Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places ⧉. arXiv
ทบทวนล่าสุด .
เผยแพร่บทความนี้ซ้ำ
คัดลอกรูปแบบสำหรับ Medium
# ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/](https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/) JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/
คัดลอกรูปแบบสำหรับ Mastodon
ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/
คัดลอกที่จัดรูปแบบสำหรับ LinkedIn
ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline. นี่คือประเด็นเชิงกลยุทธ์ที่สำคัญ: - ปัญหา: การดำเนินการตามมาทันทีหลังการเสนอ. เอเจนต์ที่จองเที่ยวบิน ยกเลิกคำสั่งซื้อ หรือเปลี่ยนการตั้งค่าบัญชี กำลังทำสิ่งที่ย้อนกลับเงียบ ๆ ไม่ได้ ส่วนที่น่าอึดอัดคือมีสิ่งกั้นระหว่างข้อเสนอของโมเดลกับผลที่เกิดน้อยเพียงใด… - JevAct คืออะไร. JevAct คือ harness ที่ตรวจข้อเสนอที่ถูกเลือกก่อนดำเนินการ มันถูกอธิบายว่าเป็นเฟรมเวิร์กการตรวจสอบขณะรันที่ดักการกระทำบางประเภทของเอเจนต์ และเปิดให้แก้ไขโดยอาศัยคำติชม มันทำงานเป็นอิสระจากโมเดลของเอเจนต์… - หลักฐานสองแบบ ด่านเดียว. การออกแบบตั้งอยู่บนการแยกระหว่างสิ่งที่ตรวจได้แบบกำหนดผลแน่นอนกับสิ่งที่ตรวจแบบนั้นไม่ได้ JevAct ผสานการตรวจข้อเท็จจริงในสถานะเครื่องมือแบบกำหนดผลแน่นอน เข้ากับการประเมินบริบทของบทสนทนาเชิงความน่าจะเป็น ขณะรัน… - ทำไมใช้ decision model แทน LLM ที่ทำหน้าที่ผู้ตัดสิน. ทางเลือกที่เห็นชัดคือ LLM ผู้ตัดสินที่อ่านข้อเสนอแล้วเขียนคำตัดสิน ข้อคัดค้านของงานวิจัยเป็นเรื่องปฏิบัติ คำอธิบายแบบข้อความอิสระจากผู้ตัดสินแบบนั้นยังต้องถูกตีความก่อนที่ด่านจะทำอะไรได้… แนวทางขององค์กรของคุณในการรับมือกับความท้าทายที่ระบุไว้ในบทความนี้คืออะไร? → https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/ #เอเจนต์Llm #การตรวจสอบเอเจนต์ #การตรวจสอบขณะรัน #DecisionModel #เอเจนต์ที่ใช้เครื่องมือ Sebastien Rousseau | CC-BY-4.0
อ้างอิงบทความนี้
ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau
JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline
BibTeX
@online{rousseau2026ตรวจการกระทำของเอเจนต,
author = {Rousseau, Sebastien},
title = {{ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/ ER -
Vancouver
Rousseau S. ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/
Chicago
Rousseau, Sebastien. "ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/.
APA
Rousseau, S. (2026, November 18). ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/
เผยแพร่บทความนี้ซ้ำ
ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau
JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline
บทความนี้เผยแพร่ภายใต้สัญญาอนุญาต Creative Commons Attribution 4.0 International. การเผยแพร่ซ้ำต้องระบุที่มาเป็น URL ต้นฉบับ
ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline Originally published at https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/ by Sebastien Rousseau. Licensed under CC-BY-4.0.
