Sebastien Rousseau

เอเจนต์ LLM

ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct

ลูปของเอเจนต์ส่วนใหญ่รันการเรียกใช้เครื่องมือทันทีที่โมเดลเสนอ และผลของ JevAct ชี้ว่าจุดตรวจราคาถูกที่อิงความน่าจะเป็น วางไว้ก่อนการดำเนินการพอดี สามารถทำให้เอเจนต์ที่ใช้เครื่องมือน่าเชื่อถือขึ้นได้ แม้ผลที่ได้จะต่างกันมากในแต่ละชุดทดสอบ

4 นาทีในการอ่าน
Banner for: ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct

ลูปของเอเจนต์ส่วนใหญ่รันการเรียกใช้เครื่องมือทันทีที่โมเดลเสนอ และผลของ JevAct ชี้ว่าจุดตรวจราคาถูกที่อิงความน่าจะเป็น วางไว้ก่อนการดำเนินการพอดี สามารถทำให้เอเจนต์ที่ใช้เครื่องมือน่าเชื่อถือขึ้นได้ แม้ผลที่ได้จะต่างกันมากในแต่ละชุดทดสอบ

บทสรุปสำหรับผู้บริหาร

  • เอเจนต์ LLM ลงมือกระทำการที่มีผลจริงผ่านเครื่องมือภายนอกมากขึ้น แต่การกระทำเหล่านั้นมักถูกดำเนินการโดยไม่มีการตรวจสอบอิสระว่าเป็นไปตามนโยบายหรืองานเสร็จจริง
  • JevAct คอมไพล์นโยบายของโดเมนแบบออฟไลน์เป็นคำถาม กฎ การตรวจสถานะที่รันได้ และรายการตรวจสอบก่อนส่งต่องาน (hand-off checklist) เมื่อจำเป็น
  • ขณะรัน โค้ดตรวจข้อเท็จจริงในบันทึกของเครื่องมือ ส่วน Kev ซึ่งเป็น decision model แบบเดียวกับ Jev ที่เปิดซอร์ส ตอบคำถามที่ขึ้นกับบทสนทนา
  • เมื่อเทียบกับ ReAct harness บน τ²-bench (Airline, Telecom) และ BFCL ผลดีขึ้นสม่ำเสมอบน Telecom และความสำเร็จครบสามรอบของ BFCL และปนกันมากกว่าบน Airline
  • ผู้เขียนเองวางกรอบอย่างระมัดระวัง: ข้อค้นพบบ่งชี้ว่า decision model แบบมีโครงสร้างที่ใช้ร่วมกับการตรวจสอบที่รันได้ สามารถเพิ่มความน่าเชื่อถือได้

ปัญหา: การดำเนินการตามมาทันทีหลังการเสนอ #

เอเจนต์ที่จองเที่ยวบิน ยกเลิกคำสั่งซื้อ หรือเปลี่ยนการตั้งค่าบัญชี กำลังทำสิ่งที่ย้อนกลับเงียบ ๆ ไม่ได้ ส่วนที่น่าอึดอัดคือมีสิ่งกั้นระหว่างข้อเสนอของโมเดลกับผลที่เกิดน้อยเพียงใด ลูปของเอเจนต์จำนวนมากดำเนินการเรียกใช้เครื่องมือที่ถูกเสนอทันทีที่โมเดลสร้างออกมา ไม่มีใครตรวจอย่างเป็นอิสระว่าการกระทำนั้นเป็นไปตามนโยบายของโดเมนหรือไม่ หรืองานที่เอเจนต์คิดว่าเสร็จแล้วเสร็จจริงหรือไม่

ช่องว่างนี้คือจุดตั้งต้นของ "Think Before You Act: Decision Gate for LLM Agents" งานวิจัยฉบับร่างบน arXiv ปี 2026 โดย Iftach Shoham, Yuval David และคณะที่ IBM ซึ่งเปิดตัว JevAct นี่ไม่ใช่ข้อสังเกตใหม่ แต่ควรพูดให้ชัดเพราะเครื่องมือด้านเอเจนต์จำนวนมากมุ่งทำให้ผู้เสนอเก่งขึ้น เอเจนต์แบบ ReAct สลับการให้เหตุผลกับการใช้เครื่องมือ และรูปแบบนี้กลายเป็นค่าฐานที่พบทั่วไป วิธีแบบสะท้อนคิดอย่าง Self-Refine และ Reflexion เพิ่มการวิจารณ์และคำติชมเพื่อปรับข้อเสนอหรือการลองครั้งถัดไป โดยไม่ปรับน้ำหนักของโมเดล แม้จะมีประโยชน์ วิธีเหล่านั้นโดยตัวมันเองไม่ได้ตรวจการกระทำหนึ่ง ๆ เทียบกับนโยบายของโดเมนก่อนดำเนินการทันที การตรวจที่ JevAct ให้ความสำคัญอยู่คนละจุดในลูป: หลังจากมีข้อเสนอแล้ว และก่อนที่มันจะถูกยืนยันผล

JevAct คืออะไร #

JevAct คือ harness ที่ตรวจข้อเสนอที่ถูกเลือกก่อนดำเนินการ มันถูกอธิบายว่าเป็นเฟรมเวิร์กการตรวจสอบขณะรันที่ดักการกระทำบางประเภทของเอเจนต์ และเปิดให้แก้ไขโดยอาศัยคำติชม มันทำงานเป็นอิสระจากโมเดลของเอเจนต์ และไม่ต้องแก้พารามิเตอร์หรือเครื่องมือของโมเดล ในการตั้งค่าที่ประเมิน LLM, พรอมต์ตั้งต้น และเครื่องมือของเอเจนต์คงเดิม

ในเชิงสถาปัตยกรรม JevAct เสริม harness ของเอเจนต์ ReAct ด้วยการแทรกขั้นตรวจแบบเลือกสรรระหว่างการเสนอข้อความกับการดำเนินการ คำว่า "เลือกสรร" สำคัญ เฟรมเวิร์กไม่ได้ตรวจทุกข้อความ แต่เล็งการกระทำบางประเภท งานวิจัยนิยามไว้สองประเภท การเรียกแบบเขียน (write call) เปลี่ยนสภาพแวดล้อม เช่น การจอง การยกเลิก หรือการเปลี่ยนการตั้งค่า การส่งต่องาน (hand-off) ยุติความพยายามของเอเจนต์ ไม่ว่าจะโดยโอนผู้ใช้ไปหามนุษย์ หรือบอกผู้ใช้ว่าทำอะไรต่อไม่ได้แล้ว การเขียนคือจุดที่การละเมิดนโยบายสร้างความเสียหาย การส่งต่องานคือจุดที่เอเจนต์อาจยอมแพ้เร็วเกินไป เป้าหมายที่ประกาศไว้ของเฟรมเวิร์ก คือการระบุการกระทำที่อาจไม่ถูกต้องและการยุติงานก่อนเวลา สอดคล้องกับสองประเภทนี้พอดี

เมื่อการตรวจไม่ผ่าน ข้อเสนอไม่ได้ถูกบล็อกเฉย ๆ การตรวจสามารถเลื่อนการดำเนินการออกไป และขอข้อเสนอฉบับแก้จาก LLM พร้อมคำติชมชั่วคราว ภายใต้งบประมาณการแก้ไขที่กำหนดตายตัว ข้อเสนอที่ผ่านจะดำเนินต่อ ข้อเสนอที่ถูกตั้งธงจะกลับไปหาเอเจนต์พร้อมคำติชมแบบเจาะจงและโอกาสแก้ไขที่จำกัด และการแบ่งหน้าที่ยังชัดเจน: เอเจนต์ยังเป็นผู้เสนอการกระทำ และ Kev ไม่ได้เป็นผู้เลือก

หลักฐานสองแบบ ด่านเดียว #

การออกแบบตั้งอยู่บนการแยกระหว่างสิ่งที่ตรวจได้แบบกำหนดผลแน่นอนกับสิ่งที่ตรวจแบบนั้นไม่ได้ JevAct ผสานการตรวจข้อเท็จจริงในสถานะเครื่องมือแบบกำหนดผลแน่นอน เข้ากับการประเมินบริบทของบทสนทนาเชิงความน่าจะเป็น ขณะรัน โค้ดตรวจข้อเท็จจริงที่มีในบันทึกของเครื่องมือ และ Kev ตอบคำถามที่ขึ้นกับบทสนทนา

การแยกแบบนี้สมเหตุสมผล เงื่อนไขนโยบายบางข้อเป็นข้อเท็จจริงที่อยู่ในบันทึกของเครื่องมือ และโปรแกรมอ่านได้โดยไม่ต้องพึ่งความเห็นของโมเดลใด เงื่อนไขอื่นอยู่ในสิ่งที่ผู้ใช้กับเอเจนต์พูดกัน ซึ่งการค้นฐานข้อมูลไม่มีทางตัดสินได้ การมอบแบบแรกให้โค้ดและแบบหลังให้โมเดล หมายความว่าโมเดลจะถูกถามเฉพาะสิ่งที่โค้ดตอบไม่ได้

ครึ่งที่ทำแบบออฟไลน์คือสิ่งที่ทำให้อธิบายได้ในทางปฏิบัติ คอมไพเลอร์แปลงนโยบายของโดเมนเป็นคำถาม กฎ การตรวจที่รันได้บนสถานะเครื่องมือ และรายการตรวจสอบก่อนส่งต่องานเมื่อจำเป็น กล่าวอีกแบบ JevAct คอมไพล์นโยบายของโดเมนเป็นการตรวจสถานะที่รันได้ และคำถามแบบมีโครงสร้างที่ประเมินโดย decision model แบบ prefill-only ผู้เขียนบอกว่าพวกเขาวางรากฐานให้เวิร์กโฟลว์ที่คอมไพล์นโยบายของโดเมนเป็นคำถาม กฎการตัดสินใจ การตรวจสถานะที่รันได้ และรายการตรวจสอบก่อนส่งต่องาน สำหรับด่านแบบ decision model นี่เป็นการพูดอย่างถ่อมตัว และผมรับตามนั้น: ข้ออ้างว่าด้วยรากฐานของเวิร์กโฟลว์ ไม่ใช่ผลิตภัณฑ์ที่เสร็จสมบูรณ์

ทำไมใช้ decision model แทน LLM ที่ทำหน้าที่ผู้ตัดสิน #

ทางเลือกที่เห็นชัดคือ LLM ผู้ตัดสินที่อ่านข้อเสนอแล้วเขียนคำตัดสิน ข้อคัดค้านของงานวิจัยเป็นเรื่องปฏิบัติ คำอธิบายแบบข้อความอิสระจากผู้ตัดสินแบบนั้นยังต้องถูกตีความก่อนที่ด่านจะทำอะไรได้ และการตัดสินใจนี้ด้วยโมเดลระดับแนวหน้ามีต้นทุนสูง ด่านต้องการคำตัดสิน ไม่ใช่เรียงความ

Decision model ถูกสร้างมาเพื่อสิ่งนี้ Jev เปิดตัว decision model ที่คืนค่าเป็นตัวเลือกแบบมีชนิด คะแนน และความน่าจะเป็น แทนข้อความที่ถูกสร้างขึ้น มันคืนตัวเลือกและความน่าจะเป็นสำหรับคำถามที่กำหนดตายตัว ทำให้การตรวจแบบใช้ค่าเกณฑ์ตรงไปตรงมา โมเดลที่ JevAct ใช้เป็นแบบ prefill-only และให้การตัดสินที่อิงความน่าจะเป็นโดยไม่พึ่งการสร้างข้อความของ LLM Kev คือ decision model แบบ Jev ที่เปิดซอร์ส วางไว้ในขั้นตรวจสอบแยกต่างหากก่อนที่การกระทำที่เลือกจะถูกยืนยันผล

มีข้อแม้ และผู้เขียนระบุเอง ความน่าจะเป็นของ decision model ไม่รับประกันว่าปรับเทียบแล้วหรือถูกต้อง คุณค่าของมันจึงต้องทดสอบในลูปของเอเจนต์ ไม่ใช่สันนิษฐานเอา ประโยคนั้นกำหนดกรอบของทั้งส่วนการทดลอง คำถามหลักคือ decision model ทำหน้าที่ผู้ตรวจสอบที่ใช้ค่าเกณฑ์ความน่าจะเป็น ควบคู่กับการตรวจสถานะเครื่องมือที่รันได้ ได้หรือไม่ เป็นคำถามที่ต้องตอบด้วยการทดลอง และรายละเอียดที่น่าสนใจอยู่ในการทดลองนั้น

งานที่เกี่ยวข้องกับ decision model ให้ภาพที่ปนกันว่าทำไมการทดสอบจึงสำคัญ Li และคณะรายงานผลที่แข่งขันได้ในด้านความชอบและความถูกต้องที่อิงหลักฐาน แต่ผลอ่อนลงเมื่อต้องมีการอนุมาน Rao และ Callison-Burch รายงานผลแบบรูบริกที่ปนกัน และข้อผิดพลาดที่ทับซ้อนกับ LLM ผู้ตัดสิน decision model ที่เก่งในงานตัดสินบางแบบและอ่อนในบางแบบ คือส่วนประกอบประเภทที่ควรจับคู่กับการตรวจแบบกำหนดผลแน่นอน มากกว่าจะไว้ใจมันลำพัง

การเปรียบเทียบทำอย่างไร #

JevAct ถูกเปรียบเทียบกับ ReAct harness ที่ใช้ LLM ของเอเจนต์ตัวเดียวกันในทั้งสองกลุ่ม งานครอบคลุม Airline และ Telecom ใน τ²-bench และงานเรียกฟังก์ชันหลายรอบใน BFCL การตรึง LLM ของเอเจนต์ไว้ในทั้งสองกลุ่มคือการควบคุมที่ถูกต้องสำหรับคำถามนี้: ความต่างใด ๆ มาจาก harness ไม่ใช่จากผู้เสนอที่เก่งหรืออ่อนกว่า

งานวิจัยรายงานผลด้วยค่า pass^3 จาก Table 2 พร้อมความสำเร็จอย่างน้อยหนึ่งครั้ง สองตัววัดนี้ดึงไปคนละทิศ และความต่างระหว่างกันกลับให้ข้อมูล ความสำเร็จครบสามรอบให้รางวัลเอเจนต์ที่ทำถูกทุกครั้ง ความสำเร็จอย่างน้อยหนึ่งครั้งให้รางวัลเอเจนต์ที่ทำถูกในการลองครั้งใดก็ได้ ผู้ตรวจสอบที่จับการกระทำที่ผิดได้ควรช่วยแบบแรกได้แน่นอนกว่าแบบหลัง และผลก็สอดคล้องกับการอ่านแบบนั้น แม้งานวิจัยจะบอกเพียงว่ารูปแบบบน BFCL สอดคล้องกับประสิทธิภาพที่ทำซ้ำได้มากขึ้นในบางงาน ผมจึงขอระบุส่วนที่เหลือว่าเป็นการตีความ ไม่ใช่ข้อค้นพบ

ตัวเลขแสดงอะไร #

บน Telecom เอเจนต์ทั้งแปดตัวดีขึ้นทั้งความสำเร็จอย่างน้อยหนึ่งครั้งและความสำเร็จครบสามรอบ นี่คือผลที่สะอาดที่สุดในงานวิจัย: ไม่มีข้อยกเว้นในเอเจนต์ที่ทดสอบ ทั้งสองตัววัด

บน BFCL เอเจนต์ทั้งเก้าตัวดีขึ้นในความสำเร็จครบสามรอบ แต่ผลแบบอย่างน้อยหนึ่งครั้งปนกัน อ่านให้ดี บน BFCL ตัววัดที่เข้มกว่าเพิ่มขึ้นสำหรับทุกเอเจนต์ที่ทดสอบ 0.1 ถึง 9.6 จุด ตัววัดที่ผ่อนกว่าดีขึ้นสำหรับเอเจนต์สี่ตัวและลดลงสำหรับห้าตัว ถ้าคุณสนใจให้เอเจนต์ทำงานถูกทุกครั้ง นี่คือทิศทางที่เป็นผลดี ถ้าคุณสนใจว่าการลองซ้ำอาจสำเร็จในที่สุดหรือไม่ ประโยชน์ตรงนี้ยังไม่ถูกพิสูจน์

Airline คือจุดอ่อน ผลบน Airline เล็กกว่าและต่างกันไปตามเอเจนต์ บทสรุปผลระบุว่ามีผลดีขึ้นอย่างสม่ำเสมอเป็นพิเศษบน Telecom และ BFCL ขณะที่ประสิทธิภาพบน Airline ปนกันมากกว่า ผู้ก่อตั้งที่อ่านเรื่องนี้ไม่ควรปัดเศษเป็น "ดีขึ้นทุกอย่าง" ผู้เขียนรายงานว่าความน่าเชื่อถือของเอเจนต์ดีขึ้นในหลายโมเดลและหลายชุดทดสอบ แต่บน Airline ผลดีขึ้นน้อยกว่าและปนกัน และพวกเขาบอกว่าข้อค้นพบไม่ได้พิสูจน์ว่าดีขึ้นเท่ากันทุกที่ งานวิจัยเตือนว่าด้วยงาน Airline 50 งาน งานเดียวขยับคะแนนได้ 2 จุดเปอร์เซ็นต์ ความต่างเล็กน้อยจึงควรอ่านอย่างระมัดระวัง นอกเหนือจากนั้น ผมจะไม่เดาว่าทำไม Airline จึงต่างออกไป

การอ่านภาพรวมถูกผู้เขียนเองใส่เงื่อนไขไว้: ข้อค้นพบบ่งชี้ว่าการผสาน decision model แบบมีโครงสร้างเข้ากับการตรวจสอบที่รันได้ สามารถเพิ่มความน่าเชื่อถือของเอเจนต์ LLM ที่ใช้เครื่องมือ "บ่งชี้" คือคำกริยาที่ถูกต้อง เป็นผลที่มีอนาคต ไม่ใช่ข้อพิสูจน์

การเปรียบเทียบแยกอะไรออกมาได้ และแยกอะไรไม่ได้ #

ข้อจำกัดหนึ่งควรได้รับน้ำหนักมากกว่าที่มักได้รับ เพราะ JevAct เพิ่มการตรวจที่คอมไพล์แล้วและโอกาสแก้ไข การเปรียบเทียบจึงประเมินทั้ง harness ไม่ใช่ตัวผู้ตัดสินโดดเดี่ยว นี่เป็นข้อแม้สำคัญสำหรับใครก็ตามที่หวังจะสรุปว่า decision model คือผู้แบกงานหนัก ผลดีขึ้นอาจมาจากความน่าจะเป็นของ Kev จากการตรวจสถานะที่รันได้ จากโอกาสแก้ไขที่เพิ่มขึ้น หรือจากการผสมกัน การเปรียบเทียบหลักไม่ได้แยกสิ่งเหล่านี้ออกจากกัน

ผมเห็นว่านี่ไม่ใช่ข้อบกพร่อง แต่เป็นคำอธิบายตรงไปตรงมาว่างานวิจัยเชิงระบบแสดงอะไรได้ คำถามที่ผู้เขียนตั้ง คือ decision model ทำหน้าที่ผู้ตรวจสอบที่ใช้ค่าเกณฑ์ความน่าจะเป็นควบคู่กับการตรวจสถานะเครื่องมือที่รันได้หรือไม่ ถูกตอบในระดับคู่ เพราะคำว่า "ควบคู่" อยู่ในคำถามเอง แต่ผู้อ่านที่กำลังตัดสินใจว่าจะลงแรงตรงไหนควรจำไว้ ถ้าคุณกำลังสร้างอะไรที่คล้ายกัน คุณอนุมานจากหลักฐานนี้ไม่ได้ว่า decision model ลำพังจะแบกผลที่ดีขึ้นได้ และอนุมานไม่ได้เช่นกันว่าการตรวจด้วยโค้ดลำพังจะทำได้

มันยังหมายความว่าข้อแม้เรื่องการปรับเทียบยังคงอยู่ ความน่าจะเป็นไม่รับประกันว่าปรับเทียบแล้วหรือถูกต้อง และผลในระดับ harness ไม่ได้ลบความไม่แน่นอนนั้น มันแสดงว่าการจัดวางทั้งหมดช่วยได้บนชุดทดสอบที่ทดลอง

ตำแหน่งท่ามกลางการออกแบบระบบป้องกันอื่น #

JevAct เข้าร่วมกลุ่มแนวทางการป้องกันการกระทำของเอเจนต์ที่แออัดอยู่แล้ว และความต่างให้บทเรียน GuardAgent ใช้เอเจนต์แยกต่างหากสร้างและรันโค้ดตรวจสอบจากข้อกำหนดการป้องกันที่ผู้ใช้กำหนด Zwerdling และคณะคอมไพล์นโยบายบริษัทเป็นด่านป้องกันที่รันได้ ซึ่งตรวจการปฏิบัติตามก่อนการกระทำผ่านเครื่องมือ AgentSpec แทนข้อจำกัดขณะรันด้วยตัวกระตุ้น เงื่อนไข และการกระทำเพื่อบังคับใช้ ShieldAgent สกัดกฎที่ตรวจสอบได้จากเอกสารนโยบาย

แนวทางอื่นพึ่งโมเดลในการตรวจสอบเอง ToolSafe ใช้รั้วกันชนที่เรียนรู้มาประเมินการเรียกใช้เครื่องมือที่ถูกเสนอและส่งคำติชมกลับ ขณะที่ PolicyGuard และ PolicyGuide ใช้ผู้ตรวจสอบแบบโมเดลสำหรับการยึดตามนโยบายและการชี้นำเวิร์กโฟลว์ CaMeL ใช้เส้นทางต่างออกไป โดยบังคับใช้ความปลอดภัยผ่านการแยกโฟลว์ควบคุมที่เชื่อถือได้ออกจากข้อมูลที่ไม่น่าเชื่อถือ

เมื่อเทียบกับฉากหลังนั้น ทางเลือกที่ทำให้ JevAct ต่างคือการจับคู่เฉพาะของมัน เหมือนสายงานที่คอมไพล์เป็นด่านป้องกันที่รันได้ มันแปลงนโยบายเป็นการตรวจบนสถานะเครื่องมือ เหมือนผู้ตรวจสอบแบบโมเดล มันใช้โมเดลกับการตัดสินที่โค้ดทำไม่ได้ สิ่งที่มันเพิ่มคือ decision model ที่คืนความน่าจะเป็นของตัวเลือกที่กำหนดตายตัว ใช้แบบออนไลน์ก่อนการกระทำที่เลือกจะถูกดำเนินการ พร้อมคำติชมเพื่อแก้ไข มันปล่อยการเสนอไว้กับ ReAct LLM และวาง Kev ไว้ในขั้นตรวจสอบแยกต่างหากก่อนที่การกระทำที่เลือกจะถูกยืนยันผล

ทำไมการออกแบบนี้ควรจับตา #

ผมเห็นว่าแนวคิดที่มีประโยชน์ที่สุดในที่นี้ไม่ใช่ตัว Kev แต่คือวินัยของการแยกหน้าที่ ถามโค้ดในสิ่งที่โค้ดตอบได้ ถามโมเดลเฉพาะสิ่งที่ขึ้นกับบทสนทนา แยกผู้เสนอกับผู้ตรวจสอบออกจากกัน เพื่อให้โมเดลที่ตรวจการกระทำไม่ใช่ตัวที่เสนอมันเอง และทำให้ผลของผู้ตรวจสอบเป็นความน่าจะเป็นเทียบกับค่าเกณฑ์ เพื่อให้ด่านเป็นการเปรียบเทียบ ไม่ใช่ข้อความที่ใครต้องมาแปลความ

การออกแบบนั้นยังทำให้จุดอ่อนมองเห็นได้ ถ้าการตรวจทำงานผิด คุณถามได้ว่าเป็นการตรวจสถานะหรือคำถามเชิงบทสนทนา ถ้าค่าเกณฑ์ผิด มันคือตัวเลขที่คุณตรวจดูได้ ข้อเตือนของงานวิจัยเองว่าความน่าจะเป็นต้องทดสอบในลูปคือสัญชาตญาณที่ถูก และเป็นท่าทีที่ดีกว่าการสันนิษฐานว่าผู้ตรวจสอบใช้ได้เพราะฟังดูสมเหตุสมผล

ผลที่ไม่สม่ำเสมอ หากจะว่าไป กลับทำให้มั่นใจในความซื่อตรงของการรายงาน เฟรมเวิร์กที่อ้างว่าดีขึ้นเท่ากันทุกที่ควรถูกสงสัยมากกว่าเฟรมเวิร์กที่แสดงแปดในแปดบน Telecom เก้าในเก้าบนความสำเร็จครบสามรอบของ BFCL ผลแบบอย่างน้อยหนึ่งครั้งที่ปนกันบน BFCL และผลที่ผันแปรบน Airline รูปแบบนี้ให้ผู้ปฏิบัติงานมีสิ่งที่วางแผนได้: หลักฐานที่แข็งที่สุดคือความน่าเชื่อถือข้ามการรันซ้ำ และที่อ่อนที่สุดอยู่ในโดเมนที่ผลต่างกันไปตามเอเจนต์

จะทำอะไรกับเรื่องนี้ #

สำหรับผู้อ่านสายเทคนิค ข้อสรุปเป็นเรื่องสถาปัตยกรรม LLM, พรอมต์ตั้งต้น และเครื่องมือของเอเจนต์คงเดิมใน JevAct ชั้นการตรวจสอบจึงเป็นสิ่งที่คุณเพิ่มรอบเอเจนต์ ไม่ใช่สิ่งที่ฝึกเข้าไปในตัวมัน สำหรับผู้ก่อตั้ง การอ่านเชิงปฏิบัติแคบกว่าพาดหัว งานวิจัยรายงานความน่าเชื่อถือที่ดีขึ้นในหลายโมเดลและหลายชุดทดสอบ โดย Airline ปนกันมากกว่า และการเปรียบเทียบประเมินทั้ง harness ไม่ใช่ตัวผู้ตัดสินโดดเดี่ยว การเปรียบเทียบหลักไม่ได้ชี้ว่าส่วนประกอบใดสร้างผลที่ดีขึ้น แม้การทดลองตัดส่วนประกอบ (ablation) บน Airline ในงานวิจัยจะบ่งชี้ว่าการตรวจสอบเชิงโปรแกรมมีส่วนมากในบริบทนั้น

คำถามที่ยังเปิดอยู่คือคำถามหลักของงานวิจัยเอง: decision model ทำหน้าที่ผู้ตรวจสอบที่ใช้ค่าเกณฑ์ความน่าจะเป็นควบคู่กับการตรวจสถานะเครื่องมือที่รันได้ได้หรือไม่ เมื่อ อย่างที่ผู้เขียนระบุ ความน่าจะเป็นของมันไม่รับประกันว่าปรับเทียบแล้วหรือถูกต้อง ผลบน Airline ที่ผลเล็กกว่าและต่างกันไปตามเอเจนต์ คือจุดที่ควรดูก่อน ความผันแปรนั้นมาจากการตรวจ ค่าเกณฑ์ หรือนโยบายที่ถูกคอมไพล์ ผลที่รายงานยังไม่ได้ตอบ และเป็นการทดลองที่ผมอยากเห็นที่สุดเป็นลำดับถัดไป

คำถามที่พบบ่อย #

JevAct คืออะไร JevAct คือเฟรมเวิร์กการตรวจสอบขณะรันจากนักวิจัยของ IBM ที่ดักการกระทำบางประเภทของเอเจนต์ ได้แก่การเรียกแบบเขียนและการส่งต่องาน ไว้ก่อนดำเนินการ ข้อเสนอที่ถูกตั้งธงจะกลับไปหาเอเจนต์พร้อมคำติชมแบบเจาะจงและโอกาสแก้ไขที่จำกัด LLM, พรอมต์ตั้งต้น และเครื่องมือของเอเจนต์คงเดิม

Kev ทำอะไรใน JevAct Kev คือ decision model แบบเดียวกับ Jev ที่เปิดซอร์ส ซึ่งตอบคำถามที่กำหนดตายตัวด้วยความน่าจะเป็นแทนข้อความที่ถูกสร้างขึ้น ใน JevAct มันตอบคำถามที่ขึ้นกับบทสนทนา ขณะที่โค้ดตรวจข้อเท็จจริงที่มีในบันทึกของเครื่องมือ Kev ไม่ได้เลือกการกระทำ เอเจนต์ยังเป็นผู้เสนอ

JevAct ถูกประเมินอย่างไร งานวิจัยเปรียบเทียบ JevAct กับ ReAct harness ที่ใช้ LLM ของเอเจนต์ตัวเดียวกันในทั้งสองกลุ่ม งานครอบคลุม Airline และ Telecom ใน τ²-bench และงานเรียกฟังก์ชันหลายรอบใน BFCL โดยรายงานความสำเร็จทั้งแบบอย่างน้อยหนึ่งครั้งจากสามรอบ และแบบสำเร็จครบทั้งสามรอบ

JevAct ทำให้ทุกเอเจนต์ดีขึ้นในทุกชุดทดสอบหรือไม่ ไม่ บน Telecom เอเจนต์ทั้งแปดตัวดีขึ้นทั้งสองตัววัด และบน BFCL ทั้งเก้าตัวดีขึ้นในความสำเร็จครบสามรอบ ขณะที่ผลแบบอย่างน้อยหนึ่งครั้งปนกัน ผลบน Airline เล็กกว่าและต่างกันไปตามเอเจนต์ และผู้เขียนบอกว่าข้อค้นพบไม่ได้พิสูจน์ว่าดีขึ้นเท่ากันทุกที่

งานวิจัยแสดงหรือไม่ว่า decision model ลำพังเป็นผู้สร้างผลที่ดีขึ้น ไม่ เพราะ JevAct เพิ่มการตรวจที่คอมไพล์แล้วและโอกาสแก้ไข การเปรียบเทียบหลักจึงประเมินทั้ง harness ไม่ใช่ตัวผู้ตัดสินโดดเดี่ยว ผู้เขียนยังระบุว่าความน่าจะเป็นของ decision model ไม่รับประกันว่าปรับเทียบแล้วหรือถูกต้อง

เอกสารอ้างอิง #

ทบทวนล่าสุด .

เผยแพร่บทความนี้ซ้ำ

คัดลอกรูปแบบสำหรับ Medium

# ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/](https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/)

JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/

คัดลอกรูปแบบสำหรับ Mastodon

ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau

JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline

https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/

คัดลอกที่จัดรูปแบบสำหรับ LinkedIn

ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau

JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline.

นี่คือประเด็นเชิงกลยุทธ์ที่สำคัญ:

- ปัญหา: การดำเนินการตามมาทันทีหลังการเสนอ. เอเจนต์ที่จองเที่ยวบิน ยกเลิกคำสั่งซื้อ หรือเปลี่ยนการตั้งค่าบัญชี กำลังทำสิ่งที่ย้อนกลับเงียบ ๆ ไม่ได้ ส่วนที่น่าอึดอัดคือมีสิ่งกั้นระหว่างข้อเสนอของโมเดลกับผลที่เกิดน้อยเพียงใด…
- JevAct คืออะไร. JevAct คือ harness ที่ตรวจข้อเสนอที่ถูกเลือกก่อนดำเนินการ มันถูกอธิบายว่าเป็นเฟรมเวิร์กการตรวจสอบขณะรันที่ดักการกระทำบางประเภทของเอเจนต์ และเปิดให้แก้ไขโดยอาศัยคำติชม มันทำงานเป็นอิสระจากโมเดลของเอเจนต์…
- หลักฐานสองแบบ ด่านเดียว. การออกแบบตั้งอยู่บนการแยกระหว่างสิ่งที่ตรวจได้แบบกำหนดผลแน่นอนกับสิ่งที่ตรวจแบบนั้นไม่ได้ JevAct ผสานการตรวจข้อเท็จจริงในสถานะเครื่องมือแบบกำหนดผลแน่นอน เข้ากับการประเมินบริบทของบทสนทนาเชิงความน่าจะเป็น ขณะรัน…
- ทำไมใช้ decision model แทน LLM ที่ทำหน้าที่ผู้ตัดสิน. ทางเลือกที่เห็นชัดคือ LLM ผู้ตัดสินที่อ่านข้อเสนอแล้วเขียนคำตัดสิน ข้อคัดค้านของงานวิจัยเป็นเรื่องปฏิบัติ คำอธิบายแบบข้อความอิสระจากผู้ตัดสินแบบนั้นยังต้องถูกตีความก่อนที่ด่านจะทำอะไรได้…

แนวทางขององค์กรของคุณในการรับมือกับความท้าทายที่ระบุไว้ในบทความนี้คืออะไร?

→ https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/

#เอเจนต์Llm #การตรวจสอบเอเจนต์ #การตรวจสอบขณะรัน #DecisionModel #เอเจนต์ที่ใช้เครื่องมือ

Sebastien Rousseau | CC-BY-4.0
อ้างอิงบทความนี้

ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau

JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline

BibTeX

@online{rousseau2026ตรวจการกระทำของเอเจนต,
  author  = {Rousseau, Sebastien},
  title   = {{ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/
ER  -

Vancouver

Rousseau S. ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/

Chicago

Rousseau, Sebastien. "ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/.

APA

Rousseau, S. (2026, November 18). ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/

เผยแพร่บทความนี้ซ้ำ

ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau

JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline

บทความนี้เผยแพร่ภายใต้สัญญาอนุญาต Creative Commons Attribution 4.0 International. การเผยแพร่ซ้ำต้องระบุที่มาเป็น URL ต้นฉบับ

ตรวจการกระทำของเอเจนต์ก่อนลงมือ: ด่านตัดสินใจของ JevAct — Sebastien Rousseau

JevAct ตรวจการกระทำบางประเภทของเอเจนต์ LLM ก่อนดำเนินการ เทียบกับ ReAct ที่ใช้โมเดลเดียวกัน ผลดีขึ้นสม่ำเสมอบน Telecom และ BFCL แต่ปนกันบน Airline

Originally published at https://sebastienrousseau.com/th/2026-11-18-trwchkarkratham-khong-oechntkonlngmueo-dantadsinchaikhong-jevact/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.