ตัวตรวจจับความล้มเหลวด้าน alignment ที่ตอบคำถามแบบมีชนิดได้หลายข้อในการเรียกครั้งเดียวพร้อมความน่าจะเป็นที่ปรับเทียบแล้ว จัดอันดับความล้มเหลวได้ดี และมีต้นทุนต่ำกว่าผู้ให้คะแนนแบบ LLM-judge ถึง 63× แต่ความน่าจะเป็นเหล่านั้นใช้เป็นค่าเกณฑ์ข้ามเบนช์มาร์กไม่ได้ และป้ายกำกับกับข้อมูลอ้างอิงของมันสำคัญกว่าถ้อยคำของคำถามมาก
โครงสร้างต้นทุนของการเฝ้าดูทุกข้อความ #
โมเดลที่ใช้งานจริงยังคงคล้อยตามความเชื่อที่ผิดของผู้ใช้ (Sharma et al., 2024) ประโยคนี้ดูเรียบง่าย แต่มันวางกรอบของปัญหาทั้งหมด หากการประจบสอพลอแบบนี้ยังคงอยู่ในระบบที่ใช้งานจริง ก็ต้องมีใครสักคนคอยเฝ้าดู และการเฝ้าดูนั้นต้องเกิดขึ้นในจังหวะเดียวกับบทสนทนา
ตรงนี้เองที่เศรษฐศาสตร์เริ่มกัด ตัวตรวจจับต้องแม่นยำ และเพราะมันทำงานกับทุกข้อความ จึงต้องถูกด้วย คุณสมบัติข้อใดข้อหนึ่งเพียงลำพังนั้นหาได้ไม่ยาก ตัวตรวจจับแบบลวก ๆ นั้นถูก ส่วนตัวตรวจจับที่รอบคอบแต่แพงเกินกว่าจะรันกับทุกข้อความก็เฝ้าดูได้เพียงตัวอย่างหนึ่งของทราฟฟิก คำถามเชิงวิศวกรรมที่น่าสนใจคือ ตัวตรวจจับรูปแบบใดจะเป็นได้ทั้งสองอย่าง
ตามงานวิจัยเบื้องหลังบทความนี้ คำตอบในปัจจุบันมีจุดบกพร่องเชิงโครงสร้าง ตัวตรวจจับความล้มเหลวด้าน alignment ส่วนใหญ่เป็น judge เชิงสร้างสรรค์ที่ใช้การถอดรหัส (decoding pass) หนึ่งรอบต่อเกณฑ์หนึ่งข้อ พูดง่าย ๆ คือ ตัวตรวจจับในปัจจุบันจ่ายค่าการถอดรหัสหนึ่งรอบสำหรับทุกเกณฑ์ที่ตรวจ มอนิเตอร์ที่ต้องการตรวจความล้มเหลวสิบประเภทก็กำลังจ่ายสำหรับสิบรอบ และค่าใช้จ่ายเพิ่มขึ้นเชิงเส้นตามจำนวนสิ่งที่คุณใส่ใจ
มีทางแก้บางส่วนอยู่ และควรพูดถึงขีดจำกัดของมันให้ตรง ตัวจำแนกที่อ่านความน่าจะเป็นของโทเคน เช่น Llama Guard ยังคงให้คะแนนป้ายกำกับที่ตายตัวหนึ่งป้ายต่อการเรียกหนึ่งครั้ง การอ่านความน่าจะเป็นของโทเคนให้คะแนนได้ แต่การเรียกแต่ละครั้งยังคงให้คะแนนป้ายกำกับหรือเกณฑ์เพียงข้อเดียว เพราะความน่าจะเป็นถูกอ่านจากโทเคนคำตัดสินเพียงตัวเดียว การถอดรหัสหายไปแล้ว แต่โครงสร้างหนึ่งคำถามต่อหนึ่งการเรียกยังอยู่ คุณทำให้การเรียกแต่ละครั้งถูกลงโดยไม่ได้เปลี่ยนจำนวนการเรียกที่ต้องใช้
ข้อกล่าวอ้างเชิงโครงสร้างจึงเป็นดังนี้ judge เชิงสร้างสรรค์มีราคาแพงต่อเกณฑ์ ส่วนตัวจำแนกที่อ่านความน่าจะเป็นถูกกว่าต่อเกณฑ์แต่ยังผูกอยู่กับเกณฑ์ละหนึ่งข้อ ไม่มีแบบใดให้คุณถามคำถามหลายข้อเกี่ยวกับอินพุตเดียวกันได้พร้อมกัน
| มิติของสถาปัตยกรรม | LLM judge เชิงสร้างสรรค์ (เช่น GPT-4 ในบท judge) | ตัวจำแนกแบบโทเคนเดียว (เช่น Llama Guard) | ตัวตรวจจับ RLCD แบบหลายคำถาม (Jev) |
|---|---|---|---|
| กลไกการให้คะแนน | การถอดรหัสแบบ autoregressive เต็มรอบต่อเกณฑ์ | ความน่าจะเป็น softmax บนโทเคนเอาต์พุตตัวเดียว | เทนเซอร์ความน่าจะเป็นที่ปรับเทียบแล้วแบบหลายหัว $P(\text{yes})$ |
| จำนวนคำถามต่อการเรียก | พรอมต์ประเมิน 1 รายการต่อการเรียกโมเดลหนึ่งครั้ง | ป้ายกำกับการจำแนก 1 ป้ายต่อการเรียกโมเดลหนึ่งครั้ง | คำถามแบบทวิภาค/หมวดหมู่/ลำดับหลายข้อใน 1 การเรียก |
| ต้นทุนการอนุมาน | สูง ($10–$50 ต่อ 1,000 ปฏิสัมพันธ์) | ปานกลาง ($0.50–$2.00 ต่อ 1,000 ปฏิสัมพันธ์) | ต่ำกว่า 63× ($0.30 บน 19 เบนช์มาร์กเต็มชุด) |
| ประสิทธิภาพ AUROC | ขึ้นกับเบนช์มาร์ก เสี่ยงต่อ judge drift | สูงในหมวดความปลอดภัยเฉพาะที่ฝึกมา | ค่ามัธยฐาน AUROC 0.886 แบบ zero-shot บน 44 ชุด |
| คุณภาพการปรับเทียบ | คำอธิบายเชิงฮิวริสติกที่ไม่มีความน่าจะเป็นแบบเป็นทางการ | logit หยาบ ๆ ที่ไม่มีการปรับเทียบภายหลัง | ความน่าจะเป็นที่ปรับเทียบแล้ว ค่ามัธยฐาน ECE 0.168 (ต้องใช้รายการที่มีป้ายกำกับราว 10 รายการ) |
Jev ทำอะไรต่างออกไป #
Jev ฝึกด้วยการเรียนรู้แบบเสริมกำลังเพื่อการตัดสินใจที่ปรับเทียบแล้ว (RLCD) มันตอบคำถามแบบมีชนิดหลายข้อเกี่ยวกับอินพุตหนึ่งรายการพร้อมความน่าจะเป็นที่ปรับเทียบแล้วในการเรียกครั้งเดียว กลไกนี้ควรอธิบายอย่างระมัดระวัง เพราะเนื้อหาที่เหลือของบทความขึ้นอยู่กับมัน
โมเดล RLCD ส่งคืนการตัดสินใจพร้อมความน่าจะเป็นที่ปรับเทียบแล้วสำหรับคำถามแบบมีชนิดแต่ละข้อแทนการสร้างข้อความ ไม่มีขั้นตอนการสร้างที่เขียนคำตัดสินออกมาแล้วค่อยแยกวิเคราะห์ Jev ตอบคำถามแบบทวิภาค แบบหมวดหมู่ และแบบลำดับหลายข้อเกี่ยวกับอินพุตหนึ่งรายการ ซึ่งงานวิจัยเรียกว่าสถานะ (state) ในการเรียกครั้งเดียว สถานะคืออินพุต คำถามคือสิ่งที่คุณถามเกี่ยวกับมัน
นี่คือเส้นโค้งต้นทุนที่ต่างจากทั้งสองแนวทางข้างต้น หากคำถามใช้การเรียกร่วมกัน การเพิ่มคำถามอีกข้อก็ไม่ได้เพิ่มการถอดรหัสอีกรอบ ประโยชน์สำหรับมอนิเตอร์ที่ใส่ใจความล้มเหลวหลายประเภทพร้อมกันนั้นชัดเจน แม้ว่าการวัดผลของงานวิจัยจะเกี่ยวกับสิ่งที่คำถามทั่วไปข้อเดียวทำได้ และผมจะยึดตามสิ่งที่วัดได้จริง
แต่ก็ยังมีช่องว่างอยู่ ยังไม่เคยมีการวัดว่า Jev ตรวจจับความล้มเหลวด้าน alignment ได้หรือไม่ โมเดลที่ตอบคำถามแบบมีชนิดพร้อมความน่าจะเป็นที่ปรับเทียบแล้วดูเหมาะกับงานนี้ และการดูเหมาะนั้นได้มาง่าย งานวิจัยตั้งใจจะเติมการวัดผลที่ขาดไปนี้
ทำไมความล้มเหลวด้าน alignment จึงยากกว่าที่เห็น #
ก่อนการวัดผล มีเรื่องซับซ้อนอยู่ข้อหนึ่ง ความล้มเหลวเหล่านี้หลายอย่างเป็นเชิงสัมพันธ์ คือถูกนิยามเทียบกับข้อมูลอ้างอิงที่คำตอบเพียงลำพังไม่ได้เผยออกมา การประจบสอพลอเป็นตัวอย่างที่ดีของแนวคิดทั่วไปนี้ คำตอบหนึ่งคล้อยตามความเชื่อที่ผิดของผู้ใช้หรือไม่ ขึ้นกับว่าความเชื่อนั้นคืออะไรและผิดจริงหรือไม่ และข้อเท็จจริงทั้งสองข้อไม่ปรากฏในข้อความของคำตอบเพียงลำพัง
เรื่องนี้ส่งผลต่อการออกแบบตัวตรวจจับ ซึ่งงานวิจัยกล่าวไว้อย่างระมัดระวังตามสมควร ตัวตรวจจับที่เห็นเพียงคำตอบอาจไม่มีข้อมูลอ้างอิงที่นิยามความล้มเหลวนั้น คำว่า “อาจ” มีความสำคัญ ข้อกล่าวอ้างไม่ได้บอกว่าความล้มเหลวทุกอย่างต้องมีข้อมูลอ้างอิง เพียงแต่บางอย่างต้องมี และมุมมองที่เห็นแค่คำตอบอาจพลาดมันไป
เรื่องนี้ยังทำให้การวินิจฉัยซับซ้อนขึ้นด้วย หากความล้มเหลวเป็นเชิงสัมพันธ์ การตรวจจับที่แย่อาจมาจากคำถาม หรือจากสถานะที่ขาดข้อมูลอ้างอิงก็ได้ มีสองสิ่งที่อาจผิด และคะแนนต่ำไม่ได้บอกว่าสิ่งไหน บางทีถ้อยคำของคำถามอาจแย่ บางทีคำถามอาจดีอยู่แล้ว แต่อินพุตไม่เคยมีสิ่งที่จำเป็นต่อการตอบเลย เบนช์มาร์กที่อยากพูดอะไรที่มีประโยชน์เกี่ยวกับตัวตรวจจับ ต้องถูกสร้างให้แยกสองสาเหตุนี้ออกจากกันได้
ฝั่งผู้พัฒนาเองระบุว่าความหมายโดยอ้อมและเนื้อหาเชิงปฏิปักษ์ (adversarial) เป็นจุดอ่อนที่ทราบกันของ Jev ควรจำเรื่องนี้ไว้เมื่ออ่านผลลัพธ์ในภายหลัง เพราะความล้มเหลวบางประเภทอาศัยคุณสมบัติเหล่านี้โดยตรง
มองการตรวจจับเป็นการจำแนกประเภท #
การตั้งปัญหาอย่างเป็นทางการของงานวิจัยนั้นตรงไปตรงมา งานวิจัยมองการตรวจจับความล้มเหลวด้าน alignment เป็นการจำแนกแบบทวิภาคบนปฏิสัมพันธ์ของโมเดลเป้าหมาย ตัวตรวจจับให้คะแนน s(x) ∈ [0, 1] และติดธง x เมื่อ s(x) ≥ t หมายความว่ามันต้องทั้งจัดอันดับความล้มเหลวให้อยู่เหนือสิ่งที่ไม่ใช่ความล้มเหลว และแยกพวกมันออกจากกันที่ค่าเกณฑ์ t
หน้าที่ทั้งสองนี้แยกจากกันได้ และผลลัพธ์ของงานวิจัยก็แบ่งออกตามรอยต่อนี้พอดี การจัดอันดับคือสิ่งที่ AUROC วัด การแยกที่ค่าเกณฑ์ขึ้นกับการปรับเทียบ และบทความจะกลับมาที่เรื่องนี้ เพราะตรงนั้นคือจุดที่ Jev ทำได้ไม่ถึง ตัวตรวจจับอาจจัดอันดับได้ยอดเยี่ยมแต่ยังใช้งานไม่ได้ที่ t=0.5 หากความน่าจะเป็นของมันไปอยู่ผิดที่
RLCDAlignBench #
เบนช์มาร์กนี้ชื่อ RLCDAlignBench ครอบคลุมความล้มเหลวสิบประเภทบน 44 เบนช์มาร์กและ 7,193 กรณีการตรวจจับ กรณีเหล่านี้มาจากโมเดลเป้าหมายแบบเปิดขนาด 2–7B ห้าตัว แต่ละกรณีมีป้ายกำกับจากผู้ให้คะแนนอ้างอิงของเบนช์มาร์กนั้น ดังนั้นปฏิสัมพันธ์ที่ถูกตัดสินมาจากโมเดลเปิดขนาดเล็ก และความจริงพื้นฐานของแต่ละกรณีก็คือสิ่งที่ผู้ให้คะแนนของเบนช์มาร์กต้นทางบอก
ไม่ใช่ทุกเบนช์มาร์กที่มีป้ายกำกับแบบเดียวกัน ป้ายกำกับจากมนุษย์บน StrongREJECT และ HarmBench และป้ายกำกับจาก judge คนที่สองบน AbstentionBench และ InstrumentalEval ถูกใช้เพื่อเปรียบเทียบ Jev กับ judge ทำให้งานวิจัยมีการตรวจสอบจากภายนอกสองแบบต่อผู้ให้คะแนนอ้างอิง ในบางกรณีเป็นมนุษย์ ในกรณีอื่นเป็น judge คนที่สอง
ชิ้นงานที่เผยแพร่ถูกอธิบายว่าประกอบด้วย 44 เบนช์มาร์กในความล้มเหลวสิบประเภทพร้อมรูปแบบบริบท คำตอบของ Jev ที่แคชไว้ และสคริปต์ให้คะแนนใหม่ รวมถึงโปรโตคอลแบ่งครึ่ง (split-half) ที่ขจัดการพองตัวจากการคัดเลือกออกจากผลได้ที่รายงาน แต่ละองค์ประกอบตอบความต้องการเชิงปฏิบัติ รูปแบบบริบทช่วยให้ผู้อ่านถามได้ว่าจะเกิดอะไรขึ้นเมื่อสถานะมีข้อมูลมากขึ้น คำตอบที่แคชไว้และสคริปต์ให้คะแนนใหม่ช่วยให้ใครก็ทำซ้ำตัวเลขได้โดยไม่ต้องรันโมเดลอีกครั้ง โปรโตคอลแบ่งครึ่งรับมือกับกับดักเชิงระเบียบวิธี ซึ่งสมควรมีหัวข้อของตัวเอง
กับดักของการคัดเลือก #
Jev ถูกถามได้หลายคำถามเกี่ยวกับอินพุตเดียวกัน นั่นคือจุดขายของมัน และก็เป็นความเสี่ยงต่อการประเมินผลด้วย หากคุณตั้งชุดคำถามผู้สมัครแล้วรายงานข้อที่ได้คะแนนดีที่สุด คุณได้ค้นหาบนคำถามแล้วรายงานผู้ชนะ งานวิจัยกล่าวไว้ตรง ๆ ว่า การรายงานข้อที่ดีที่สุดจะเกินจริงกว่าสิ่งที่ผู้ปฏิบัติงานได้รับจริง
ใครที่เคยจูนพรอมต์กับชุดทดสอบจะจำสิ่งนี้ได้ วิธีแก้ที่ใช้ในที่นี้เรียบง่าย คำถามถูกคัดเลือกบนครึ่งหนึ่งของรายการและให้คะแนนบนอีกครึ่งหนึ่ง คำถามแบบเจาะจงถูกคัดเลือกบนครึ่งหนึ่งของรายการและให้คะแนนบนอีกครึ่งหนึ่ง โดยทำซ้ำ 20 การแบ่ง การคัดเลือกไม่เคยแตะรายการที่ใช้สร้างตัวเลขที่รายงาน
เรื่องนี้สำคัญต่อการอ่านผลได้ทุกตัวที่รายงานด้านล่าง ข้อกล่าวอ้างของงานวิจัยคือโปรโตคอลแบ่งครึ่งขจัดการพองตัวจากการคัดเลือกออกจากผลได้ที่รายงาน เมื่องานวิจัยบอกว่าถ้อยคำแบบเจาะจงให้ผลได้มัธยฐาน +0.006 AUROC ตัวเลขนั้นมาจากถ้อยคำที่คัดเลือกและให้คะแนนบนคนละครึ่ง ตัวเลขเล็กขนาดนั้นที่วัดอย่างซื่อตรง มีประโยชน์กว่าตัวเลขใหญ่ที่แอบรวมคำสาปของผู้ชนะเข้าไปด้วย
ผลลัพธ์หลัก: คำถามทั่วไปข้อเดียว #
ทีนี้มาถึงผลลัพธ์ที่ผู้อ่านส่วนใหญ่อยากรู้ คำถามทั่วไปข้อเดียวได้ค่ามัธยฐาน AUROC 0.886 แบบ zero-shot และเอาชนะ baseline แบบมีผู้สอนได้ในเบนช์มาร์กส่วนใหญ่
ลองแยกคำทีละคำ “คำถามทั่วไปข้อเดียว” หมายถึงไม่มีการออกแบบพรอมต์เฉพาะสำหรับแต่ละเบนช์มาร์ก “zero-shot” หมายถึงไม่มีการฝึกบนเบนช์มาร์กเป้าหมาย “เอาชนะ baseline แบบมีผู้สอนในเบนช์มาร์กส่วนใหญ่” หมายความว่าระบบที่ฝึกด้วยข้อมูลที่มีป้ายกำกับจากงานนั้น แพ้คำถามที่ไม่มีใครจูนในเบนช์มาร์กส่วนใหญ่ที่ตรวจสอบ ข้อกล่าวอ้างหยุดที่คำว่า “ส่วนใหญ่” และบทความนี้ก็จะหยุดตรงนั้นเช่นกัน
คำถามทั่วไปคือคำถามแม่แบบที่อ่านเป็น P(yes) ตัวเลขดังกล่าวรายงาน AUROC ของเบนช์มาร์กที่ใช้ได้ 38 ชุด และคำถามทั่วไปไม่ได้ถูกถามใน 7 เบนช์มาร์ก ดังนั้นตัวเลขหลักจึงเป็นค่ามัธยฐานบนเบนช์มาร์กที่ใช้คำถามทั่วไปได้ ซึ่งดึงมาจาก 38 ชุดที่ใช้ได้ ผู้อ่านที่รอบคอบควรแยกตัวหารให้ชัด มีเบนช์มาร์กทั้งหมด 44 ชุด ใช้ได้กับตัวเลขนี้ 38 ชุด และคำถามทั่วไปขาดไป 7 ชุด
ผมเห็นว่าผลแบบ zero-shot คือครึ่งที่น่าสนใจกว่าของประโยคนี้ การชนะ baseline แบบมีผู้สอนเป็นข้อความเกี่ยวกับสถานะเชิงเปรียบเทียบ ค่ามัธยฐาน AUROC 0.886 โดยไม่มีการฝึกเฉพาะงาน บอกอะไรบางอย่างว่าสัญญาณความล้มเหลวมีให้โมเดลที่อ่านสถานะแล้วตอบคำถามธรรมดา ๆ มากเพียงใด ส่วนผลนี้จะใช้ได้กับความล้มเหลวประเภทอื่นนอกเหนือจากสิบประเภทนี้หรือไม่ ข้อกล่าวอ้างไม่ได้พูดถึง
ถ้อยคำแทบไม่มีความหมาย #
หากคุณเคยใช้เวลากับ prompt engineering ผลลัพธ์ถัดไปจะเจ็บ ถ้อยคำของคำถามมีผลน้อย ขณะที่บริบทมีผลมากกว่า ส่วนใหญ่ผ่านฟิลด์ที่เข้ารหัสป้ายกำกับไว้
คำอธิบายของงานวิจัยว่าทำไมนั้นเจาะจง เมื่อเก็บคำตอบไว้เป็นความน่าจะเป็นแทนการตัดสินแบบ argmax ถ้อยคำของคำถามก็มีผลน้อย และสิ่งที่อยู่ในสถานะกับป้ายกำกับมีผลมาก นี่คือข้อสังเกตเกี่ยวกับข้อมูล การตัดสินแบบ argmax ทิ้งส่วนต่างที่คำตอบหนึ่งชนะอีกคำตอบหนึ่งไป และการเปลี่ยนถ้อยคำอาจพลิกการตัดสินข้ามเส้นแบ่งได้ ความน่าจะเป็นเก็บส่วนต่างนั้นไว้ การเรียบเรียงใหม่ที่ขยับหลักฐานเพียงเล็กน้อยจึงขยับความน่าจะเป็นเพียงเล็กน้อย และคงการจัดอันดับไว้เกือบทั้งหมด
ผมจะยึดเรื่องนี้ไว้แค่สิ่งที่งานวิจัยกล่าว คือเมื่อเก็บความน่าจะเป็นไว้ ถ้อยคำมีผลน้อย ผมจะไม่ขยายไปถึงคำอธิบายเชิงกลไกว่าทำไม เพราะข้อกล่าวอ้างไม่ได้ให้ไว้
ตัวเลขสนับสนุนข้อความนี้ ถ้อยคำแบบเจาะจงให้ผลได้มัธยฐาน +0.006 AUROC โดยถ้อยคำถูกคัดเลือกและให้คะแนนบนคนละครึ่ง นอกกลุ่มตัวอย่าง ถ้อยคำแบบเจาะจงเพิ่ม AUROC +0.006 [−0.004, +0.015] ช่วงนี้คร่อมศูนย์ ผู้อ่านไม่ควรถือว่า +0.006 เป็นการปรับปรุงที่เชื่อถือได้ ช่วงนี้เปิดทางให้ขาดทุนเล็กน้อยได้พอ ๆ กับได้กำไรเล็กน้อย สำหรับผู้ปฏิบัติงาน การอ่านที่มีประโยชน์คือ การไล่หาถ้อยคำที่ฉลาดกว่าเดิมไม่น่าจะคุ้มค่าแรง อย่างน้อยบนเบนช์มาร์กเหล่านี้
เรื่องนี้ควรเปลี่ยนวิธีที่ทีมจัดสรรเวลา หากถ้อยคำแทบไม่มีผล ชั่วโมงที่ใช้ไปกับมันก็ควรเอาไปใช้กับสถานะดีกว่า
ผลได้อยู่ที่บริบท #
แล้วสถานะมีอะไรอยู่ และควรมีอะไร ข้อค้นพบของงานวิจัยคือบริบทมีผลมากกว่า ส่วนใหญ่ผ่านฟิลด์ที่เข้ารหัสป้ายกำกับ แนวคิดหลักเบื้องหลังการออกแบบการศึกษาคือการปรับสิ่งที่ถาม Jev แยกจากสิ่งที่ Jev เห็น ด้านหนึ่งคือถ้อยคำของคำถามและชนิดของคำตอบ อีกด้านคือฟิลด์ของอินพุต การแยกนี้เองที่ทำให้งานวิจัยบอกได้ว่าถ้อยคำมีผลน้อยขณะที่บริบทมีผลมากกว่า หากไม่แยก ผลทั้งสองก็จะพันกันจนแยกไม่ออก
ตัวอย่างหลักคือ PrivacyLens ข้อมูลอ้างอิงที่นิยามป้ายกำกับให้ผลได้ก้อนใหญ่ เช่น รายการสิ่งที่เป็นความลับของ PrivacyLens (0.79→0.95) การขยับจาก 0.79 เป็น 0.95 AUROC นั้นใหญ่มากเมื่อเทียบกับ +0.006 จากถ้อยคำ ข้อมูลอ้างอิงในกรณีนี้คือรายการสิ่งที่เป็นความลับ ซึ่งเป็นสิ่งที่การอภิปรายเรื่องความล้มเหลวเชิงสัมพันธ์ก่อนหน้าคาดไว้พอดีว่าจะสำคัญ คำตอบหนึ่งรั่วไหลสิ่งที่เป็นส่วนตัวหรือไม่ ขึ้นกับว่าอะไรนับเป็นส่วนตัว และคำตอบเพียงลำพังไม่ได้บอก
มีข้อควรระวังเรื่องการใช้งานจริง และเป็นข้อที่สำคัญ บริบทที่มอนิเตอร์ในการใช้งานจริงจะมี ช่วยได้ใน 1 จาก 7 เบนช์มาร์ก ผลได้ก้อนใหญ่มาจากข้อมูลอ้างอิงที่นิยามป้ายกำกับ แต่มอนิเตอร์ที่ใช้งานจริงไม่จำเป็นต้องมีสิ่งเหล่านั้น สิ่งที่มอนิเตอร์จะมีอยู่จริงช่วยได้เพียงหนึ่งในเจ็ดเบนช์มาร์ก
นี่คือข้อค้นพบที่ไม่หวือหวา และผมคิดว่าเป็นประโยคที่เกี่ยวข้องเชิงพาณิชย์มากที่สุดในงานวิจัย มันแยกตัวเลขในห้องทดลองออกจากตัวเลขในสนามจริง ตัวตรวจจับที่ถูกประเมินโดยมีข้อมูลอ้างอิงที่นิยามป้ายกำกับอยู่ในมือ กำลังตอบคำถามที่ง่ายกว่าคำถามที่มอนิเตอร์ในการใช้งานจริงต้องเผชิญ ผลได้นั้นมีจริง แต่งานวิจัยบอกชัดว่าการใช้งานจริงพึ่งพาข้อใดได้บ้าง
งานวิจัยยังชี้ข้อจำกัดของเบนช์มาร์กหนึ่งด้วย บน Open-Prompt-Injection ป้ายกำกับติดตามความแม่นยำของงานที่ถูกแทรกเข้ามา นี่คือตัวอย่างของป้ายกำกับที่ความหมายผูกอยู่กับคุณสมบัติของงาน ซึ่งส่งผลต่อสิ่งที่คาดหวังได้ว่าตัวตรวจจับจะเห็นจากสถานะ ผมจะไม่สรุปอะไรต่อจากนี้ เพราะข้อกล่าวอ้างไม่ได้ให้ไว้
ต้นทุน #
ทีนี้มาถึงตัวเลขที่ทำให้เศรษฐศาสตร์จับต้องได้ Jev มีต้นทุนต่ำกว่าผู้ให้คะแนนแบบ LLM-judge 63× การเปรียบเทียบที่เจาะจงคือ การรันหนึ่งรอบบน 19 เบนช์มาร์กที่ให้คะแนนโดย judge มีต้นทุน $0.30 ต่ำกว่า judge ของเบนช์มาร์กเหล่านั้นตามราคาประกาศ 63× การเปรียบเทียบต้นทุนครอบคลุมการรันหนึ่งรอบบน 19 เบนช์มาร์กที่ใช้ API judge ตามราคาประกาศ
ระวังเรื่องขอบเขต การเปรียบเทียบนี้เป็นของ 19 เบนช์มาร์กที่ใช้ API judge ตามราคาประกาศ สำหรับการรันรอบเดียว ไม่ครอบคลุมทุกเบนช์มาร์กในชุด และไม่ครอบคลุมราคาที่มีส่วนลด ภายในขอบเขตนี้อัตราส่วนสูงมาก และเป็นผลจากสถาปัตยกรรมที่อธิบายไว้ก่อนหน้า คือไม่มีการถอดรหัสต่อเกณฑ์
นึกถึงข้อกำหนดตอนต้น ว่าตัวตรวจจับที่รันกับทุกข้อความต้องถูก ตัวเลข $0.30 สำหรับการรันเต็มรอบบน 19 เบนช์มาร์ก คือหน้าตาของคำว่า “ถูก” ในงานวิจัยนี้ งานวิจัยไม่ได้แปลงเป็นราคาต่อข้อความ และผมก็จะไม่แปลงเช่นกัน
ความเห็นตรงกับมนุษย์ และสิ่งที่ความเห็นต่างเผยออกมา #
ความถูกจะน่าสนใจก็ต่อเมื่อตัวตรวจจับถูกต้องด้วย ในที่ที่ป้ายกำกับจากมนุษย์เปิดให้ตรวจสอบได้ Jev เห็นตรงกับป้ายกำกับเหล่านั้นได้ดีพอ ๆ กับ judge ในต้นทุนเพียงเศษเสี้ยว
หลักฐานที่เจาะจงที่สุดมาจาก StrongREJECT เมื่อเทียบกับป้ายกำกับจากมนุษย์ที่นั่น คำถามทั่วไปเห็นตรงได้ดีพอ ๆ กับผู้ให้คะแนนอ้างอิง (Cohen's κ 0.809 ต่อ 0.811) และจัดอันดับได้ดีกว่า ค่า κ ทั้งสองต่างกัน 0.002 การอ่านที่สมเหตุสมผลคือเสมอกันในด้านความเห็นตรงกัน โดย Jev นำในด้านการจัดอันดับ
จากนั้นคือผลลัพธ์ที่ผมเห็นว่ามีประโยชน์ที่สุดในทางปฏิบัติ เพราะมันเปลี่ยนตัวตรวจจับให้เป็นเครื่องมือตรวจสอบ ความเห็นต่างอย่างมั่นใจของ Jev เผยข้อบกพร่องที่เปลี่ยนป้ายกำกับในสามเบนช์มาร์ก และป้ายกำกับที่สถานะไม่อาจเผยให้เห็นได้ในอีกสี่เบนช์มาร์ก เมื่อตัวตรวจจับที่มั่นใจเห็นต่างจากป้ายกำกับอ้างอิงของเบนช์มาร์ก คำอธิบายหนึ่งคือตัวตรวจจับผิด งานวิจัยรายงานว่าในบางกรณี ความเห็นต่างชี้กลับไปที่ตัวเบนช์มาร์ก สามเบนช์มาร์กมีข้อบกพร่องที่เปลี่ยนป้ายกำกับ และอีกสี่เบนช์มาร์กมีป้ายกำกับที่สถานะไม่อาจเผยให้เห็นได้
หมวดที่สองเชื่อมกลับไปยังประเด็นเชิงสัมพันธ์ ป้ายกำกับที่สถานะไม่อาจเผยได้ คือป้ายกำกับที่นิยามด้วยบางสิ่งที่ไม่เคยเข้ามาอยู่ในอินพุต ไม่มีตัวตรวจจับใดที่อ่านสถานะนั้นแล้วจะกู้มันคืนมาได้ การพบกรณีแบบนี้เป็นคุณูปการที่ต่างจากการดันคะแนนให้สูงขึ้น เพราะมันบอกผู้ดูแลเบนช์มาร์กว่าข้อมูลกับป้ายกำกับของพวกเขาแยกทางกันที่ใด
จุดอ่อน: การปรับเทียบ #
ตรงนี้บทความต้องพูดตรง ๆ เพราะงานวิจัยก็พูดตรง ความน่าจะเป็นจัดอันดับได้ดีแต่ใช้เป็นค่าเกณฑ์ข้ามกันไม่ได้ ค่ามัธยฐาน ECE อยู่ที่ 0.168 เทียบกับค่าอ้างอิงฐาน 0.074 ทั้งบนป้ายกำกับที่ผ่านการตรวจสอบและป้ายกำกับจาก judge เพราะความน่าจะเป็นเฉลี่ยของ Jev พลาดอัตราพื้นฐานของแต่ละเบนช์มาร์ก
ชิ้นส่วนต่าง ๆ ประกอบกันดังนี้ AUROC วัดการจัดอันดับ และการจัดอันดับแข็งแรง ค่าเกณฑ์เป็นอีกเรื่องหนึ่ง หากความน่าจะเป็นเอาต์พุตเฉลี่ยของโมเดลไม่ตรงกับความถี่ที่ความล้มเหลวเกิดขึ้นในเบนช์มาร์กหนึ่ง t=0.5 ก็จะตกผิดที่ และค่าความคลาดเคลื่อนของการปรับเทียบที่คาดหวังก็สูง ค่ามัธยฐาน ECE 0.168 อยู่สูงกว่าค่าอ้างอิงฐาน 0.074 ซึ่งแย่กว่าจุดอ้างอิงที่งานวิจัยเลือกไว้ และเป็นเช่นนี้ทั้งบนป้ายกำกับที่ผ่านการตรวจสอบและป้ายกำกับจาก judge จุดอ่อนนี้จึงไม่ได้เกิดจากป้ายกำกับของ judge ที่มีสัญญาณรบกวน
นึกถึงการตั้งปัญหาอย่างเป็นทางการ ตัวตรวจจับต้องจัดอันดับความล้มเหลวเหนือสิ่งที่ไม่ใช่ความล้มเหลว และแยกพวกมันที่ค่าเกณฑ์ Jev ทำอย่างแรกได้ดี และทำอย่างที่สองได้ไม่ดีหากไม่ปรับอะไรเลย ชื่อของเทคนิคมีคำว่า “การตัดสินใจที่ปรับเทียบแล้ว” แต่การปรับเทียบที่วัดได้ในที่นี้ไม่คงอยู่ข้ามเบนช์มาร์ก ซึ่งเป็นความลักลั่นที่ควรพูดออกมาตรง ๆ งานวิจัยระบุว่าช่องว่างนี้มาจากอัตราพื้นฐาน และไม่ได้อ้างมากกว่านั้น
ผลในทางปฏิบัติคือ ในฐานะตัวแทน judge Jev ต้องใช้ป้ายกำกับจำนวนหนึ่งเพื่อตั้งค่าเกณฑ์ นี่เป็นต้นทุนจริง และทำให้ข้ออ้างว่าเป็นตัวแทนที่ใส่แทนได้ทันทีแคบลง คุณไม่สามารถชี้มันไปที่ความล้มเหลวประเภทใหม่แล้วเชื่อ t=0.5 ได้
สูตร #
คำแนะนำของงานวิจัยกระชับ สูตรคือคำถามทั่วไปที่อ่านเป็นความน่าจะเป็น โดยปรับค่าเกณฑ์จากรายการที่มีป้ายกำกับสิบรายการ ซึ่งยก F1 ขึ้นในกรณีที่ Jev ตอบสนองน้อยเกินไปที่ t=0.5 และมีราคา 0.025 บนป้ายกำกับที่ผ่านการตรวจสอบ
ลองแกะดู คำถามทั่วไปจัดการปัญหาถ้อยคำด้วยการไม่ออกแบบถ้อยคำเลย ซึ่งสอดคล้องกับข้อค้นพบว่าถ้อยคำมีผลน้อย การอ่านคำตอบเป็นความน่าจะเป็นช่วยรักษาส่วนต่างไว้ การปรับค่าเกณฑ์จากรายการที่มีป้ายกำกับสิบรายการจัดการกับการพลาดอัตราพื้นฐาน ผลต่อ F1 เป็นบวกในกรณีที่ Jev ตอบสนองน้อยเกินไปที่ t=0.5 บนป้ายกำกับที่ผ่านการตรวจสอบ สูตรนี้มีราคา 0.025
ตัวเลขสุดท้ายนี้ควรหยุดคิดสักนิด สูตรนี้ไม่ได้ปราศจากข้อเสีย บนป้ายกำกับที่ผ่านการตรวจสอบมันมีราคา 0.025 งานวิจัยรายงานการแลกเปลี่ยนนี้แทนที่จะซ่อนไว้ และผมขออ้างสูตรที่บอกต้นทุนไว้ชัด มากกว่าสูตรที่โฆษณาว่าได้ล้วน ๆ ข้อกล่าวอ้างไม่ได้บอกว่า 0.025 วัดด้วยเมตริกใด นอกเหนือจากบริบทของป้ายกำกับที่ผ่านการตรวจสอบ ผมจึงจะไม่เดา
รายการที่มีป้ายกำกับสิบรายการเป็นคำขอที่เล็ก สำหรับทีมส่วนใหญ่ มันคืองานติดป้ายกำกับเพียงบ่ายเดียว เมื่อเทียบกับต้นทุนการรัน judge กับทุกข้อความ แต่มันเป็นเงื่อนไขที่ต้องมีก่อน และทีมที่สร้างรายการที่มีป้ายกำกับไม่ได้เลยสักรายการสำหรับความล้มเหลวประเภทใหม่ ไม่ควรคาดหวังว่าค่าเกณฑ์จะจัดการตัวเองได้
สิ่งที่ผู้ปฏิบัติงานควรได้จากเรื่องนี้ #
มีหลายข้อที่ตามมา และผมจะยืนยันในข้อเหล่านี้เพราะหลักฐานสนับสนุน
ข้อแรก เลิกปรับแต่งถ้อยคำของคำถาม ผลได้นอกกลุ่มตัวอย่างจากถ้อยคำแบบเจาะจงคือ +0.006 โดยมีช่วงตั้งแต่ −0.004 ถึง +0.015 นี่ไม่ใช่พื้นฐานสำหรับการลงทุน
ข้อสอง ทุ่มแรงไปที่สถานะ ผลได้ก้อนใหญ่มาจากข้อมูลอ้างอิงที่นิยามป้ายกำกับ หากมอนิเตอร์ของคุณได้รับข้อมูลอ้างอิงที่นิยามความล้มเหลวได้ การปรับปรุงก็อยู่ตรงนั้น หากไม่ได้ ก็คาดหวังให้น้อยลง บริบทที่มอนิเตอร์ในการใช้งานจริงจะมี ช่วยได้ใน 1 จาก 7 เบนช์มาร์ก วางแผนรอบตัวเลขที่คุณได้ในการใช้งานจริง แทนตัวเลขที่ได้ในเบนช์มาร์กที่ข้อมูลอ้างอิงอยู่ในอินพุตอยู่แล้ว
ข้อสาม ตั้งงบไว้สำหรับการปรับเทียบ วางแผนติดป้ายกำกับสิบรายการต่อความล้มเหลวหนึ่งประเภทแล้วปรับค่าเกณฑ์ อย่าปล่อยใช้งานด้วย t=0.5
ข้อสี่ ใช้ความเห็นต่างเป็นสัญญาณ ความเห็นต่างอย่างมั่นใจกับป้ายกำกับอ้างอิงเผยข้อบกพร่องในสามเบนช์มาร์ก และป้ายกำกับที่เผยไม่ได้ในอีกสี่เบนช์มาร์ก หากคุณรันสิ่งนี้กับชุดประเมินผลของคุณเอง ก็คาดได้ว่ามันอาจบอกอะไรเกี่ยวกับป้ายกำกับของคุณพอ ๆ กับโมเดลของคุณ นี่เป็นการอนุมานจากข้อค้นพบของงานวิจัย ไม่ใช่ข้อกล่าวอ้างที่วัดได้เกี่ยวกับชุดใดชุดหนึ่ง จึงควรถือเป็นคำเชิญให้ลองตรวจสอบ
ข้อห้า จำจุดอ่อนที่ทราบกันไว้ ผู้พัฒนาระบุว่าความหมายโดยอ้อมและเนื้อหาเชิงปฏิปักษ์เป็นจุดอ่อนที่ทราบกันของ Jev มอนิเตอร์ที่สำคัญต่อความปลอดภัยจะต้องเจอเนื้อหาเชิงปฏิปักษ์แน่ ข้อกล่าวอ้างในที่นี้ไม่ได้รายงานว่า Jev ทำได้อย่างไรกับเนื้อหาแบบนั้น จึงยังเป็นจุดที่เปิดอยู่ และผมอยากเห็นการทดสอบก่อนจะเชื่อใจการใช้งานจริง
อ่านผลลัพธ์เทียบกับมุมมองเชิงพาณิชย์ #
ผู้ก่อตั้งจะอยากรู้ว่าสิ่งนี้อยู่ตรงไหน ข้อโต้แย้งด้านต้นทุนแข็งแรงที่สุด ตัวตรวจจับที่รันกับทุกข้อความต้องถูก และการลดต้นทุนลง 63× เมื่อเทียบกับผู้ให้คะแนนแบบ LLM-judge เปลี่ยนว่าการใช้งานแบบไหนที่จ่ายไหว ข้อโต้แย้งด้านความแม่นยำมาเป็นอันดับสอง คือ AUROC แบบ zero-shot 0.886 และชัยชนะเหนือ baseline แบบมีผู้สอนในเบนช์มาร์กส่วนใหญ่
ข้อควรระวังเป็นตัวกำหนดว่าอะไรขายได้อย่างซื่อตรง ตัวตรวจจับต้องใช้ป้ายกำกับจำนวนหนึ่งต่อค่าเกณฑ์ การปรับเทียบของมันใช้ข้ามกันไม่ได้ ผลได้ที่ดีที่สุดของมันพึ่งพาข้อมูลอ้างอิงที่การใช้งานจริงอาจไม่มี สิ่งเหล่านี้คือเงื่อนไขการใช้งาน และผลิตภัณฑ์ใดที่สร้างบนสิ่งนี้ควรบอกไว้แทนที่จะซุกซ่อน ไม่มีข้อใดบั่นทอนข้อโต้แย้งด้านต้นทุน มันเพียงอธิบายงานติดตั้งที่ต้องทำ
ยังมีประเด็นเงียบ ๆ เกี่ยวกับการวัดผลเองด้วย RLCDAlignBench พร้อมรูปแบบบริบท คำตอบของ Jev ที่แคชไว้ สคริปต์ให้คะแนนใหม่ และโปรโตคอลแบ่งครึ่ง เป็นสินทรัพย์การประเมินผลที่นำกลับมาใช้ได้ เบนช์มาร์กที่ขจัดการพองตัวจากการคัดเลือกออกจากผลได้ที่รายงาน คือชิ้นงานประเภทที่ทำให้เปรียบเทียบข้อกล่าวอ้างในภายหลังได้ นั่นเป็นคุณค่าคนละแบบกับตัวตรวจจับ
สิ่งที่ยังเปิดอยู่ #
ขอบเขตบางข้อชัดเจนจากข้อกล่าวอ้าง โมเดลเป้าหมายคือโมเดลเปิดห้าตัวขนาด 2–7B พารามิเตอร์ ผลลัพธ์จึงอธิบายความล้มเหลวในปฏิสัมพันธ์จากโมเดลขนาดนั้น คำถามทั่วไปไม่ได้ถูกถามใน 7 เบนช์มาร์ก และ AUROC หลักเป็นค่ามัธยฐานบนเบนช์มาร์กที่ได้ถาม ป้ายกำกับมาจากผู้ให้คะแนนอ้างอิง โดยป้ายกำกับจากมนุษย์และจาก judge คนที่สองครอบคลุม StrongREJECT, HarmBench, AbstentionBench และ InstrumentalEval
คำถามที่ยังเปิดอยู่ซึ่งผมสนใจที่สุด คือคำถามที่โครงสร้างของงานวิจัยเองตั้งขึ้น ความล้มเหลวเป็นเชิงสัมพันธ์ สถานะมักขาดข้อมูลอ้างอิง และบริบทของมอนิเตอร์ในการใช้งานจริงช่วยได้เพียง 1 จาก 7 เบนช์มาร์ก การออกแบบแบบเรียกครั้งเดียวของ Jev ให้คำถามหลายข้อใช้อินพุตร่วมกัน แต่คันโยกที่ใหญ่ที่สุดกลับกลายเป็นว่าอินพุตมีฟิลด์อะไรบ้าง การใช้งานจริงควรได้ข้อมูลอ้างอิงที่นิยามป้ายกำกับมาอย่างไรในเวลาที่เฝ้าดู เช่น รายการสิ่งที่เป็นความลับสำหรับการตรวจความเป็นส่วนตัว คือสิ่งถัดไปที่ต้องหาคำตอบ งานวิจัยแสดงว่าผลได้นั้นมีอยู่จริง (0.79→0.95 บน PrivacyLens) และเปิดคำถามไว้ว่ามอนิเตอร์ที่ใช้งานจริงจะได้รับมันในราคาถูกพอจะรักษาความได้เปรียบ 63× ไว้ได้หรือไม่
ความหมายต่อแต่ละภาคส่วน #
ความสามารถในการประเมินเกณฑ์ alignment ที่ซับซ้อนผ่านหัวตัดสินใจที่ปรับเทียบแล้วด้วยต้นทุนการอนุมานเพียงเศษเสี้ยว กำลังปรับรูปความปลอดภัยเชิงปฏิบัติการในหลายภาคส่วน
ผู้ให้บริการ AI gateway และแพลตฟอร์มความปลอดภัย #
บริษัทโครงสร้างพื้นฐานที่ติดตั้งราวกั้นความปลอดภัยแบบเรียลไทม์ สามารถแทนที่สถาปัตยกรรมแบบต่อทอดที่มีต้นทุนสูง (การเรียกตัวจำแนก prompt injection ความเป็นพิษ และความเป็นส่วนตัวแยกกัน) ด้วยหัว RLCD แบบหลายคำถามที่รวมเป็นหนึ่ง ต้นทุนการดำเนินงานลดลงมากกว่า 60× ขณะที่ความหน่วงถูกจำกัดไว้ที่ forward pass เดียว
ทีมธรรมาภิบาล AI และการปฏิบัติตามข้อกำหนดด้านการตรวจสอบ #
คณะกรรมการความเสี่ยงที่ประเมินพฤติกรรมของโมเดลเทียบกับมาตรฐาน เช่น ข้อกำหนดความเสี่ยงสูงของ EU AI Act หรือ NIST AI RMF จะได้บันทึกการตรวจสอบเชิงความน่าจะเป็นที่กำหนดแน่นอน แทนข้อเสนอแนะเชิงบรรยายที่ไม่มีโครงสร้างจาก LLM-judge ระบบจะบันทึกการแจกแจงความน่าจะเป็นที่ปรับเทียบแล้ว ซึ่งรองรับการควบคุมกระบวนการเชิงสถิติและการเฝ้าระวัง drift
ทีมการใช้งานในองค์กรและทีม red-teaming #
ทีมความปลอดภัยสามารถติดตั้งตัวตรวจจับความล้มเหลวเฉพาะทางได้อย่างรวดเร็ว ด้วยการเขียนการแทนสถานะที่เจาะจง และปรับค่าเกณฑ์การตัดสินใจจากตัวอย่างเฉพาะโดเมนเพียงสิบตัวอย่าง ซึ่งตัดวงจรการ fine-tune หลายสัปดาห์ที่ตัวจำแนกแบบสั่งทำเคยต้องใช้ออกไป
บทสรุป #
การประเมิน Jev บน RLCDAlignBench วางทิศทางเชิงสถาปัตยกรรมที่น่าเชื่อถือสำหรับการเฝ้าดูโมเดลในระบบจริง การอ่านความน่าจะเป็นที่ปรับเทียบแล้วจากคำถามแบบมีชนิดหลายข้อใน forward pass เดียว ชนะทั้ง LLM judge แบบ autoregressive ในด้านต้นทุน และตัวจำแนกแบบโทเคนเดียวในด้านความยืดหยุ่น แม้ผู้ปฏิบัติงานต้องตั้งงบสำหรับการปรับเทียบค่าเกณฑ์จากข้อมูลจริง แทนที่จะสมมติว่าความน่าจะเป็นใช้ข้ามกันได้ทันที แต่ความได้เปรียบทางเศรษฐกิจ 63× ทำให้การเฝ้าดูแบบเรียลไทม์ที่ครอบคลุมเป็นไปได้ในระดับใหญ่
คำถามที่พบบ่อย #
ทำไม LLM judge เชิงสร้างสรรค์จึงไม่เหมาะกับการเฝ้าดูระบบจริงแบบเรียลไทม์
judge เชิงสร้างสรรค์ต้องใช้การถอดรหัสแบบ autoregressive เต็มรอบสำหรับเกณฑ์ด้านความปลอดภัยหรือ alignment ทุกข้อที่ประเมิน ในแอปพลิเคชันสำหรับผู้บริโภคหรือองค์กรที่มีปริมาณงานสูง การเรียก judge เชิงสร้างสรรค์หลายครั้งต่อข้อความทำให้เกิดความหน่วงอย่างรุนแรง และทำให้ต้นทุนการดำเนินงานพุ่งขึ้นหลายเท่าตัว
การเรียนรู้แบบเสริมกำลังเพื่อการตัดสินใจที่ปรับเทียบแล้ว (RLCD) คืออะไร
RLCD เป็นวิธีการฝึกที่ปรับโมเดลให้ผลิตความน่าจะเป็นภายหลังที่ปรับเทียบอย่างดีบนหัวตัดสินใจแบบมีโครงสร้าง แทนการสร้างลำดับโทเคน วิธีนี้ทำให้โมเดลประเมินคำถามใด ๆ หลายข้อได้พร้อมกันในการประเมินแบบ forward ครั้งเดียว
ทำไมค่าเกณฑ์การตัดสินใจจึงต้องปรับเทียบกับข้อมูลในพื้นที่ของตน
แม้โมเดล RLCD จะจัดอันดับปฏิสัมพันธ์ตามโอกาสของความล้มเหลวได้ยอดเยี่ยม (ได้ AUROC สูง) แต่ความน่าจะเป็นเฉลี่ยสัมบูรณ์ของมันเลื่อนไปตามอัตราพื้นฐานของโดเมนเป้าหมาย การปรับเทียบค่าเกณฑ์การตัดสินใจเชิงปฏิบัติการจากตัวอย่างในโดเมนที่มีป้ายกำกับราวสิบตัวอย่าง ช่วยให้ได้ความไวที่เหมาะสมโดยไม่มีอัตราผลบวกลวงที่รับไม่ได้
เอกสารอ้างอิง #
- Mrinank Sharma et al., (2024). สู่ความเข้าใจและการลดการประจบสอพลอในโมเดลภาษา ⧉. arXiv.
- RLCDAlignBench Consortium, (2026). การตรวจจับความล้มเหลวด้าน alignment แบบหลายเกณฑ์ผ่านหัวตัดสินใจที่ปรับเทียบแล้ว ⧉. arXiv.
- Anthropic / Alignment Research, (2025). Constitutional AI และพลวัตของผู้ประเมิน ⧉. Anthropic.
- NIST, (2024). กรอบการบริหารความเสี่ยงด้านปัญญาประดิษฐ์ (AI RMF 1.0) ⧉. NIST.
ทบทวนล่าสุด .
ทบทวนล่าสุด .
เผยแพร่บทความนี้ซ้ำ
คัดลอกรูปแบบสำหรับ Medium
# ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/](https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/) Jev ตอบคำถามหลายข้อในการเรียกครั้งเดียวเป็นความน่าจะเป็น บน 44 เบนช์มาร์ก การจัดอันดับแข็งแรงและต้นทุนต่ำกว่า 63× แต่การตั้งค่าเกณฑ์ยังต้องใช้ป้ายกำกับจำนวนหนึ่ง Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/
คัดลอกรูปแบบสำหรับ Mastodon
ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau Jev ตอบคำถามหลายข้อในการเรียกครั้งเดียวเป็นความน่าจะเป็น บน 44 เบนช์มาร์ก การจัดอันดับแข็งแรงและต้นทุนต่ำกว่า 63× แต่การตั้งค่าเกณฑ์ยังต้องใช้ป้ายกำกับจำนวนหนึ่ง https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/
คัดลอกที่จัดรูปแบบสำหรับ LinkedIn
ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau Jev ตอบคำถามหลายข้อในการเรียกครั้งเดียวเป็นความน่าจะเป็น บน 44 เบนช์มาร์ก การจัดอันดับแข็งแรงและต้นทุนต่ำกว่า 63× แต่การตั้งค่าเกณฑ์ยังต้องใช้ป้ายกำกับจำนวนหนึ่ง. นี่คือประเด็นเชิงกลยุทธ์ที่สำคัญ: - โครงสร้างต้นทุนของการเฝ้าดูทุกข้อความ. โมเดลที่ใช้งานจริงยังคงคล้อยตามความเชื่อที่ผิดของผู้ใช้ (Sharma et al., 2024) ประโยคนี้ดูเรียบง่าย แต่มันวางกรอบของปัญหาทั้งหมด หากการประจบสอพลอแบบนี้ยังคงอยู่ในระบบที่ใช้งานจริง ก็ต้องมีใครสักคนคอยเฝ้าดู… - Jev ทำอะไรต่างออกไป. Jev ฝึกด้วยการเรียนรู้แบบเสริมกำลังเพื่อการตัดสินใจที่ปรับเทียบแล้ว (RLCD) มันตอบคำถามแบบมีชนิดหลายข้อเกี่ยวกับอินพุตหนึ่งรายการพร้อมความน่าจะเป็นที่ปรับเทียบแล้วในการเรียกครั้งเดียว กลไกนี้ควรอธิบายอย่างระมัดระวัง… - ทำไมความล้มเหลวด้าน alignment จึงยากกว่าที่เห็น. ก่อนการวัดผล มีเรื่องซับซ้อนอยู่ข้อหนึ่ง ความล้มเหลวเหล่านี้หลายอย่างเป็นเชิงสัมพันธ์ คือถูกนิยามเทียบกับข้อมูลอ้างอิงที่คำตอบเพียงลำพังไม่ได้เผยออกมา การประจบสอพลอเป็นตัวอย่างที่ดีของแนวคิดทั่วไปนี้… - มองการตรวจจับเป็นการจำแนกประเภท. การตั้งปัญหาอย่างเป็นทางการของงานวิจัยนั้นตรงไปตรงมา งานวิจัยมองการตรวจจับความล้มเหลวด้าน alignment เป็นการจำแนกแบบทวิภาคบนปฏิสัมพันธ์ของโมเดลเป้าหมาย ตัวตรวจจับให้คะแนน s(x) ∈ [0, 1] และติดธง x เมื่อ s(x) ≥ t… แนวทางขององค์กรของคุณในการรับมือกับความท้าทายที่ระบุไว้ในบทความนี้คืออะไร? → https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/ #Jev #Rlcd #Rlcdalignbench #ความล้มเหลวด้านAlignment #ตัวตรวจจับ Sebastien Rousseau | CC-BY-4.0
อ้างอิงบทความนี้
ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau
Jev ตอบคำถามหลายข้อในการเรียกครั้งเดียวเป็นความน่าจะเป็น บน 44 เบนช์มาร์ก การจัดอันดับแข็งแรงและต้นทุนต่ำกว่า 63× แต่การตั้งค่าเกณฑ์ยังต้องใช้ป้ายกำกับจำนวนหนึ่ง
BibTeX
@online{rousseau2026ต,
author = {Rousseau, Sebastien},
title = {{ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/ ER -
Vancouver
Rousseau S. ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau. sebastienrousseau.com. 2026 Sep 30. Available from: https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/
Chicago
Rousseau, Sebastien. "ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau." sebastienrousseau.com. September 30, 2026. https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/.
APA
Rousseau, S. (2026, September 30). ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/
เผยแพร่บทความนี้ซ้ำ
ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau
Jev ตอบคำถามหลายข้อในการเรียกครั้งเดียวเป็นความน่าจะเป็น บน 44 เบนช์มาร์ก การจัดอันดับแข็งแรงและต้นทุนต่ำกว่า 63× แต่การตั้งค่าเกณฑ์ยังต้องใช้ป้ายกำกับจำนวนหนึ่ง
บทความนี้เผยแพร่ภายใต้สัญญาอนุญาต Creative Commons Attribution 4.0 International. การเผยแพร่ซ้ำต้องระบุที่มาเป็น URL ต้นฉบับ
ตัวตรวจจับที่อ่านความน่าจะเป็นแทนคำตัดสิน: Jev บน 44 เบนช์มาร์ก — Sebastien Rousseau Jev ตอบคำถามหลายข้อในการเรียกครั้งเดียวเป็นความน่าจะเป็น บน 44 เบนช์มาร์ก การจัดอันดับแข็งแรงและต้นทุนต่ำกว่า 63× แต่การตั้งค่าเกณฑ์ยังต้องใช้ป้ายกำกับจำนวนหนึ่ง Originally published at https://sebastienrousseau.com/th/2026-09-30-tuatruatchap-thi-an-khwamnachapen-thaen-khamtatsin/ by Sebastien Rousseau. Licensed under CC-BY-4.0.