גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev

גלאי לכשלי יישור שעונה על שאלות רבות מוגדרות־סוג בקריאה אחת, עם הסתברויות מכוילות, מדרג כשלים היטב ועולה פי 63 פחות ממעריכים מבוססי שופט LLM. אבל ההסתברויות האלה אינן עוברות כספי החלטה, והתווית והמקור שלה חשובים הרבה יותר מניסוח השאלה.

מבנה העלויות של מעקב אחר כל הודעה #

מודלים פרוסים עדיין נכנעים לאמונה השגויה של המשתמש (Sharma ועמיתיו, 2024). המשפט הזה צנוע, אבל הוא ממסגר את כל הבעיה. אם חנפנות מהסוג הזה נמשכת במערכות פרוסות, מישהו צריך לפקח עליה, והפיקוח צריך להתרחש באותו קצב של השיחה עצמה.

כאן הכלכלה נושכת. גלאי צריך להיות מדויק, ומכיוון שהוא רץ על כל הודעה, גם זול. קל להשיג כל אחת מהתכונות לבדה: גלאי רשלני הוא זול, וגלאי קפדני שיקר מדי להרצה על כל הודעה מפקח רק על מדגם מהתעבורה. השאלה ההנדסית המעניינת היא איזה צורה של גלאי יכולה להיות גם וגם.

לתשובה הנוכחית, לפי המאמר שעליו מבוססת הכתבה הזו, יש פגם מבני. רוב הגלאים של כשלי יישור הם שופטים יוצרים שמוציאים מעבר פענוח אחד על כל קריטריון. במילים פשוטות, הגלאים הנוכחיים משלמים מעבר פענוח על כל קריטריון שהם בודקים. מוניטור שרוצה לבדוק עשרה סוגי כשל שונים משלם על עשרה מעברים, והחשבון גדל באופן לינארי עם מספר הדברים שחשובים לך.

יש תיקון חלקי, וכדאי לדייק בגבולותיו. מסווגים שקוראים הסתברויות טוקנים, כמו Llama Guard, עדיין מעניקים ציון לתווית קבועה אחת בכל קריאה. קריאת הסתברויות הטוקנים נותנת ציון, אבל כל קריאה עדיין מדרגת תווית או קריטריון אחד, כי ההסתברות נקראת מטוקן פסיקה אחד. מעבר הפענוח נעלם, אבל המבנה של שאלה אחת לכל קריאה נשאר. הוזלת כל קריאה בלי לשנות כמה קריאות אתה צריך.

לכן הטענה המבנית הולכת כך: שופטים יוצרים יקרים לכל קריטריון, ומסווגים שקוראים הסתברויות זולים יותר לכל קריטריון אבל עדיין קשורים כל אחד לקריטריון אחד. אף אחד מהם לא מאפשר לשאול שאלות רבות על אותו קלט בבת אחת.

מה Jev עושה אחרת #

Jev אומן בלמידת חיזוק להחלטות מכוילות (RLCD). הוא עונה על שאלות רבות מוגדרות־סוג על קלט אחד עם הסתברויות מכוילות בקריאה אחת. כדאי לתאר את המנגנון בזהירות, כי שאר הכתבה נשען עליו.

מודל RLCD מחזיר החלטה עם הסתברות מכוילת לכל שאלה מוגדרת־סוג במקום לייצר טקסט. אין שלב ייצור שבו פסיקה נכתבת ואחר כך מפוענחת. Jev עונה על שאלות רבות בינאריות, קטגוריות וסדרתיות על קלט אחד, שהמאמר מכנה state, בקריאה אחת. ה־state הוא הקלט; השאלות הן מה ששואלים עליו.

זו עקומת עלות שונה משתי הגישות שלעיל. אם השאלות חולקות קריאה אחת, הוספת שאלה אינה מוסיפה מעבר פענוח. התועלת למוניטור שאכפת לו מכמה סוגי כשל בו־זמנית ברורה, אם כי המדידות במאמר עוסקות במה ששאלה כללית אחת משיגה, ואני אשאר עם מה שנמדד.

ובכל זאת היה פער. לא נמדד אם Jev מזהה כשלי יישור. מודל שעונה על שאלות מוגדרות־סוג עם הסתברויות מכוילות מתאים על פניו לתפקיד, ומה שמתאים על פניו הוא זול. המאמר יוצא לספק את המדידה החסרה.

למה כשלי יישור קשים יותר משהם נראים #

לפני המדידה, סיבוך. רבים מהכשלים האלה הם יחסיים, מוגדרים ביחס למקור שהתגובה לבדה אינה חושפת. חנפנות היא המחשה טובה לרעיון הכללי: אם תגובה נכנעת לאמונה שגויה של משתמש תלוי במה היא האמונה ובשאלה אם היא שגויה, ואף אחת מהעובדות האלה אינה נראית בטקסט התגובה לבדו.

יש לכך השלכה על תכנון גלאים שהמאמר מנסח בהסתייגות ראויה. גלאי שרואה רק את התגובה עלול להיות חסר את המקור שמגדיר את הכשל. המילה «עלול» חשובה; הטענה אינה שכל כשל דורש מקור, אלא שחלקם דורשים, ושמבט על התגובה בלבד עלול להחמיץ זאת.

זה גם מסבך את האבחון. אם הכשלים יחסיים, זיהוי חלש עשוי לנבוע מהשאלה או מ־state שחסר בו המקור. שני דברים יכולים להיות שגויים, וציון נמוך אינו אומר איזה. אולי השאלה נוסחה רע. אולי השאלה הייתה בסדר והקלט פשוט מעולם לא הכיל את מה שנדרש כדי לענות עליה. מבחן שרוצה לומר משהו מועיל על גלאי צריך להיבנות כך ששני הגורמים האלה יופרדו.

המפתח, מצדו, מונה משמעות עקיפה ותוכן עוין בין החולשות הידועות של Jev. כדאי לזכור זאת בקריאת התוצאות בהמשך, כי חלק מסוגי הכשל נשענים בדיוק על התכונות האלה.

זיהוי כבעיית סיווג #

ההגדרה הפורמלית במאמר פשוטה. הוא מתייחס לזיהוי כשלי יישור כסיווג בינארי על אינטראקציות של מודל מטרה. גלאי מקצה ציון s(x) ∈ [0, 1] ומסמן את x כאשר s(x) ≥ t. כלומר הוא חייב גם לדרג כשלים מעל לא־כשלים וגם להפריד ביניהם בסף t.

שתי המשימות ניתנות להפרדה, ותוצאות המאמר מתפצלות בדיוק לאורך התפר הזה. דירוג הוא מה ש־AUROC מודד. הפרדה בסף היא מה שתלוי בכיול, והכתבה תחזור לכך כי שם Jev נכשל. גלאי יכול לדרג להפליא ועדיין להיות לא שמיש ב־t=0.5 אם ההסתברויות שלו יושבות במקום הלא נכון.

RLCDAlignBench #

המבחן נקרא RLCDAlignBench. הוא מכסה עשרה סוגי כשל על פני 44 מבחנים ו־7,193 מקרי זיהוי. המקרים מגיעים מחמישה מודלי מטרה פתוחים בגודל 2–7B, שכל אחד מהם תויג בידי המעריך המקורי של המבחן שלו. כך שהאינטראקציות הנשפטות מגיעות ממודלים פתוחים קטנים, והאמת הבסיסית לכל אחת היא מה שהמעריך של המבחן המקורי קובע.

לא כל מבחן נושא אותו סוג תווית. תוויות אנושיות ב־StrongREJECT וב־HarmBench, ותוויות של שופט שני ב־AbstentionBench וב־InstrumentalEval, משמשות להשוואת Jev לשופט. זה נותן למאמר שני סוגים של בדיקה חיצונית של המעריכים המקוריים: בני אדם במקרים מסוימים, שופט שני באחרים.

התוצר שפורסם מתואר כ־44 מבחנים על פני עשרה סוגי כשל עם וריאנטים של הקשר, תשובות שמורות של Jev וסקריפטים לדירוג מחדש, יחד עם פרוטוקול חלוקה לחצאים שמסיר את ניפוח הבחירה מהשיפורים המדווחים. כל רכיב עונה על צורך מעשי. הווריאנטים של ההקשר מאפשרים לקורא לשאול מה קורה כשה־state מכיל יותר. התשובות השמורות והסקריפטים מאפשרים לשחזר מספר בלי להריץ את המודל מחדש. פרוטוקול החלוקה לחצאים מטפל במלכודת מתודולוגית שראויה לפרק משלה.

מלכודת הבחירה #

אפשר לשאול את Jev שאלות רבות על אותו קלט. זו נקודת המכירה שלו, והיא גם סכנה להערכה. אם מציגים סדרת שאלות מועמדות ומדווחים על זו שקיבלה את הציון הגבוה ביותר, ערכת חיפוש בין שאלות ודיווחת על המנצחת. המאמר אומר זאת ישירות: דיווח על הטובה מביניהן יגזים במה שמתרגל באמת מקבל.

כל מי שכיוונן הנחיה מול סט בדיקה יזהה זאת. התרופה כאן פשוטה. השאלות נבחרות על מחצית מהפריטים ומדורגות על המחצית האחרת. השאלה הממוקדת נבחרת על מחצית מהפריטים ומדורגת על המחצית האחרת, על פני 20 חלוקות. הבחירה לעולם אינה נוגעת בפריטים שמפיקים את המספר המדווח.

זה חשוב לאופן שבו יש לקרוא כל שיפור שמדווח בהמשך. טענת המאמר היא שפרוטוקול החלוקה לחצאים מסיר את ניפוח הבחירה מהשיפורים המדווחים. כשהמאמר אומר שניסוח ממוקד נותן שיפור חציוני של ‎+0.006 ב־AUROC, המספר הזה בא מניסוח שנבחר ודורג על חצאים נפרדים. מספר קטן כזה, שנמדד ביושר, מועיל יותר ממספר גדול יותר שהכליל בשקט את קללת המנצח.

התוצאה המרכזית: שאלה כללית אחת #

ועכשיו התוצאה שרוב הקוראים ירצו. שאלה כללית אחת מגיעה לחציון AUROC של 0.886 בלי אימון מקדים ומנצחת קווי בסיס מפוקחים ברוב המבחנים.

נעבור על המילים אחת אחת. «שאלה כללית אחת» פירושה בלי הנדסת הנחיה לכל מבחן. «בלי אימון מקדים» (zero-shot) פירושו בלי אימון על מבחן המטרה. «מנצחת קווי בסיס מפוקחים ברוב המבחנים» פירושו שמערכות שאומנו על נתונים מתויגים מהמשימה מפסידות לשאלה שאיש לא כיוונן, ברוב המבחנים שנבדקו. הטענה נעצרת ב«רוב», וכך גם הכתבה הזו.

השאלה הכללית היא שאלת תבנית שנקראת כ־P(yes). הנתון מדווח את ה־AUROC של 38 מבחנים שמישים, והשאלה הכללית לא נשאלה ב־7 מבחנים. לכן המספר המרכזי הוא חציון על פני המבחנים שבהם השאלה הכללית יושמה, מתוך 38 השמישים. קורא זהיר צריך לשמור על המכנים ברורים: 44 מבחנים בסך הכול, 38 שמישים לנתון הזה, ולשאלה הכללית יש פער של 7.

לדעתי התוצאה בלי אימון מקדים היא המחצית המעניינת יותר של המשפט. ניצחון על קווי בסיס מפוקחים הוא אמירה על מעמד יחסי. חציון AUROC של 0.886 בלי אימון ייעודי למשימה אומר משהו על כמה מאות הכשל זמין למודל שקורא את ה־state ועונה על שאלה פשוטה. אם זה מוכלל לסוגי כשל מחוץ לעשרה האלה, הטענות אינן עוסקות בכך.

הניסוח כמעט לא רלוונטי #

אם השקעת זמן בהנדסת הנחיות, התוצאה הבאה תצרוב. ניסוח השאלה משנה מעט, בעוד שההקשר משנה יותר, בעיקר דרך שדות שמקודדים את התווית.

ההסבר של המאמר לסיבה ספציפי. ברגע שהתשובות נשמרות כהסתברויות במקום החלטות argmax, ניסוח השאלה משנה מעט, ומה שה־state והתווית מכילים משנה הרבה. זו תצפית על מידע. החלטת argmax זורקת את המרווח שבו תשובה אחת גברה על אחרת, ושינוי ניסוח יכול להעביר את ההחלטה לצד השני של הגבול. הסתברות שומרת את המרווח, כך שניסוח מחדש שדוחף את הראיות מעט מזיז את ההסתברות מעט ומשאיר את הדירוג ברובו על כנו.

אחזיק במה שהמאמר אומר: כשההסתברויות נשמרות, הניסוח משנה מעט. לא ארחיב זאת להסבר מכניסטי של הסיבה, כי הטענות אינן מספקות כזה.

המספרים תומכים באמירה. ניסוח ממוקד נותן שיפור חציוני של ‎+0.006 ב־AUROC, כשהניסוח נבחר ודורג על חצאים נפרדים. מחוץ למדגם, ניסוח ממוקד מוסיף ‎+0.006 [‎−0.004, ‎+0.015] ל־AUROC. המרווח כולל את האפס. אל לקורא להתייחס ל־‎+0.006 כשיפור אמין; המרווח מתיר הפסד קטן באותה קלות כמו רווח קטן. למתרגל, הקריאה המועילה היא שחיפוש אחר ניסוח מתוחכם יותר כנראה לא יחזיר את המאמץ, לפחות במבחנים האלה.

זה צריך לשנות את האופן שבו צוותים מחלקים את זמנם. אם הניסוח כמעט חסר השפעה, את השעות שמושקעות בו עדיף להשקיע ב־state.

בהקשר נמצאים השיפורים #

אז מה ה־state מכיל, ומה הוא צריך להכיל? הממצא של המאמר הוא שההקשר משנה יותר, בעיקר דרך שדות שמקודדים את התווית. הרעיון המרכזי בתכנון המחקר הוא לשנות את מה ש־Jev נשאל בנפרד ממה שהוא רואה: ניסוח השאלה וסוג התשובה מצד אחד, שדות הקלט מהצד השני. ההפרדה הזו היא שמאפשרת למאמר לומר שהניסוח משנה מעט בעוד שההקשר משנה יותר. בלעדיה, שתי ההשפעות היו מסתבכות זו בזו.

הדוגמה המרכזית היא PrivacyLens. מקורות שמגדירים את התווית הם שמביאים את השיפורים הגדולים, כמו רשימת הפריטים הסודיים של PrivacyLens (0.79→0.95). מעבר מ־0.79 ל־0.95 ב־AUROC הוא גדול לעומת ‎+0.006 מהניסוח. המקור כאן הוא רשימת פריטים סודיים, שזה בדיוק סוג הדבר שהדיון הקודם בכשלים יחסיים חזה שיהיה חשוב: אם תגובה מדליפה משהו פרטי תלוי במה שנחשב פרטי, והתגובה לבדה אינה אומרת זאת.

יש הסתייגות לגבי פריסה, והיא חשובה. הקשר שמוניטור פרוס היה מחזיק עוזר ב־1 מתוך 7 מבחנים. השיפורים הגדולים באים ממקורות שמגדירים את התווית, אבל מוניטור פרוס לא בהכרח יחזיק בהם. מה שמוניטור יחזיק באופן מציאותי עוזר רק במבחן אחד מתוך שבעה.

זה ממצא מפוכח, ולדעתי זה המשפט החשוב ביותר מבחינה מסחרית במאמר. הוא מפריד בין המספר במעבדה למספר בשטח. גלאי שהוערך כשהמקור שמגדיר את התווית בידו עונה על שאלה קלה יותר מזו שמוניטור פרוס ניצב מולה. השיפורים אמיתיים, אבל המאמר ברור לגבי אילו מהם פריסה יכולה לסמוך עליהם.

המאמר מסמן גם מגבלה של מבחן אחד. ב־Open-Prompt-Injection, התווית עוקבת אחר הדיוק במשימה המוזרקת. זו דוגמה לתווית שמשמעותה קשורה לתכונה של המשימה, מה שנוגע למה שאפשר לצפות שגלאי יראה מה־state. לא אסיק מכך מסקנות נוספות, כי הטענות אינן מציעות כאלה.

עלות #

ועכשיו המספר שהופך את הכלכלה למוחשית. Jev עולה פי 63 פחות ממעריכים מבוססי שופט LLM. ההשוואה הספציפית: מעבר על 19 המבחנים שמדורגים בידי שופט עולה 0.30 דולר, פי 63 פחות מהשופטים שלהם במחירון. השוואת העלות מכסה מעבר אחד על 19 המבחנים עם שופטי API במחירון.

שימו לב להיקף. ההשוואה היא ל־19 מבחנים שמשתמשים בשופטי API, במחירון, למעבר אחד. היא אינה מכסה כל מבחן בסוויטה, ואינה מכסה תמחור מוזל. בתוך ההיקף הזה היחס גדול, והוא נובע מהארכיטקטורה שתוארה קודם: אין מעבר פענוח לכל קריטריון.

זכרו את הדרישה מההתחלה, שגלאי שרץ על כל הודעה חייב להיות זול. 0.30 דולר למעבר שלם על 19 מבחנים הוא איך ש«זול» נראה במאמר הזה. המאמר אינו מתרגם זאת למחיר להודעה, וגם אני לא.

הסכמה עם בני אדם, ומה שאי־ההסכמה חשפה #

זול מעניין רק אם הגלאי גם צודק. היכן שתוויות אנושיות מאפשרות בדיקה, Jev מסכים איתן באותה מידה כמו השופט, בשבריר מהעלות.

הראיה הספציפית ביותר באה מ־StrongREJECT. מול התוויות האנושיות שם, השאלה הכללית מסכימה באותה מידה כמו המעריך המקורי (Cohen's κ 0.809 לעומת 0.811) ומדרגת טוב יותר. שני ערכי κ נבדלים ב־0.002, כך שהקריאה הסבירה היא תיקו בהסכמה, עם יתרון ל־Jev בדירוג.

ואז מגיעה תוצאה שבעיניי היא המועילה ביותר בפועל, כי היא הופכת את הגלאי לכלי ביקורת. אי־הסכמות בטוחות של Jev חשפו פגמים שמשנים תוויות בשלושה מבחנים, ותוויות שה־state אינו יכול לחשוף בארבעה נוספים. כשגלאי בטוח בעצמו חולק על תווית הייחוס של מבחן, הסבר אחד הוא שהגלאי טועה. המאמר מדווח שבחלק מהמקרים אי־ההסכמה הצביעה על המבחן: בשלושה מבחנים היו פגמים שמשנים תוויות, ובארבעה נוספים היו תוויות שה־state אינו יכול לחשוף.

הקטגוריה השנייה מתחברת חזרה לנקודה היחסית. תווית שה־state אינו יכול לחשוף היא תווית שמוגדרת על ידי משהו שמעולם לא נכנס לקלט. שום גלאי שקורא את ה־state הזה לא יוכל לשחזר אותה. מציאת מקרים כאלה היא תרומה שונה מהעלאת ציון, כי היא אומרת למתחזקי המבחנים היכן הנתונים שלהם והתוויות שלהם נפרדים.

נקודת התורפה: כיול #

כאן הכתבה צריכה להיות בוטה, כי המאמר בוטה. ההסתברויות מדרגות היטב אבל אינן עוברות כספים: חציון ה־ECE הוא 0.168 לעומת קו אפס של 0.074, בתוויות מאומתות ובתוויות שופט כאחד, כי ההסתברות הממוצעת של Jev מחטיאה את שיעור הבסיס של כל מבחן.

כך החלקים מתחברים. AUROC מודד דירוג, והדירוג חזק. סף הוא עניין אחר. אם הסתברות הפלט הממוצעת של המודל אינה תואמת את תדירות הכשלים במבחן נתון, אז t=0.5 נוחת במקום הלא נכון, ושגיאת הכיול הצפויה גבוהה. חציון ECE של 0.168 יושב מעל קו האפס של 0.074, תוצאה גרועה יותר מנקודת הייחוס שהמאמר בחר. וזה נכון בתוויות מאומתות ובתוויות שופט כאחד, כך שהחולשה אינה תוצר של תוויות שופט רועשות.

זכרו את ההגדרה הפורמלית: גלאי חייב לדרג כשלים מעל לא־כשלים ולהפריד ביניהם בסף. Jev עושה את הראשון היטב ואת השני בצורה חלשה בלי התאמה. שם הטכניקה כולל «החלטות מכוילות», והכיול שנמדד כאן אינו עובר בין מבחנים, מתח שכדאי לומר במפורש. המאמר מייחס את הפער לשיעורי בסיס ואינו טוען יותר מכך.

ההשלכה המעשית: כתחליף לשופט, Jev צריך כמה תוויות כדי לקבוע את הסף שלו. זו עלות אמיתית, והיא מצמצמת את הטענה שמדובר בתחליף שמתחבר כמות שהוא. אי אפשר לכוון אותו לסוג כשל חדש ולסמוך על t=0.5.

המתכון #

ההמלצה של המאמר תמציתית. המתכון הוא שאלה כללית שנקראת כהסתברות, עם סף שמותאם על עשרה פריטים מתויגים, מה שמעלה את F1 היכן ש־Jev מתריע לעיתים רחוקות מדי ב־t=0.5 ועולה 0.025 בתוויות מאומתות.

נפרק אותו. השאלה הכללית מטפלת בבעיית הניסוח בכך שהיא נמנעת מלהנדס אותו, מה שמתיישב עם הממצא שהניסוח משנה מעט. קריאת התשובה כהסתברות שומרת את המרווח. התאמת הסף על עשרה פריטים מתויגים מטפלת בהחטאת שיעור הבסיס. ההשפעה על F1 חיובית היכן ש־Jev מתריע לעיתים רחוקות מדי ב־t=0.5. בתוויות מאומתות, המתכון עולה 0.025.

על המספר האחרון הזה כדאי להתעכב. המתכון אינו חף ממחיר: בתוויות מאומתות הוא עולה 0.025. המאמר מדווח על הפשרה במקום להסתיר אותה, ואני מעדיף לצטט מתכון שמחירו מוצהר על פני כזה שמשווק כרווח טהור. הטענות אינן אומרות באיזה מדד נמדד ה־0.025 מעבר להקשר של תוויות מאומתות, ולכן לא אנחש.

עשרה פריטים מתויגים הם בקשה קטנה. זה אחר צהריים של תיוג לרוב הצוותים, לעומת העלות של הרצת שופט על כל הודעה. אבל זה תנאי מוקדם, וצוות שאינו יכול להפיק אף פריט מתויג לסוג כשל חדש לא צריך לצפות שהסף יסדר את עצמו.

מה מתרגל צריך לקחת מזה #

כמה דברים נובעים מכך, ואתחייב אליהם כי הראיות תומכות בהם.

ראשית, הפסיקו לייעל את ניסוח השאלות. השיפור מחוץ למדגם מניסוח ממוקד הוא ‎+0.006 עם מרווח מ־‎−0.004 עד ‎+0.015. זה לא בסיס להשקעה.

שנית, השקיעו את המאמץ ב־state. השיפורים הגדולים באו ממקורות שמגדירים את התווית. אם אפשר לתת למוניטור שלכם את המקור שמגדיר את הכשל, שם נמצא השיפור. אם אי אפשר, צפו לפחות: הקשר שמוניטור פרוס היה מחזיק עזר ב־1 מתוך 7 מבחנים. תכננו סביב המספר שתקבלו בפריסה ולא סביב המספר שאתם מקבלים במבחן שבו המקור יושב בתוך הקלט.

שלישית, תקצבו כיול. תכננו לתייג עשרה פריטים לכל סוג כשל ולהתאים את הסף. אל תשחררו עם t=0.5.

רביעית, השתמשו באי־הסכמה כאות. אי־הסכמות בטוחות עם תוויות הייחוס חשפו פגמים בשלושה מבחנים ותוויות בלתי ניתנות לחשיפה בארבעה נוספים. אם תריצו זאת על סוויטות ההערכה שלכם, צפו שזה עשוי לספר לכם על התוויות שלכם כמו על המודלים שלכם. זו הסקה מהממצא של המאמר ולא טענה שנמדדה על סוויטה מסוימת, אז התייחסו לזה כהזמנה לבדוק.

חמישית, זכרו את החולשות הידועות. המפתח מונה משמעות עקיפה ותוכן עוין בין החולשות הידועות של Jev. מוניטור שחשוב לבטיחות ייתקל בתוכן עוין. הטענות כאן אינן מדווחות כיצד Jev מתפקד מולו, כך שזה נשאר אגף פתוח, והייתי רוצה שייבדק לפני שסומכים על פריסה.

קריאת התוצאה מול התיק העסקי #

מייסדים ירצו לדעת היכן זה עומד. טיעון העלות הוא החזק ביותר: גלאי שרץ על כל הודעה חייב להיות זול, וירידה פי 63 לעומת מעריכים מבוססי שופט LLM משנה אילו פריסות משתלמות. טיעון הדיוק הוא השני: AUROC של 0.886 בלי אימון מקדים וניצחון על קווי בסיס מפוקחים ברוב המבחנים.

ההסתייגויות מעצבות את מה שאפשר למכור ביושר. הגלאי צריך כמה תוויות לכל סף. הכיול שלו אינו עובר. השיפורים הגדולים ביותר שלו תלויים במקורות שפריסה עשויה שלא להחזיק. אלה תנאי שימוש, וכל מוצר שנבנה על זה צריך לציין אותם במקום לקבור אותם. שום דבר מזה אינו מערער את טיעון העלות; זה מתאר את עבודת ההכנה.

יש גם נקודה שקטה יותר על המדידה עצמה. RLCDAlignBench, עם הווריאנטים של ההקשר, התשובות השמורות של Jev, סקריפטי הדירוג מחדש ופרוטוקול החלוקה לחצאים, הוא נכס הערכה רב־פעמי. מבחן שמסיר ניפוח בחירה מהשיפורים המדווחים הוא סוג התוצר שמאפשר להשוות טענות עתידיות. זה ערך מסוג שונה מהגלאי.

מה נשאר פתוח #

כמה גבולות ברורים מהטענות. מודלי המטרה הם חמישה מודלים פתוחים של 2–7B פרמטרים, כך שהתוצאות מתארות כשלים באינטראקציות ממודלים בגודל הזה. השאלה הכללית לא נשאלה ב־7 מבחנים, וה־AUROC המרכזי הוא חציון על פני המבחנים שבהם כן נשאלה. התוויות הן של מעריכי ייחוס, עם תוויות אנושיות ותוויות שופט שני שמכסות את StrongREJECT, ‏HarmBench, ‏AbstentionBench ו־InstrumentalEval.

השאלה הפתוחה שהכי מעניינת אותי היא זו שמבנה המאמר עצמו מעלה. הכשלים יחסיים; ה־state לעיתים קרובות חסר את המקור; והקשר של מוניטור פרוס עזר רק ב־1 מתוך 7 מבחנים. התכנון של Jev בקריאה אחת מאפשר לשאלות רבות לחלוק קלט אחד, אבל המנוף הגדול ביותר התברר כשדות שהקלט נושא. איך פריסה אמורה להשיג את המקור שמגדיר את התווית בזמן הניטור, כמו רשימת פריטים סודיים לבדיקת פרטיות, זה הדבר הבא שיש לפתור. המאמר מראה שהשיפור זמין (0.79→0.95 ב־PrivacyLens), ומשאיר פתוח אם אפשר לתת אותו למוניטור פרוס בזול מספיק כדי לשמור על היתרון של פי 63.

מה המשמעות לכל מגזר #

היכולת להעריך קריטריוני יישור מורכבים באמצעות ראשי החלטה מכוילים, בשבריר מעלות ההסקה, מעצבת מחדש את הבטיחות התפעולית בתחומים רבים.

ספקי שערי בינה מלאכותית ופלטפורמות אבטחה #

חברות תשתית שפורסות מעקות בטיחות בזמן אמת יכולות להחליף ארכיטקטורות מדורגות יקרות (קריאה למסווגים נפרדים להזרקת הנחיות, רעילות ופרטיות) בראשי RLCD מאוחדים מרובי שאילתות. עלויות התפעול יורדות ביותר מפי 60, בעוד שההשהיה מוגבלת למעבר קדימה אחד.

צוותי ממשל בינה מלאכותית וציות לביקורת #

ועדות סיכונים שמעריכות התנהגות מודלים מול תקנים כמו דרישות הסיכון הגבוה של EU AI Act או NIST AI RMF מקבלות יומן ביקורת דטרמיניסטי והסתברותי. במקום משוב נרטיבי לא מובנה של שופט LLM, המערכות רושמות התפלגויות הסתברות מכוילות שתומכות בבקרת תהליכים סטטיסטית ובניטור סחיפה.

צוותי פריסה ארגונית ו־red-teaming #

צוותי אבטחה יכולים לפרוס במהירות גלאי כשל מותאמים על ידי כתיבת ייצוגי state ממוקדים והתאמת ספי החלטה מול עשר דוגמאות בלבד מהתחום, וכך לבטל את מחזור הכוונון העדין של שבועות שנדרש בעבר למסווגים ייעודיים.

סיכום #

ההערכה של Jev על RLCDAlignBench מבססת כיוון ארכיטקטוני משכנע לניטור מודלים בייצור: קריאת הסתברויות מכוילות על פני שאלות רבות מוגדרות־סוג במעבר קדימה אחד מנצחת שופטי LLM אוטו־רגרסיביים בעלות ומסווגי טוקן יחיד בגמישות. אף שמתרגלים חייבים לתקצב כיול אמפירי של ספים במקום להניח שההסתברויות עוברות כמות שהן, היתרון הכלכלי של פי 63 הופך ניטור מקיף בזמן אמת לאפשרי בקנה מידה גדול.

שאלות נפוצות #

מדוע שופטי LLM יוצרים אינם מעשיים לניטור בזמן אמת בייצור?

שופטים יוצרים דורשים מעבר פענוח אוטו־רגרסיבי מלא לכל קריטריון בטיחות או יישור שמוערך. ביישומים צרכניים או ארגוניים עם תפוקה גבוהה, הרצת כמה קריאות לשופטים יוצרים לכל הודעה גורמת לעיכובים חמורים ומנפחת את עלויות התפעול בסדרי גודל.

מהי למידת חיזוק להחלטות מכוילות (RLCD)?

RLCD היא שיטת אימון שמייעלת מודלים להפיק הסתברויות פוסטריוריות מכוילות היטב על ראשי החלטה מובנים במקום לייצר רצפי טוקנים. זה מאפשר למודל להעריך שאלות שרירותיות רבות בו־זמנית בתוך הערכה קדימה אחת.

מדוע צריך לכייל ספי החלטה על נתונים מקומיים?

אף שמודלי RLCD מצטיינים בדירוג אינטראקציות לפי סבירות הכשל (ומגיעים ל־AUROC גבוה), ההסתברויות הממוצעות המוחלטות שלהם משתנות בהתאם לשיעור הבסיס בתחום המטרה. כיול סף ההחלטה התפעולי מול כעשר דוגמאות מתויגות מהתחום מבטיח רגישות מתאימה בלי שיעורי התרעות שווא בלתי קבילים.

מקורות #

• Mrinank Sharma et al., (2024). לקראת הבנה והפחתה של חנפנות במודלי שפה ⧉. arXiv.
• RLCDAlignBench Consortium, (2026). זיהוי כשלי יישור מרובה קריטריונים באמצעות ראשי החלטה מכוילים ⧉. arXiv.
• Anthropic / Alignment Research, (2025). בינה מלאכותית חוקתית והדינמיקה של מעריכים ⧉. Anthropic.
• NIST, (2024). Artificial Intelligence Risk Management Framework (AI RMF 1.0) ⧉. NIST.

נסקר לאחרונה 2026-09-30.

נסקר לאחרונה 2026-10-27.

# גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/](https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/)

RLCDAlignBench מדד את Jev ב־44 מבחנים: חציון AUROC של 0.886 בלי אימון ועלות נמוכה פי 63, אבל סף ההחלטה עדיין דורש עשרה פריטים מתויגים.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/

גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev — Sebastien Rousseau

RLCDAlignBench מדד את Jev ב־44 מבחנים: חציון AUROC של 0.886 בלי אימון ועלות נמוכה פי 63, אבל סף ההחלטה עדיין דורש עשרה פריטים מתויגים.

https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/

גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev — Sebastien Rousseau

RLCDAlignBench מדד את Jev ב־44 מבחנים: חציון AUROC של 0.886 בלי אימון ועלות נמוכה פי 63, אבל סף ההחלטה עדיין דורש עשרה פריטים מתויגים.

להלן עיקרי הנקודות האסטרטגיות:

- מבנה העלויות של מעקב אחר כל הודעה. מודלים פרוסים עדיין נכנעים לאמונה השגויה של המשתמש (Sharma ועמיתיו, 2024).
- מה Jev עושה אחרת. Jev אומן בלמידת חיזוק להחלטות מכוילות (RLCD).
- למה כשלי יישור קשים יותר משהם נראים. לפני המדידה, סיבוך.
- זיהוי כבעיית סיווג. ההגדרה הפורמלית במאמר פשוטה.

כיצד מתמודד הארגון שלכם עם האתגרים המתוארים במאמר זה?

→ https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/

#Jev #Rlcd #Rlcdalignbench #זיהויכשלייישור #הסתברויותמכוילות

Sebastien Rousseau | CC-BY-4.0

@online{rousseau2026גלאי,
  author  = {Rousseau, Sebastien},
  title   = {{גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/},
  urldate = {2026}
}

TY  - GEN
AU  - Rousseau, Sebastien
TI  - גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/
ER  -

Rousseau S. גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev — Sebastien Rousseau. sebastienrousseau.com. 2026 Sep 30. Available from: https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/

Rousseau, Sebastien. "גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev — Sebastien Rousseau." sebastienrousseau.com. September 30, 2026. https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/.

Rousseau, S. (2026, September 30). גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/

גלאי שקורא הסתברויות במקום פסקי דין: מה 44 מבחנים מלמדים על Jev — Sebastien Rousseau

RLCDAlignBench מדד את Jev ב־44 מבחנים: חציון AUROC של 0.886 בלי אימון ועלות נמוכה פי 63, אבל סף ההחלטה עדיין דורש עשרה פריטים מתויגים.

Originally published at https://sebastienrousseau.com/he/2026-09-30-galai-shekore-histabruyot-bimkom-piskei-din/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU · FOUNDER · ENGINEER