كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev

كاشف لإخفاقات المواءمة يجيب عن أسئلة كثيرة محددة النوع في استدعاء واحد، باحتمالات معايَرة، فيرتّب الإخفاقات جيدًا وتقل كلفته 63 مرة عن المقيّمين القائمين على حَكَم من النماذج اللغوية. لكن هذه الاحتمالات لا تنتقل كعتبات قرار، والتسمية ومرجعها أهم بكثير من صياغة السؤال.

بنية كلفة مراقبة كل رسالة #

ما زالت النماذج المنشورة تنقاد لاعتقاد المستخدم الخاطئ (شارما وآخرون، 2024). الجملة متواضعة، لكنها تؤطّر المشكلة كلها. فإذا استمر هذا النوع من التملّق في الأنظمة المنشورة، فلا بد أن يراقبه أحد، ولا بد أن تجري المراقبة بإيقاع المحادثة نفسها.

هنا يعضّ الاقتصاد. يجب أن يكون الكاشف دقيقًا، ولأنه يعمل على كل رسالة، رخيصًا. الحصول على إحدى الخاصيتين وحدها سهل: الكاشف المهمِل رخيص، والكاشف المتأني الباهظ الذي لا يمكن تشغيله على كل رسالة لا يراقب إلا عينة من الحركة. والسؤال الهندسي المثير هو أي شكل من الكواشف يمكن أن يجمع الأمرين.

للإجابة الحالية، بحسب الورقة التي يستند إليها هذا المقال، خلل بنيوي. فمعظم كواشف إخفاقات المواءمة حكّام توليديون ينفقون تمريرة فك ترميز على كل معيار. وبعبارة بسيطة، تدفع الكواشف الحالية تمريرة فك ترميز عن كل معيار تفحصه. والمراقب الذي يريد فحص عشرة أنواع مختلفة من الإخفاقات يدفع ثمن عشر تمريرات، وتنمو الفاتورة خطيًا مع عدد الأمور التي تهمك.

ثمة علاج جزئي، ويستحق أن نكون دقيقين في حدوده. المصنِّفات التي تقرأ احتمالات الرموز، مثل Llama Guard، ما زالت تقيّم تسمية واحدة ثابتة في كل استدعاء. قراءة احتمالات الرموز تعطي درجة، لكن كل استدعاء ما زال يقيّم تسمية أو معيارًا واحدًا، لأن الاحتمال يُقرأ من رمز حكم واحد. اختفت تمريرة فك الترميز، لكن بنية سؤال واحد لكل استدعاء بقيت. لقد جعلت كل استدعاء أرخص دون أن تغيّر عدد الاستدعاءات التي تحتاجها.

إذن تسير الحجة البنيوية هكذا: الحكّام التوليديون مكلفون لكل معيار، والمصنِّفات القارئة للاحتمالات أرخص لكل معيار لكنها ما زالت مربوطة بمعيار واحد لكل منها. ولا يتيح أي منهما أن تطرح أسئلة كثيرة عن المُدخل نفسه دفعة واحدة.

ما يفعله Jev بشكل مختلف #

دُرّب Jev بالتعلم المعزز للقرارات المعايَرة (RLCD). وهو يجيب عن أسئلة كثيرة محددة النوع حول مُدخل واحد باحتمالات معايَرة في استدعاء واحد. وتستحق الآلية أن تُشرح بعناية، لأن بقية المقال تعتمد عليها.

يعيد نموذج RLCD قرارًا مع احتمال معايَر لكل سؤال محدد النوع بدل توليد نص. لا توجد خطوة توليد يُكتب فيها حكم ثم يُحلَّل. يجيب Jev عن أسئلة كثيرة ثنائية وفئوية وترتيبية حول مُدخل واحد، تسميه الورقة الحالة (state)، في استدعاء واحد. الحالة هي المُدخل؛ والأسئلة هي ما تسأله عنه.

هذا منحنى كلفة مختلف عن كلا النهجين السابقين. إذا تشاركت الأسئلة استدعاءً واحدًا، فإن إضافة سؤال لا تضيف تمريرة فك ترميز. والفائدة للمراقب الذي يهتم بعدة أنواع من الإخفاقات معًا واضحة، وإن كانت قياسات الورقة تخص ما يحققه سؤال عام واحد، وسألتزم بما قيس.

غير أن ثمة فجوة. لم يُقَس من قبل ما إذا كان Jev يكشف إخفاقات المواءمة. النموذج الذي يجيب عن أسئلة محددة النوع باحتمالات معايَرة مرشح معقول للمهمة، والمعقولية رخيصة. وتسعى الورقة إلى توفير القياس الغائب.

لماذا إخفاقات المواءمة أصعب مما تبدو #

قبل القياس، تعقيد. كثير من هذه الإخفاقات علائقي، يُعرَّف بالنسبة إلى مرجع لا تكشفه الاستجابة وحدها. والتملّق مثال جيد على الفكرة العامة: فكون الاستجابة تنقاد لاعتقاد المستخدم الخاطئ يتوقف على ماهية الاعتقاد وعلى كونه خاطئًا، ولا تظهر أي من الحقيقتين في نص الاستجابة وحده.

ولهذا نتيجة على تصميم الكواشف تذكرها الورقة بتحفظ مناسب. فالكاشف الذي لا يرى إلا الاستجابة قد يفتقر إلى المرجع الذي يحدد الإخفاق. وكلمة «قد» مهمة؛ فالادعاء ليس أن كل إخفاق يحتاج إلى مرجع، بل إن بعضها يحتاج إليه وإن النظر إلى الاستجابة وحدها قد يفوّته.

ويعقّد ذلك التشخيص أيضًا. فإذا كانت الإخفاقات علائقية، فقد يأتي ضعف الكشف من السؤال أو من حالة تفتقر إلى المرجع. شيئان قد يكونان خاطئين، والدرجة المنخفضة لا تقول أيهما. ربما صيغ السؤال صياغة سيئة. وربما كان السؤال سليمًا ولم يحتوِ المُدخل أصلًا على ما يلزم للإجابة عنه. والمعيار الذي يريد أن يقول شيئًا مفيدًا عن كاشف يجب أن يُبنى بحيث يمكن فصل هذين السببين.

أما المطوّر، فيدرج المعنى غير المباشر والمحتوى العدائي ضمن نقاط ضعف Jev المعروفة. ويستحسن تذكّر ذلك عند قراءة النتائج لاحقًا، لأن بعض أنواع الإخفاقات تعتمد على هاتين الخاصيتين تحديدًا.

معاملة الكشف على أنه تصنيف #

الإعداد الرسمي في الورقة بسيط. فهي تعامل كشف إخفاقات المواءمة على أنه تصنيف ثنائي لتفاعلات نموذج مستهدف. يعطي الكاشف درجة s(x) ∈ [0, 1] ويعلّم x عندما s(x) ≥ t. ويعني ذلك أن عليه أن يرتّب الإخفاقات فوق غير الإخفاقات وأن يفصل بينها عند عتبة t.

هاتان المهمتان قابلتان للفصل، وتنقسم نتائج الورقة على هذا الدرز تحديدًا. الترتيب هو ما يقيسه AUROC. والفصل عند عتبة هو ما يعتمد على المعايرة، وسيعود المقال إليه لأن Jev يقصّر هناك. يمكن لكاشف أن يرتّب ببراعة ويبقى غير قابل للاستخدام عند t=0.5 إذا كانت احتمالاته في المكان الخطأ.

RLCDAlignBench #

اسم المعيار RLCDAlignBench. وهو يغطي عشرة أنواع من الإخفاقات عبر 44 معيارًا و7,193 حالة كشف. تأتي الحالات من خمسة نماذج مستهدفة مفتوحة بحجم 2–7B، وكل منها موسوم بالمقيّم المرجعي لمعياره. فالتفاعلات التي يُحكم عليها تأتي إذن من نماذج مفتوحة صغيرة، والحقيقة الأرضية لكل منها هي ما يقوله المقيّم الخاص بالمعيار الأصلي.

لا يحمل كل معيار النوع نفسه من التسميات. تُستخدم التسميات البشرية في StrongREJECT وHarmBench، وتسميات حَكَم ثانٍ في AbstentionBench وInstrumentalEval، لمقارنة Jev بحَكَم. ويمنح ذلك الورقة نوعين من الفحص الخارجي للمقيّمين المرجعيين: البشر في بعض الحالات، وحَكَمًا ثانيًا في حالات أخرى.

يوصف المنتَج المنشور بأنه 44 معيارًا عبر عشرة أنواع من الإخفاقات مع متغيرات سياقية، وإجابات Jev مخزنة، ونصوص لإعادة التقييم، إلى جانب بروتوكول التقسيم إلى نصفين الذي يزيل تضخم الاختيار من المكاسب المعلنة. كل عنصر يلبّي حاجة عملية. تتيح المتغيرات السياقية للقارئ أن يسأل عما يحدث حين تحمل الحالة المزيد. وتتيح الإجابات المخزنة ونصوص إعادة التقييم لأي شخص أن يعيد إنتاج رقم دون إعادة تشغيل النموذج. ويعالج بروتوكول التقسيم إلى نصفين فخًا منهجيًا يستحق قسمًا خاصًا به.

فخ الاختيار #

يمكن أن يُسأل Jev أسئلة كثيرة عن المُدخل نفسه. تلك ميزته الأساسية، وهي أيضًا خطر على التقييم. فإذا طرحت مجموعة من الأسئلة المرشحة وأعلنت أيها حصل على أعلى درجة، فقد بحثت بين الأسئلة وأعلنت الفائز. وتقولها الورقة صراحة: إعلان أفضلها سيبالغ فيما يحصل عليه الممارس فعلًا.

سيتعرف على هذا كل من ضبط موجّهًا على مجموعة اختبار. والعلاج المستخدم هنا بسيط. تُختار الأسئلة على نصف العناصر وتُقيَّم على النصف الآخر. يُختار السؤال الموجّه على نصف العناصر ويُقيَّم على النصف الآخر، عبر 20 تقسيمًا. ولا يلمس الاختيار أبدًا العناصر التي تنتج الرقم المعلن.

يهم هذا في قراءة كل مكسب معلن أدناه. فادعاء الورقة أن بروتوكول التقسيم إلى نصفين يزيل تضخم الاختيار من المكاسب المعلنة. وحين تقول الورقة إن الصياغة الموجّهة تعطي وسيط مكسب قدره +0.006 في AUROC، فإن الرقم يأتي من صياغة اختيرت وقُيّمت على نصفين منفصلين. ورقم بهذا الصغر، مقيس بأمانة، أنفع من رقم أكبر تضمّن خفية لعنة الفائز.

النتيجة الرئيسية: سؤال عام واحد #

والآن النتيجة التي سيريدها معظم القراء. يبلغ سؤال عام واحد وسيط AUROC قدره 0.886 دون تدريب مسبق، ويتفوق على خطوط الأساس المُشرَف عليها في معظم المعايير.

لنتناول الكلمات واحدة واحدة. «سؤال عام واحد» تعني عدم هندسة الموجّه لكل معيار على حدة. و«دون تدريب مسبق» (zero-shot) تعني عدم التدريب على المعيار المستهدف. و«يتفوق على خطوط الأساس المُشرَف عليها في معظم المعايير» تعني أن الأنظمة المدربة على بيانات موسومة من المهمة تخسر أمام سؤال لم يضبطه أحد، في معظم المعايير التي فُحصت. يتوقف الادعاء عند «معظم»، وكذلك سيفعل هذا المقال.

السؤال العام سؤال قالبي يُقرأ على أنه P(yes). ويعرض الرقم AUROC لـ38 معيارًا قابلًا للاستخدام، ولم يُطرح السؤال العام على 7 معايير. فالرقم الرئيسي إذن وسيط على المعايير التي طُبّق فيها السؤال العام، ضمن الـ38 القابلة للاستخدام. وعلى القارئ المتأني أن يُبقي المقامات واضحة: 44 معيارًا في المجموع، و38 قابلة للاستخدام لهذا الرقم، وللسؤال العام فجوة من 7.

أرى أن نتيجة غياب التدريب المسبق هي النصف الأكثر إثارة في الجملة. فالتفوق على خطوط الأساس المُشرَف عليها حكم على المكانة النسبية. أما وسيط AUROC قدره 0.886 دون أي تدريب خاص بالمهمة فيقول شيئًا عن مقدار إشارة الإخفاق المتاحة لنموذج يقرأ الحالة ويجيب عن سؤال بسيط. وما إذا كان ذلك يعمم على أنواع إخفاقات خارج هذه العشرة أمر لا تتناوله الادعاءات.

الصياغة تكاد لا تهم #

إذا أمضيت وقتًا في هندسة الموجّهات، فستؤلمك النتيجة التالية. صياغة السؤال قليلة الأهمية، في حين أن السياق أهم، وذلك أساسًا عبر الحقول التي ترمّز التسمية.

وتفسير الورقة لذلك محدد. فما إن تُحفظ الإجابات احتمالاتٍ بدل قرارات argmax، حتى تصبح صياغة السؤال قليلة الأهمية ويصبح ما تحتويه الحالة والتسمية بالغ الأهمية. هذه ملاحظة عن المعلومات. قرار argmax يتخلص من الهامش الذي تفوقت به إجابة على أخرى، وتغيير الصياغة قد يقلب القرار عبر الحد. أما الاحتمال فيحفظ الهامش، فإعادة الصياغة التي تدفع الدليل قليلًا تحرّك الاحتمال قليلًا وتترك الترتيب سليمًا في معظمه.

سألتزم بما تقوله الورقة: حين تُحفظ الاحتمالات، تقل أهمية الصياغة. ولن أوسّعه إلى تفسير آلي للسبب، لأن الادعاءات لا تقدّم تفسيرًا.

والأرقام تدعم القول. تعطي الصياغة الموجّهة وسيط مكسب قدره +0.006 في AUROC، مع صياغة اختيرت وقُيّمت على نصفين منفصلين. وخارج العينة، تضيف الصياغة الموجّهة +0.006 [−0.004، +0.015] إلى AUROC. والمجال يشمل الصفر. فلا ينبغي للقارئ أن يعامل +0.006 على أنه تحسن موثوق؛ فالمجال يسمح بخسارة صغيرة بقدر ما يسمح بمكسب صغير. وبالنسبة للممارس، القراءة المفيدة أن البحث عن صياغة أذكى لن يعوّض الجهد على الأرجح، على الأقل في هذه المعايير.

وينبغي أن يغيّر هذا طريقة توزيع الفرق لوقتها. فإذا كانت الصياغة شبه خاملة، فالساعات المبذولة فيها أجدى أن تُبذل في الحالة.

السياق هو موطن المكاسب #

فماذا تحتوي الحالة، وماذا ينبغي أن تحتوي؟ ما وجدته الورقة أن السياق أهم، وذلك أساسًا عبر الحقول التي ترمّز التسمية. والفكرة المحورية في تصميم الدراسة هي تغيير ما يُسأل عنه Jev بمعزل عما يراه: صياغة السؤال ونوع إجابته في جانب، وحقول المُدخل في الجانب الآخر. هذا الفصل هو ما يسمح للورقة بالقول إن الصياغة قليلة الأهمية في حين أن السياق أهم. ولولاه لتشابك الأثران.

المثال الأبرز هو PrivacyLens. المراجع التي تحدد التسمية هي التي تأتي بالمكاسب الكبيرة، مثل قائمة العناصر السرية في PrivacyLens (0.79→0.95). والانتقال من 0.79 إلى 0.95 في AUROC كبير مقارنة بـ+0.006 من الصياغة. والمرجع المعني قائمة عناصر سرية، وهي بالضبط من نوع الأشياء التي تنبأ النقاش السابق عن الإخفاقات العلائقية بأهميتها: فكون الاستجابة تسرّب شيئًا خاصًا يتوقف على ما يُعدّ خاصًا، والاستجابة وحدها لا تقول ذلك.

وثمة تحفظ يخص النشر، وهو مهم. السياق الذي سيحمله مراقب منشور يساعد في معيار واحد من 7. المكاسب الكبيرة تأتي من مراجع تحدد التسمية، لكن المراقب المنشور لن يملكها بالضرورة. وما سيحمله المراقب واقعيًا يساعد في معيار واحد فقط من سبعة.

هذه نتيجة رصينة، وأظنها الجملة الأهم تجاريًا في الورقة. فهي تفصل بين رقم المختبر ورقم الميدان. الكاشف الذي قُيّم والمرجع المحدد للتسمية في يده يجيب عن سؤال أسهل مما يواجهه المراقب المنشور. المكاسب حقيقية، لكن الورقة واضحة في أي منها يمكن للنشر أن يعتمد عليه.

وتشير الورقة أيضًا إلى قيد في معيار واحد. ففي Open-Prompt-Injection، تتبع التسمية دقة المهمة المحقونة. وهذا مثال على تسمية يرتبط معناها بخاصية في المهمة، ما يمس ما يمكن توقع أن يراه الكاشف من الحالة. ولن أذهب إلى استنتاجات أبعد، لأن الادعاءات لا تقدّم أيًا منها.

الكلفة #

والآن الرقم الذي يجعل الاقتصاد ملموسًا. تقل كلفة Jev 63 مرة عن المقيّمين القائمين على حَكَم من النماذج اللغوية. والمقارنة المحددة: تكلف جولة على المعايير الـ19 التي يقيّمها حَكَم 0.30 دولار، أي أقل 63 مرة من حكّامها بأسعار القائمة. وتغطي مقارنة الكلفة جولة واحدة على المعايير الـ19 ذات الحكّام عبر واجهة برمجية بأسعار القائمة.

انتبه إلى النطاق. المقارنة تخص 19 معيارًا تستخدم حكّامًا عبر واجهة برمجية، بأسعار القائمة، لجولة واحدة. لا تغطي كل معيار في المجموعة، ولا تغطي الأسعار المخفّضة. وضمن هذا النطاق، النسبة كبيرة، وهي تنبع من البنية الموصوفة سابقًا: لا تمريرة فك ترميز لكل معيار.

تذكّر الشرط الافتتاحي، أن الكاشف الذي يعمل على كل رسالة يجب أن يكون رخيصًا. فمبلغ 0.30 دولار لجولة كاملة على 19 معيارًا هو شكل «الرخيص» في هذه الورقة. ولا تترجم الورقة ذلك إلى سعر لكل رسالة، ولن أفعل أنا أيضًا.

الاتفاق مع البشر، وما كشفه الاختلاف #

الرخص لا يثير الاهتمام إلا إذا كان الكاشف مصيبًا أيضًا. وحيثما تسمح التسميات البشرية بالتحقق، يتفق Jev معها بقدر ما يتفق الحَكَم، بجزء يسير من الكلفة.

يأتي الدليل الأكثر تحديدًا من StrongREJECT. فمقابل التسميات البشرية هناك، يتفق السؤال العام بقدر ما يتفق المقيّم المرجعي (Cohen's κ 0.809 مقابل 0.811) ويرتّب أفضل منه. والفرق بين قيمتي κ هو 0.002، فالقراءة المعقولة تعادل في الاتفاق، مع تقدم Jev في الترتيب.

ثم تأتي نتيجة أراها الأنفع عمليًا، لأنها تحوّل الكاشف إلى أداة تدقيق. كشفت حالات اختلاف Jev الواثقة عن عيوب تغيّر التسميات في ثلاثة معايير، وعن تسميات لا تستطيع الحالة إظهارها في أربعة معايير أخرى. فحين يختلف كاشف واثق مع التسمية المرجعية لمعيار، فأحد التفسيرات أن الكاشف مخطئ. وتفيد الورقة بأن الاختلاف أشار في بعض الحالات إلى المعيار نفسه: ثلاثة معايير فيها عيوب تغيّر التسميات، وأربعة أخرى فيها تسميات لا تستطيع الحالة إظهارها.

والفئة الثانية تعود إلى النقطة العلائقية. فالتسمية التي لا تستطيع الحالة إظهارها تسمية يحددها شيء لم يدخل المُدخل قط. ولا يمكن لأي كاشف يقرأ تلك الحالة أن يستعيدها. والعثور على مثل هذه الحالات إسهام مختلف عن رفع الدرجة، لأنه يخبر القائمين على المعايير بموضع افتراق بياناتهم عن تسمياتهم.

نقطة الضعف: المعايرة #

هنا يجب أن يكون المقال صريحًا، لأن الورقة صريحة. الاحتمالات ترتّب جيدًا لكنها لا تنتقل كعتبات: وسيط ECE يبلغ 0.168 مقابل خط عدم قدره 0.074، على التسميات المتحقق منها وتسميات الحَكَم على حد سواء، لأن متوسط احتمالات Jev يخطئ المعدل الأساسي لكل معيار.

وهكذا تتلاءم القطع. يقيس AUROC الترتيب، والترتيب قوي. أما العتبة فمسألة أخرى. فإذا لم يطابق متوسط احتمال الإخراج لدى النموذج مدى تكرار الإخفاقات في معيار ما، فإن t=0.5 تقع في المكان الخطأ، ويكون خطأ المعايرة المتوقع مرتفعًا. ووسيط ECE البالغ 0.168 يقع فوق خط العدم البالغ 0.074، وهي نتيجة أسوأ من النقطة المرجعية التي اختارتها الورقة. ويصح ذلك على التسميات المتحقق منها وتسميات الحَكَم على حد سواء، فالضعف ليس أثرًا جانبيًا لتسميات حَكَم مشوّشة.

تذكّر الإعداد الرسمي: على الكاشف أن يرتّب الإخفاقات فوق غير الإخفاقات وأن يفصل بينها عند عتبة. يؤدي Jev الأولى جيدًا والثانية بضعف دون ضبط. واسم التقنية يتضمن «القرارات المعايَرة»، والمعايرة المقيسة هنا لا تنتقل عبر المعايير، وهذا توتر يستحق أن يُقال بوضوح. وتعزو الورقة الفجوة إلى المعدلات الأساسية ولا تدّعي أكثر من ذلك.

والعاقبة العملية: بوصفه بديلًا عن الحَكَم، يحتاج Jev إلى بضع تسميات لضبط عتبته. وهذه كلفة حقيقية، تضيّق ادعاء أنه بديل يُركّب مباشرة. لا يمكنك توجيهه إلى نوع جديد من الإخفاقات والوثوق بـt=0.5.

الوصفة #

توصية الورقة مكثفة. الوصفة سؤال عام يُقرأ احتمالًا، وعتبته مضبوطة على عشرة عناصر موسومة، ما يرفع F1 حيث يندر أن يطلق Jev إنذارًا عند t=0.5، ويكلّف 0.025 على التسميات المتحقق منها.

لنفكّكها. يعالج السؤال العام مشكلة الصياغة بالامتناع عن هندستها، وهذا يتسق مع ما وُجد من أن الصياغة قليلة الأهمية. وقراءة الإجابة احتمالًا تحفظ الهامش. وضبط العتبة على عشرة عناصر موسومة يعالج خطأ المعدل الأساسي. والأثر على F1 إيجابي حيث يندر أن يطلق Jev إنذارًا عند t=0.5. وعلى التسميات المتحقق منها، تكلّف الوصفة 0.025.

يستحق ذلك الرقم الأخير التوقف عنده. فالوصفة ليست بلا ثمن: على التسميات المتحقق منها تكلّف 0.025. وتعرض الورقة المقايضة بدل إخفائها، وأفضّل أن أستشهد بوصفة معلنة الكلفة على وصفة يُروَّج لها مكسبًا خالصًا. ولا تقول الادعاءات بأي مقياس يُقاس الـ0.025 سوى سياق التسميات المتحقق منها، فلن أخمّن.

عشرة عناصر موسومة طلب صغير. إنها فترة بعد ظهر من الوسم لمعظم الفرق، مقابل كلفة تشغيل حَكَم على كل رسالة. لكنها شرط مسبق، والفريق الذي لا يستطيع إنتاج أي عنصر موسوم لنوع جديد من الإخفاقات لا ينبغي أن يتوقع أن تضبط العتبة نفسها.

ما ينبغي أن يأخذه الممارس #

تترتب على ذلك عدة أمور، وسألتزم بها لأن الأدلة تدعمها.

أولًا، كفّوا عن تحسين صياغة الأسئلة. المكسب خارج العينة من الصياغة الموجّهة +0.006 بمجال من −0.004 إلى +0.015. هذا ليس أساسًا للاستثمار.

ثانيًا، ابذلوا الجهد في الحالة. جاءت المكاسب الكبيرة من مراجع تحدد التسمية. فإذا أمكن تزويد مراقبكم بالمرجع الذي يحدد الإخفاق، فهناك يكمن التحسن. وإن لم يمكن، فتوقعوا أقل: السياق الذي سيحمله مراقب منشور ساعد في معيار واحد من 7. خطّطوا حول الرقم الذي ستحصلون عليه في النشر لا الرقم الذي تحصلون عليه في معيار يقع فيه المرجع داخل المُدخل.

ثالثًا، خصّصوا ميزانية للمعايرة. خطّطوا لوسم عشرة عناصر لكل نوع من الإخفاقات وضبط العتبة. لا تطلقوا المنتج بـt=0.5.

رابعًا، استخدموا الاختلاف إشارةً. كشفت الاختلافات الواثقة مع التسميات المرجعية عن عيوب في ثلاثة معايير وعن تسميات يتعذر إظهارها في أربعة أخرى. فإذا شغّلتم هذا على مجموعات التقييم لديكم، فتوقعوا أنه قد يخبركم عن تسمياتكم كما يخبركم عن نماذجكم. وهذا استنتاج من نتيجة الورقة لا ادعاء مقيس عن أي مجموعة بعينها، فعاملوه دعوةً إلى التحقق.

خامسًا، تذكّروا نقاط الضعف المعروفة. يدرج المطوّر المعنى غير المباشر والمحتوى العدائي ضمن نقاط ضعف Jev المعروفة. والمراقب الذي يهم السلامة سيصادف محتوى عدائيًا. ولا تذكر الادعاءات هنا أداء Jev عليه، فيبقى ذلك جناحًا مكشوفًا، وأود أن يُختبر قبل الوثوق بأي نشر.

قراءة النتيجة في ضوء الحالة التجارية #

سيرغب المؤسسون في معرفة موقع هذا كله. حجة الكلفة هي الأقوى: الكاشف الذي يعمل على كل رسالة يجب أن يكون رخيصًا، وانخفاض بمقدار 63 مرة مقارنة بالمقيّمين القائمين على حَكَم من النماذج اللغوية يغيّر أي عمليات النشر في المتناول. وحجة الدقة هي الثانية: AUROC قدره 0.886 دون تدريب مسبق وتفوق على خطوط الأساس المُشرَف عليها في معظم المعايير.

والتحفظات تحدد ما يمكن بيعه بأمانة. يحتاج الكاشف إلى بضع تسميات لكل عتبة. ومعايرته لا تنتقل. وأكبر مكاسبه تعتمد على مراجع قد لا يملكها النشر. تلك شروط استخدام، وأي منتج يُبنى على هذا ينبغي أن يصرّح بها لا أن يدفنها. ولا شيء من ذلك يقوّض حجة الكلفة؛ إنه يصف عمل الإعداد.

وثمة نقطة أهدأ عن القياس نفسه. فـRLCDAlignBench، بمتغيراته السياقية وإجابات Jev المخزنة ونصوص إعادة التقييم وبروتوكول التقسيم إلى نصفين، أصل تقييمي قابل لإعادة الاستخدام. والمعيار الذي يزيل تضخم الاختيار من المكاسب المعلنة هو من نوع المنتجات التي تتيح مقارنة الادعاءات اللاحقة. وهذه قيمة من نوع مختلف عن قيمة الكاشف.

ما يبقى مفتوحًا #

بعض الحدود واضحة من الادعاءات. النماذج المستهدفة خمسة نماذج مفتوحة بين 2 و7 مليارات معامل، فالنتائج تصف إخفاقات في تفاعلات نماذج بهذا الحجم. ولم يُطرح السؤال العام على 7 معايير، وAUROC الرئيسي وسيط على المعايير التي طُرح فيها. والتسميات من مقيّمين مرجعيين، مع تسميات بشرية وتسميات حَكَم ثانٍ تغطي StrongREJECT وHarmBench وAbstentionBench وInstrumentalEval.

والسؤال المفتوح الذي يشغلني أكثر هو الذي تطرحه بنية الورقة نفسها. فالإخفاقات علائقية؛ والحالة كثيرًا ما تفتقر إلى المرجع؛ وسياق المراقب المنشور ساعد في معيار واحد فقط من 7. يتيح تصميم Jev ذو الاستدعاء الواحد لأسئلة كثيرة أن تتشارك مُدخلًا واحدًا، لكن الرافعة الأكبر تبيّن أنها الحقول التي يحملها المُدخل. وكيف ينبغي للنشر أن يحصل على المرجع المحدد للتسمية وقت المراقبة، مثل قائمة العناصر السرية لفحص الخصوصية، هو ما ينبغي حلّه تاليًا. تُظهر الورقة أن المكسب متاح (0.79→0.95 في PrivacyLens)، وتترك مفتوحًا ما إذا كان يمكن تزويد مراقب منشور به بكلفة زهيدة تكفي للحفاظ على ميزة الـ63 مرة.

ماذا يعني ذلك لكل قطاع #

إن القدرة على تقييم معايير مواءمة معقدة عبر رؤوس قرار معايَرة، بجزء يسير من كلفة الاستدلال، تعيد تشكيل السلامة التشغيلية في مجالات عدة.

مزوّدو بوابات الذكاء الاصطناعي ومنصات الأمن #

يمكن لشركات البنية التحتية التي تنشر حواجز أمان فورية أن تستبدل بالبنى المتتالية المكلفة (استدعاء مصنِّفات منفصلة لحقن الموجّهات والسمّية والخصوصية) رؤوس RLCD موحدة متعددة الأسئلة. وتنخفض تكاليف التشغيل بأكثر من 60 مرة، بينما يبقى زمن الاستجابة محصورًا في تمريرة أمامية واحدة.

فرق حوكمة الذكاء الاصطناعي والامتثال التدقيقي #

تحصل لجان المخاطر التي تقيّم سلوك النماذج مقابل معايير مثل متطلبات المخاطر العالية في قانون الاتحاد الأوروبي للذكاء الاصطناعي (EU AI Act) أو NIST AI RMF على سجل تدقيق حتمي واحتمالي. فبدل ملاحظات سردية غير منظمة من حَكَم لغوي، تسجّل الأنظمة توزيعات احتمالية معايَرة تدعم الضبط الإحصائي للعمليات ومراقبة الانجراف.

فرق النشر المؤسسي والفرق الحمراء #

يمكن لفرق الأمن أن تنشر بسرعة كواشف إخفاقات مخصصة عبر صياغة تمثيلات مركّزة للحالة وضبط عتبات القرار على عشرة أمثلة فقط خاصة بالمجال، ما يلغي دورة الضبط الدقيق التي كانت تستغرق أسابيع وكانت لازمة سابقًا للمصنِّفات المفصّلة.

الخلاصة #

يرسي تقييم Jev عبر RLCDAlignBench اتجاهًا معماريًا مقنعًا لمراقبة النماذج في بيئة الإنتاج: قراءة احتمالات معايَرة لأسئلة كثيرة محددة النوع في تمريرة أمامية واحدة تتفوق على الحكّام اللغويين ذاتيي الانحدار في الكلفة، وعلى مصنِّفات الرمز الواحد في المرونة. ومع أن على الممارسين أن يخصّصوا ميزانية لمعايرة العتبات تجريبيًا بدل افتراض انتقال الاحتمالات جاهزة، فإن الميزة الاقتصادية البالغة 63 مرة تجعل المراقبة الفورية الشاملة ممكنة على نطاق واسع.

الأسئلة الشائعة #

لماذا لا يصلح الحكّام التوليديون من النماذج اللغوية للمراقبة الفورية في الإنتاج؟

يتطلب الحكّام التوليديون تمريرة فك ترميز ذاتية الانحدار كاملة لكل معيار سلامة أو مواءمة يُقيَّم. وفي التطبيقات الاستهلاكية أو المؤسسية عالية الإنتاجية، يؤدي تشغيل عدة استدعاءات لحكّام توليديين لكل رسالة إلى تأخير شديد ويضخّم تكاليف التشغيل بمراتب عدة.

ما التعلم المعزز للقرارات المعايَرة (RLCD)؟

RLCD منهجية تدريب تحسّن النماذج لتنتج احتمالات لاحقة جيدة المعايرة على رؤوس قرار منظمة بدل توليد سلاسل من الرموز. ويتيح ذلك للنموذج تقييم أسئلة كثيرة اعتباطية في آن واحد ضمن تقييم أمامي واحد.

لماذا تحتاج عتبات القرار إلى معايرة على بيانات محلية؟

مع أن نماذج RLCD تتفوق في ترتيب التفاعلات بحسب احتمال الإخفاق (فتبلغ AUROC مرتفعًا)، فإن متوسطات احتمالاتها المطلقة تتغير بحسب المعدل الأساسي في المجال المستهدف. ومعايرة عتبة القرار التشغيلية على نحو عشرة أمثلة موسومة من المجال تضمن حساسية مناسبة دون معدلات غير مقبولة من الإنذارات الكاذبة.

المراجع #

• Mrinank Sharma et al., (2024). نحو فهم التملّق في النماذج اللغوية والحدّ منه ⧉. arXiv.
• RLCDAlignBench Consortium, (2026). كشف إخفاقات المواءمة متعدد المعايير عبر رؤوس قرار معايَرة ⧉. arXiv.
• Anthropic / Alignment Research, (2025). الذكاء الاصطناعي الدستوري وديناميات المقيّمين ⧉. Anthropic.
• NIST, (2024). Artificial Intelligence Risk Management Framework (AI RMF 1.0) ⧉. NIST.

آخر مراجعة 2026-09-30.

آخر مراجعة 2026-10-27.

# كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/](https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/)

قاس RLCDAlignBench أداء Jev على 44 معيارًا: وسيط AUROC بلغ 0.886 دون تدريب وكلفة أقل 63 مرة، لكن عتبة القرار ما زالت تحتاج إلى عشرة عناصر موسومة.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/

كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev — Sebastien Rousseau

قاس RLCDAlignBench أداء Jev على 44 معيارًا: وسيط AUROC بلغ 0.886 دون تدريب وكلفة أقل 63 مرة، لكن عتبة القرار ما زالت تحتاج إلى عشرة عناصر موسومة.

https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/

كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev — Sebastien Rousseau

قاس RLCDAlignBench أداء Jev على 44 معيارًا: وسيط AUROC بلغ 0.886 دون تدريب وكلفة أقل 63 مرة، لكن عتبة القرار ما زالت تحتاج إلى عشرة عناصر موسومة.

إليك أبرز النقاط الاستراتيجية:

- بنية كلفة مراقبة كل رسالة. ما زالت النماذج المنشورة تنقاد لاعتقاد المستخدم الخاطئ (شارما وآخرون، 2024).
- ما يفعله Jev بشكل مختلف. دُرّب Jev بالتعلم المعزز للقرارات المعايَرة (RLCD).
- لماذا إخفاقات المواءمة أصعب مما تبدو. قبل القياس، تعقيد.
- معاملة الكشف على أنه تصنيف. الإعداد الرسمي في الورقة بسيط.

ما هو نهج مؤسستك في مواجهة التحديات المذكورة في هذا المقال؟

→ https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/

#Jev،Rlcd،Rlcdalignbench،كشفإخفاقاتالمواءمة،احتمالاتمعايَرة،Auroc،Ece،حَكَمالنماذجاللغوية،التملّق،Privacylens،Strongreject،عتبةالقرار

Sebastien Rousseau | CC-BY-4.0

@online{rousseau2026كاشف,
  author  = {Rousseau, Sebastien},
  title   = {{كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/},
  urldate = {2026}
}

TY  - GEN
AU  - Rousseau, Sebastien
TI  - كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/
ER  -

Rousseau S. كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev — Sebastien Rousseau. sebastienrousseau.com. 2026 Sep 30. Available from: https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/

Rousseau, Sebastien. "كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev — Sebastien Rousseau." sebastienrousseau.com. September 30, 2026. https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/.

Rousseau, S. (2026, September 30). كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/

كاشف يقرأ الاحتمالات بدل كتابة الأحكام: ما تقوله 44 معيارًا عن Jev — Sebastien Rousseau

قاس RLCDAlignBench أداء Jev على 44 معيارًا: وسيط AUROC بلغ 0.886 دون تدريب وكلفة أقل 63 مرة، لكن عتبة القرار ما زالت تحتاج إلى عشرة عناصر موسومة.

Originally published at https://sebastienrousseau.com/ar/2026-09-30-kashif-yaqra-alihtimalat-badal-kitabat-alahkam/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU · FOUNDER · ENGINEER