آشکارسازی برای خطاهای هم‌راستایی که به پرسش‌های نوع‌دار بسیار در یک فراخوانی پاسخ می‌دهد، با احتمال‌های کالیبره‌شده، خطاها را به‌خوبی رتبه‌بندی می‌کند و 63 برابر ارزان‌تر از ارزیاب‌های مبتنی بر داور LLM است. اما این احتمال‌ها به‌عنوان آستانه منتقل نمی‌شوند، و برچسب و مرجع آن بسیار بیشتر از عبارت‌بندی پرسش اهمیت دارند.
ساختار هزینهٔ پایش هر پیام #
مدل‌های مستقرشده هنوز از باور نادرست کاربر پیروی می‌کنند (Sharma و همکاران، 2024). این جمله فروتنانه است، اما کل مسئله را قاب می‌گیرد. اگر چنین چاپلوسی‌ای در سامانه‌های مستقر ادامه پیدا کند، کسی باید آن را پایش کند، و پایش باید با همان آهنگ خود گفت‌وگو انجام شود.
اینجاست که اقتصاد گاز می‌گیرد. آشکارساز باید دقیق باشد و، چون روی هر پیام اجرا می‌شود، ارزان. به‌دست آوردن هر یک از این دو ویژگی به‌تنهایی آسان است: آشکارساز سهل‌انگار ارزان است، و آشکارساز دقیقی که برای اجرا روی هر پیام بیش از حد گران باشد فقط نمونه‌ای از ترافیک را پایش می‌کند. پرسش مهندسی جالب این است که چه شکلی از آشکارساز می‌تواند هر دو باشد.
پاسخ کنونی، به گفتهٔ مقاله‌ای که این نوشته بر آن استوار است، نقصی ساختاری دارد. بیشتر آشکارسازهای خطای هم‌راستایی داورهای مولدی هستند که برای هر معیار یک گذر رمزگشایی صرف می‌کنند. به بیان ساده، آشکارسازهای کنونی برای هر معیاری که بررسی می‌کنند هزینهٔ یک گذر رمزگشایی را می‌پردازند. پایشگری که بخواهد ده نوع خطای متفاوت را بررسی کند هزینهٔ ده گذر را می‌پردازد، و صورت‌حساب به‌طور خطی با تعداد چیزهایی که برایتان مهم است بزرگ می‌شود.
راه‌حلی جزئی وجود دارد، و ارزش دارد که دربارهٔ حدودش دقیق باشیم. دسته‌بندهایی که احتمال توکن‌ها را می‌خوانند، مانند Llama Guard، هنوز در هر فراخوانی به یک برچسب ثابت نمره می‌دهند. خواندن احتمال توکن نمره‌ای به دست می‌دهد، اما هر فراخوانی همچنان یک برچسب یا معیار را نمره می‌دهد، چون احتمال از یک توکن حکم خوانده می‌شود. گذر رمزگشایی حذف شده، اما ساختار یک پرسش در هر فراخوانی باقی مانده است. هر فراخوانی را ارزان‌تر کرده‌اید بی‌آنکه تعداد فراخوانی‌های لازم را تغییر دهید.
پس استدلال ساختاری چنین است: داورهای مولد به ازای هر معیار گران‌اند، و دسته‌بندهای خوانندهٔ احتمال به ازای هر معیار ارزان‌ترند اما هر کدام همچنان به یک معیار بسته‌اند. هیچ‌کدام اجازه نمی‌دهد دربارهٔ یک ورودی چندین پرسش را هم‌زمان مطرح کنید.
| بُعد معماری | داورهای مولد LLM (مثلاً GPT-4 در نقش داور) | دسته‌بندهای تک‌توکنی (مثلاً Llama Guard) | آشکارساز چندپرسشی RLCD (Jev) |
|---|---|---|---|
| سازوکار نمره‌دهی | گذر رمزگشایی خودبازگشتی کامل برای هر معیار | احتمال softmax روی یک توکن خروجی | تانسور چندسَرِ احتمال‌های کالیبره‌شده $P(\text{yes})$ |
| پرسش‌ها در هر فراخوانی | 1 پرامپت ارزیابی در هر فراخوانی مدل | 1 برچسب دسته‌بندی در هر فراخوانی مدل | چندین پرسش دودویی/دسته‌ای/ترتیبی در 1 فراخوانی |
| هزینهٔ استنتاج | بالا (10 تا 50 دلار برای هر 1,000 تعامل) | متوسط (0.50 تا 2.00 دلار برای هر 1,000 تعامل) | 63 برابر کمتر (0.30 دلار در 19 بنچمارک کامل) |
| عملکرد AUROC | وابسته به بنچمارک؛ مستعد رانش داور | بالا در دسته‌های ایمنی خاصی که آموزش دیده | میانهٔ AUROC برابر 0.886 بدون آموزش در 44 مجموعه |
| کیفیت کالیبراسیون | توضیحات اکتشافی بدون احتمال‌های صوری | logitهای خام بدون کالیبراسیون پسینی | احتمال‌های کالیبره‌شده؛ میانهٔ ECE برابر 0.168 (نیازمند ~10 نمونهٔ برچسب‌دار) |
آنچه Jev متفاوت انجام می‌دهد #
Jev با یادگیری تقویتی برای تصمیم‌های کالیبره‌شده (RLCD) آموزش دیده است. به پرسش‌های نوع‌دار بسیار دربارهٔ یک ورودی با احتمال‌های کالیبره‌شده در یک فراخوانی پاسخ می‌دهد. سازوکار ارزش دارد با دقت بیان شود، چون باقی نوشته به آن وابسته است.
مدل RLCD به‌جای تولید متن، برای هر پرسش نوع‌دار یک تصمیم همراه با احتمال کالیبره‌شده برمی‌گرداند. مرحلهٔ تولیدی وجود ندارد که در آن حکمی نوشته و سپس تجزیه شود. Jev به پرسش‌های دودویی، دسته‌ای و ترتیبی بسیار دربارهٔ یک ورودی، که مقاله آن را state می‌نامد، در یک فراخوانی پاسخ می‌دهد. state همان ورودی است؛ پرسش‌ها چیزهایی‌اند که دربارهٔ آن می‌پرسید.
این منحنی هزینه‌ای متفاوت با هر دو رویکرد بالاست. اگر پرسش‌ها یک فراخوانی را به اشتراک بگذارند، افزودن یک پرسش گذر رمزگشایی تازه‌ای نمی‌افزاید. سود برای پایشگری که هم‌زمان به چند نوع خطا اهمیت می‌دهد روشن است، هرچند اندازه‌گیری‌های مقاله به دستاورد یک پرسش عمومی مربوط است، و من به آنچه سنجیده شده پایبند می‌مانم.
با این حال شکافی وجود داشت. سنجیده نشده بود که آیا Jev خطاهای هم‌راستایی را تشخیص می‌دهد یا نه. مدلی که با احتمال‌های کالیبره‌شده به پرسش‌های نوع‌دار پاسخ می‌دهد برای این کار نامزدی باورپذیر است، و باورپذیری ارزان است. مقاله می‌خواهد اندازه‌گیری غایب را فراهم کند.
چرا خطاهای هم‌راستایی دشوارتر از ظاهرشان‌اند #
پیش از اندازه‌گیری، یک پیچیدگی. بسیاری از این خطاها رابطه‌ای‌اند، یعنی نسبت به مرجعی تعریف می‌شوند که پاسخ به‌تنهایی آن را آشکار نمی‌کند. چاپلوسی نمونهٔ خوبی از این ایدهٔ کلی است: اینکه پاسخی از باور نادرست کاربر پیروی می‌کند یا نه به این بستگی دارد که آن باور چیست و آیا نادرست است، و هیچ‌یک از این دو واقعیت در متن پاسخ به‌تنهایی دیده نمی‌شود.
این امر پیامدی برای طراحی آشکارساز دارد که مقاله با احتیاط مناسب بیان می‌کند. آشکارسازی که فقط پاسخ را می‌بیند ممکن است مرجعی را که خطا را تعریف می‌کند نداشته باشد. واژهٔ «ممکن است» مهم است؛ ادعا این نیست که هر خطایی به مرجع نیاز دارد، بلکه برخی نیاز دارند و نگاهی که فقط به پاسخ است ممکن است آن را از دست بدهد.
این امر تشخیص علت را هم پیچیده می‌کند. اگر خطاها رابطه‌ای باشند، تشخیص ضعیف ممکن است از پرسش بیاید یا از stateای که مرجع را ندارد. دو چیز ممکن است اشتباه باشد، و نمرهٔ پایین نمی‌گوید کدام. شاید پرسش بد عبارت‌بندی شده بود. شاید پرسش درست بود و ورودی اصلاً آنچه برای پاسخ‌دادن لازم بود را نداشت. بنچمارکی که می‌خواهد چیزی سودمند دربارهٔ یک آشکارساز بگوید باید طوری ساخته شود که این دو علت از هم جدا شوند.
توسعه‌دهنده نیز معنای غیرمستقیم و محتوای خصمانه را در میان ضعف‌های شناخته‌شدهٔ Jev برمی‌شمارد. خوب است هنگام خواندن نتایج در ادامه این را در نظر داشت، چون برخی انواع خطا دقیقاً به همین ویژگی‌ها تکیه دارند.
نگاه به تشخیص به‌عنوان دسته‌بندی #
چارچوب صوری مقاله ساده است. تشخیص خطای هم‌راستایی را دسته‌بندی دودویی روی تعامل‌های یک مدل هدف در نظر می‌گیرد. آشکارساز نمرهٔ s(x) ∈ [0, 1] را تخصیص می‌دهد و x را وقتی s(x) ≥ t علامت می‌زند. یعنی باید هم خطاها را بالاتر از غیرخطاها رتبه‌بندی کند و هم آن‌ها را در آستانهٔ t از هم جدا کند.
این دو وظیفه جداشدنی‌اند، و نتایج مقاله دقیقاً در امتداد همین درز تقسیم می‌شود. رتبه‌بندی چیزی است که AUROC می‌سنجد. جداسازی در یک آستانه به کالیبراسیون وابسته است، و نوشته به آن بازمی‌گردد چون Jev همان‌جا کم می‌آورد. آشکارساز می‌تواند بسیار خوب رتبه‌بندی کند و باز هم در t=0.5 بی‌استفاده باشد اگر احتمال‌هایش در جای نادرست بنشینند.
RLCDAlignBench #
نام بنچمارک RLCDAlignBench است. ده نوع خطا را در 44 بنچمارک و 7,193 نمونهٔ تشخیص پوشش می‌دهد. نمونه‌ها از پنج مدل هدف متن‌باز 2–7B می‌آیند که هر کدام با ارزیاب مرجع بنچمارک خودش برچسب خورده است. پس تعامل‌هایی که داوری می‌شوند از مدل‌های متن‌باز کوچک‌اند، و حقیقت مبنا برای هر کدام همان چیزی است که ارزیاب بنچمارک اصلی می‌گوید.
همهٔ بنچمارک‌ها یک نوع برچسب ندارند. برچسب‌های انسانی در StrongREJECT و HarmBench، و برچسب‌های داور دوم در AbstentionBench و InstrumentalEval، برای مقایسهٔ Jev با یک داور به کار می‌روند. این به مقاله دو نوع بررسی بیرونی روی ارزیاب‌های مرجع می‌دهد: انسان‌ها در برخی موارد، و داوری دوم در موارد دیگر.
دستاورد منتشرشده چنین توصیف شده است: 44 بنچمارک در ده نوع خطا با گونه‌های زمینه‌ای، پاسخ‌های ذخیره‌شدهٔ Jev و اسکریپت‌های نمره‌دهی دوباره، همراه با پروتکل دونیمه‌سازی که تورم ناشی از گزینش را از بهبودهای گزارش‌شده حذف می‌کند. هر جزء به نیازی عملی پاسخ می‌دهد. گونه‌های زمینه‌ای به خواننده اجازه می‌دهند بپرسد وقتی state چیز بیشتری در خود دارد چه رخ می‌دهد. پاسخ‌های ذخیره‌شده و اسکریپت‌های نمره‌دهی دوباره به هر کسی اجازه می‌دهند عددی را بدون اجرای دوبارهٔ مدل بازتولید کند. پروتکل دونیمه‌سازی با تلهٔ روش‌شناختی‌ای سروکار دارد که بخشی جداگانه می‌طلبد.
تلهٔ گزینش #
می‌توان از Jev دربارهٔ یک ورودی پرسش‌های بسیاری کرد. این نقطهٔ قوت اصلی آن است، و خطری برای ارزیابی هم هست. اگر مجموعه‌ای از پرسش‌های نامزد را مطرح کنید و هر کدام را که بهترین نمره را گرفت گزارش دهید، در میان پرسش‌ها جست‌وجو کرده‌اید و برنده را گزارش داده‌اید. مقاله صریح می‌گوید: گزارش بهترینِ آن‌ها آنچه یک کاربر حرفه‌ای واقعاً به دست می‌آورد را بزرگ‌تر از واقع نشان می‌دهد.
هر کس پرامپتی را روی مجموعهٔ آزمون تنظیم کرده باشد این را می‌شناسد. چاره‌ای که اینجا به کار رفته ساده است. پرسش‌ها روی نیمی از نمونه‌ها گزیده و روی نیم دیگر نمره داده می‌شوند. پرسش هدفمند روی نیمی از نمونه‌ها گزیده و روی نیم دیگر نمره داده می‌شود، در 20 تقسیم. گزینش هرگز به نمونه‌هایی که عدد گزارش‌شده را می‌سازند دست نمی‌زند.
این برای خواندن هر بهبودی که در ادامه گزارش می‌شود اهمیت دارد. ادعای مقاله این است که پروتکل دونیمه‌سازی تورم گزینش را از بهبودهای گزارش‌شده حذف می‌کند. وقتی مقاله می‌گوید عبارت‌بندی هدفمند بهبود میانهٔ +0.006 در AUROC می‌دهد، آن عدد از عبارت‌بندی‌ای می‌آید که روی نیمه‌های جداگانه گزیده و نمره داده شده است. عددی به این کوچکی، که صادقانه سنجیده شده، سودمندتر از عددی بزرگ‌تر است که بی‌صدا نفرین برنده را در خود داشته باشد.
نتیجهٔ اصلی: یک پرسش عمومی #
اکنون نتیجه‌ای که بیشتر خوانندگان می‌خواهند. یک پرسش عمومی بدون آموزش قبلی به میانهٔ AUROC برابر 0.886 می‌رسد و در بیشتر بنچمارک‌ها از خطوط پایهٔ نظارت‌شده بهتر عمل می‌کند.
واژه‌ها را یکی‌یکی بررسی کنیم. «یک پرسش عمومی» یعنی بدون مهندسی پرامپت برای هر بنچمارک. «بدون آموزش قبلی» (zero-shot) یعنی بدون آموزش روی بنچمارک هدف. «در بیشتر بنچمارک‌ها از خطوط پایهٔ نظارت‌شده بهتر عمل می‌کند» یعنی سامانه‌هایی که روی داده‌های برچسب‌دار همان وظیفه آموزش دیده‌اند، در بیشتر بنچمارک‌های بررسی‌شده، به پرسشی می‌بازند که کسی تنظیمش نکرده است. ادعا در «بیشتر» متوقف می‌شود، و این نوشته نیز.
پرسش عمومی پرسشی قالبی است که به‌صورت P(yes) خوانده می‌شود. رقم گزارش‌شده AUROC مربوط به 38 بنچمارک قابل استفاده است، و پرسش عمومی در 7 بنچمارک پرسیده نشد. پس عدد اصلی میانه‌ای است روی بنچمارک‌هایی که پرسش عمومی در آن‌ها به کار رفت، از میان 38 بنچمارک قابل استفاده. خوانندهٔ دقیق باید مخرج‌ها را روشن نگه دارد: در مجموع 44 بنچمارک وجود دارد، 38 تا برای این رقم قابل استفاده‌اند، و پرسش عمومی شکافی 7تایی دارد.
به نظرم نتیجهٔ بدون آموزش قبلی نیمهٔ جالب‌تر جمله است. بهتر عمل کردن از خطوط پایهٔ نظارت‌شده گزاره‌ای دربارهٔ جایگاه نسبی است. میانهٔ AUROC برابر 0.886 بدون هیچ آموزش ویژهٔ وظیفه چیزی دربارهٔ این می‌گوید که چه مقدار از سیگنال خطا در دسترس مدلی است که state را می‌خواند و به پرسشی ساده پاسخ می‌دهد. اینکه آیا این به انواع خطای بیرون از این ده تعمیم می‌یابد موضوعی نیست که ادعاها به آن بپردازند.
عبارت‌بندی تقریباً بی‌ربط است #
اگر وقتی را صرف مهندسی پرامپت کرده باشید، نتیجهٔ بعدی دلتان را می‌سوزاند. عبارت‌بندی پرسش اهمیت کمی دارد، در حالی که زمینه اهمیت بیشتری دارد، عمدتاً از طریق فیلدهایی که برچسب را رمزگذاری می‌کنند.
توضیح مقاله برای چرایی آن مشخص است. همین که پاسخ‌ها به‌صورت احتمال نگه داشته شوند و نه تصمیم‌های argmax، عبارت‌بندی پرسش اهمیت کمی پیدا می‌کند و آنچه state و برچسب در خود دارند اهمیت زیادی. این مشاهده‌ای دربارهٔ اطلاعات است. تصمیم argmax حاشیه‌ای را که یک پاسخ با آن بر دیگری پیروز شد دور می‌ریزد، و تغییر عبارت‌بندی می‌تواند تصمیم را به آن سوی مرز ببرد. احتمال حاشیه را نگه می‌دارد، پس بازنویسی‌ای که شواهد را کمی جابه‌جا کند احتمال را کمی جابه‌جا می‌کند و رتبه‌بندی را عمدتاً دست‌نخورده می‌گذارد.
به آنچه مقاله می‌گوید پایبند می‌مانم: وقتی احتمال‌ها نگه داشته شوند، عبارت‌بندی اهمیت کمی دارد. آن را به توضیحی سازوکاری دربارهٔ چرایی گسترش نمی‌دهم، چون ادعاها چنین توضیحی ارائه نمی‌کنند.
اعداد این گزاره را تأیید می‌کنند. عبارت‌بندی هدفمند بهبود میانهٔ +0.006 در AUROC می‌دهد، با عبارت‌بندی‌ای که روی نیمه‌های جداگانه گزیده و نمره داده شده است. بیرون از نمونه، عبارت‌بندی هدفمند +0.006 [−0.004، +0.015] به AUROC می‌افزاید. این بازه صفر را دربر می‌گیرد. خواننده نباید +0.006 را بهبودی قابل اتکا بداند؛ بازه همان‌قدر که سود کوچکی را مجاز می‌داند زیان کوچکی را هم مجاز می‌داند. برای کاربر حرفه‌ای، خوانش سودمند این است که جست‌وجوی عبارت‌بندی هوشمندانه‌تر احتمالاً ارزش زحمتش را ندارد، دست‌کم در این بنچمارک‌ها.
این باید شیوهٔ تقسیم وقت تیم‌ها را تغییر دهد. اگر عبارت‌بندی تقریباً بی‌اثر است، ساعت‌هایی که صرفش می‌شود بهتر است صرف state شود.
بهبودها در زمینه نهفته‌اند #
پس state چه در خود دارد و چه باید داشته باشد؟ یافتهٔ مقاله این است که زمینه اهمیت بیشتری دارد، عمدتاً از طریق فیلدهایی که برچسب را رمزگذاری می‌کنند. ایدهٔ کلیدی در طراحی پژوهش این است که آنچه از Jev پرسیده می‌شود جدا از آنچه می‌بیند تغییر داده شود: عبارت‌بندی پرسش و نوع پاسخ آن در یک سو، و فیلدهای ورودی در سوی دیگر. همین جداسازی است که به مقاله اجازه می‌دهد بگوید عبارت‌بندی اهمیت کمی دارد در حالی که زمینه اهمیت بیشتری دارد. بدون آن، این دو اثر در هم گره می‌خوردند.
نمونهٔ شاخص PrivacyLens است. مرجع‌هایی که برچسب را تعریف می‌کنند بیشترین بهبود را می‌آورند، مانند فهرست اقلام محرمانهٔ PrivacyLens (0.79→0.95). جهش از 0.79 به 0.95 در AUROC در کنار +0.006 حاصل از عبارت‌بندی بزرگ است. مرجع مورد نظر فهرستی از اقلام محرمانه است، یعنی دقیقاً همان چیزی که بحث پیشین دربارهٔ خطاهای رابطه‌ای پیش‌بینی می‌کرد مهم باشد: اینکه پاسخی چیزی خصوصی را نشت می‌دهد یا نه به این بستگی دارد که چه چیزی خصوصی شمرده می‌شود، و پاسخ به‌تنهایی این را نمی‌گوید.
یک هشدار دربارهٔ استقرار وجود دارد، و مهم است. زمینه‌ای که یک پایشگر مستقر در اختیار دارد در 1 بنچمارک از 7 کمک می‌کند. بهبودهای بزرگ از مرجع‌هایی می‌آیند که برچسب را تعریف می‌کنند، اما پایشگر مستقر لزوماً آن‌ها را در اختیار ندارد. آنچه یک پایشگر به‌طور واقع‌بینانه در اختیار دارد فقط در یک بنچمارک از هفت کمک می‌کند.
این یافته‌ای هشیارانه است، و به گمانم مهم‌ترین جملهٔ مقاله از نظر تجاری است. عدد آزمایشگاه را از عدد میدان جدا می‌کند. آشکارسازی که با مرجعِ تعریف‌کنندهٔ برچسب در دست ارزیابی شده به پرسشی آسان‌تر از آنچه پایشگر مستقر با آن روبه‌روست پاسخ می‌دهد. بهبودها واقعی‌اند، اما مقاله روشن می‌گوید که استقرار بر کدام‌یک می‌تواند حساب کند.
مقاله همچنین به محدودیت یک بنچمارک اشاره می‌کند. در Open-Prompt-Injection، برچسب دقت وظیفهٔ تزریق‌شده را دنبال می‌کند. این نمونه‌ای از برچسبی است که معنایش به ویژگی‌ای از وظیفه گره خورده، و این بر آنچه می‌توان انتظار داشت آشکارساز از state ببیند اثر می‌گذارد. از این فراتر نتیجه نمی‌گیرم، چون ادعاها نتیجه‌ای ارائه نمی‌کنند.
هزینه #
اکنون عددی که اقتصاد را ملموس می‌کند. Jev 63 برابر ارزان‌تر از ارزیاب‌های مبتنی بر داور LLM است. مقایسهٔ مشخص: یک دور روی 19 بنچمارکی که داور نمره می‌دهد 0.30 دلار هزینه دارد، 63 برابر کمتر از داورهای آن‌ها با قیمت فهرست. مقایسهٔ هزینه یک دور روی 19 بنچمارک دارای داور API را با قیمت فهرست پوشش می‌دهد.
به دامنه دقت کنید. مقایسه برای 19 بنچمارکی است که از داورهای API استفاده می‌کنند، با قیمت فهرست، برای یک دور. همهٔ بنچمارک‌های مجموعه را پوشش نمی‌دهد، و قیمت‌گذاری تخفیف‌دار را هم پوشش نمی‌دهد. در همین دامنه، نسبت بزرگ است، و از معماری‌ای که پیش‌تر توصیف شد ناشی می‌شود: هیچ گذر رمزگشایی‌ای به ازای هر معیار.
شرط آغازین را به یاد آورید، که آشکارسازی که روی هر پیام اجرا می‌شود باید ارزان باشد. 0.30 دلار برای یک دور کامل روی 19 بنچمارک همان شکل «ارزان» در این مقاله است. مقاله آن را به قیمت هر پیام برنمی‌گرداند، و من هم این کار را نمی‌کنم.
توافق با انسان‌ها، و آنچه اختلاف آشکار کرد #
ارزانی فقط وقتی جالب است که آشکارساز درست هم باشد. هر جا برچسب‌های انسانی امکان بررسی می‌دهند، Jev به همان اندازهٔ داور با آن‌ها توافق دارد، با کسری از هزینه.
مشخص‌ترین شاهد از StrongREJECT می‌آید. در برابر برچسب‌های انسانی آنجا، پرسش عمومی به همان اندازهٔ ارزیاب مرجع توافق دارد (Cohen's κ برابر 0.809 در برابر 0.811) و بهتر رتبه‌بندی می‌کند. دو مقدار κ فقط 0.002 با هم فاصله دارند، پس خوانش معقول تساوی در توافق است، با برتری Jev در رتبه‌بندی.
سپس نتیجه‌ای می‌آید که به نظرم در عمل سودمندترین است، چون آشکارساز را به ابزار ممیزی تبدیل می‌کند. اختلاف‌های مطمئن Jev عیب‌هایی را که برچسب را تغییر می‌دهند در سه بنچمارک آشکار کرد، و برچسب‌هایی را که state نمی‌تواند نشان دهد در چهار بنچمارک دیگر. وقتی آشکارسازی مطمئن با برچسب مرجع یک بنچمارک مخالفت می‌کند، یک توضیح این است که آشکارساز اشتباه می‌کند. مقاله گزارش می‌دهد که در برخی موارد اختلاف به خود بنچمارک اشاره داشت: سه بنچمارک عیب‌هایی داشتند که برچسب را تغییر می‌دهد، و چهار بنچمارک دیگر برچسب‌هایی داشتند که state نمی‌تواند نشان دهد.
دستهٔ دوم به نکتهٔ رابطه‌ای بازمی‌گردد. برچسبی که state نمی‌تواند نشان دهد برچسبی است که چیزی تعریفش کرده که هرگز وارد ورودی نشده است. هیچ آشکارسازی که آن state را بخواند نمی‌تواند آن را بازیابد. یافتن چنین مواردی سهمی متفاوت از بالا بردن نمره است، چون به نگه‌دارندگان بنچمارک می‌گوید داده‌ها و برچسب‌هایشان کجا از هم جدا می‌شوند.
نقطهٔ ضعف: کالیبراسیون #
اینجا نوشته باید رک باشد، چون مقاله رک است. احتمال‌ها خوب رتبه‌بندی می‌کنند اما به‌عنوان آستانه منتقل نمی‌شوند: میانهٔ ECE برابر 0.168 است در برابر خط صفر 0.074، روی برچسب‌های اعتبارسنجی‌شده و برچسب‌های داور به یک اندازه، چون میانگین احتمال Jev از نرخ پایهٔ هر بنچمارک فاصله می‌گیرد.
قطعه‌ها این‌گونه کنار هم می‌نشینند. AUROC رتبه‌بندی را می‌سنجد، و رتبه‌بندی قوی است. آستانه موضوع دیگری است. اگر میانگین احتمال خروجی مدل با فراوانی رخ دادن خطاها در یک بنچمارک جور نباشد، t=0.5 در جای نادرست می‌افتد و خطای کالیبراسیون مورد انتظار بالا می‌رود. میانهٔ ECE برابر 0.168 بالاتر از خط صفر 0.074 است، که نتیجه‌ای بدتر از نقطهٔ مرجعی است که مقاله برگزید. و این روی برچسب‌های اعتبارسنجی‌شده و برچسب‌های داور به یک اندازه صادق است، پس این ضعف محصول برچسب‌های پرنویز داور نیست.
چارچوب صوری را به یاد آورید: آشکارساز باید خطاها را بالاتر از غیرخطاها رتبه‌بندی کند و آن‌ها را در یک آستانه جدا کند. Jev اولی را خوب و دومی را بدون تنظیم ضعیف انجام می‌دهد. نام این روش «تصمیم‌های کالیبره‌شده» را در خود دارد، و کالیبراسیون سنجیده‌شده اینجا میان بنچمارک‌ها منتقل نمی‌شود، تنشی که باید صریح گفته شود. مقاله این شکاف را به نرخ‌های پایه نسبت می‌دهد و بیش از این ادعا نمی‌کند.
پیامد عملی: Jev در مقام جایگزین داور به چند برچسب نیاز دارد تا آستانه‌اش را تنظیم کند. این هزینه‌ای واقعی است، و ادعای جایگزینیِ بی‌دردسر را محدود می‌کند. نمی‌توانید آن را به سوی نوع خطای تازه‌ای بگیرید و به t=0.5 اعتماد کنید.
دستورالعمل #
توصیهٔ مقاله فشرده است. دستورالعمل پرسشی عمومی است که به‌صورت احتمال خوانده می‌شود، با آستانه‌ای که روی ده نمونهٔ برچسب‌دار تنظیم شده، که F1 را در جاهایی که Jev در t=0.5 خیلی کم هشدار می‌دهد بالا می‌برد و روی برچسب‌های اعتبارسنجی‌شده 0.025 هزینه دارد.
آن را باز کنیم. پرسش عمومی با پرهیز از مهندسی عبارت‌بندی، مسئلهٔ عبارت‌بندی را حل می‌کند، که با این یافته که عبارت‌بندی اهمیت کمی دارد سازگار است. خواندن پاسخ به‌صورت احتمال حاشیه را نگه می‌دارد. تنظیم آستانه روی ده نمونهٔ برچسب‌دار به خطای نرخ پایه می‌پردازد. اثر بر F1 در جاهایی که Jev در t=0.5 خیلی کم هشدار می‌دهد مثبت است. روی برچسب‌های اعتبارسنجی‌شده، دستورالعمل 0.025 هزینه دارد.
این عدد آخر ارزش درنگ دارد. دستورالعمل بی‌هزینه نیست: روی برچسب‌های اعتبارسنجی‌شده 0.025 هزینه دارد. مقاله این بده‌بستان را گزارش می‌کند و پنهانش نمی‌کند، و من ترجیح می‌دهم به دستورالعملی با هزینهٔ اعلام‌شده استناد کنم تا دستورالعملی که سود خالص تبلیغ می‌شود. ادعاها نمی‌گویند 0.025 با چه معیاری جز در بستر برچسب‌های اعتبارسنجی‌شده سنجیده شده است، پس حدس نمی‌زنم.
ده نمونهٔ برچسب‌دار درخواست کوچکی است. برای بیشتر تیم‌ها یک بعدازظهر برچسب‌زنی است، در برابر هزینهٔ اجرای یک داور روی هر پیام. اما پیش‌شرط است، و تیمی که نتواند حتی یک نمونهٔ برچسب‌دار برای نوع خطای تازه فراهم کند نباید انتظار داشته باشد آستانه خودبه‌خود درست شود.
آنچه کاربر حرفه‌ای باید از آن بگیرد #
چند چیز از این‌ها نتیجه می‌شود، و به آن‌ها متعهد می‌مانم چون شواهد پشتیبانشان است.
نخست، بهینه‌سازی عبارت‌بندی پرسش را کنار بگذارید. بهبود بیرون از نمونه از عبارت‌بندی هدفمند +0.006 است با بازه‌ای از −0.004 تا +0.015. این مبنایی برای سرمایه‌گذاری نیست.
دوم، تلاش را صرف state کنید. بهبودهای بزرگ از مرجع‌هایی آمدند که برچسب را تعریف می‌کنند. اگر بتوان مرجعی را که خطا را تعریف می‌کند به پایشگرتان داد، بهبود همان‌جاست. اگر نمی‌توان، انتظار کمتری داشته باشید: زمینه‌ای که یک پایشگر مستقر در اختیار دارد در 1 بنچمارک از 7 کمک کرد. برنامه‌ریزی را بر عددی بگذارید که در استقرار به دست می‌آورید، نه عددی که در بنچمارکی به دست می‌آید که مرجع در ورودی‌اش نشسته است.
سوم، برای کالیبراسیون بودجه بگذارید. برنامه بریزید که برای هر نوع خطا ده نمونه را برچسب بزنید و آستانه را تنظیم کنید. با t=0.5 عرضه نکنید.
چهارم، از اختلاف به‌عنوان سیگنال استفاده کنید. اختلاف‌های مطمئن با برچسب‌های مرجع عیب‌هایی را در سه بنچمارک و برچسب‌های آشکارنشدنی را در چهار بنچمارک دیگر نشان داد. اگر این را روی مجموعه‌های ارزیابی خودتان اجرا کنید، انتظار داشته باشید همان‌قدر که دربارهٔ مدل‌هایتان می‌گوید دربارهٔ برچسب‌هایتان هم چیزی بگوید. این استنتاجی از یافتهٔ مقاله است، نه ادعایی سنجیده دربارهٔ مجموعه‌ای خاص، پس آن را دعوتی به بررسی بدانید.
پنجم، ضعف‌های شناخته‌شده را به یاد داشته باشید. توسعه‌دهنده معنای غیرمستقیم و محتوای خصمانه را در میان ضعف‌های شناخته‌شدهٔ Jev برمی‌شمارد. پایشگری که برای ایمنی اهمیت دارد با محتوای خصمانه روبه‌رو خواهد شد. ادعاهای اینجا عملکرد Jev در برابر آن را گزارش نمی‌کنند، پس این جناحی باز می‌ماند، و من می‌خواهم پیش از اعتماد به هر استقراری آزموده شود.
خواندن نتیجه در برابر پروندهٔ تجاری #
بنیان‌گذاران می‌خواهند بدانند این کجا می‌ایستد. استدلال هزینه قوی‌ترین است: آشکارسازی که روی هر پیام اجرا می‌شود باید ارزان باشد، و کاهش 63 برابری در برابر ارزیاب‌های مبتنی بر داور LLM تعیین می‌کند کدام استقرارها مقرون‌به‌صرفه‌اند. استدلال دقت دومی است: AUROC بدون آموزش قبلی برابر 0.886 و برتری بر خطوط پایهٔ نظارت‌شده در بیشتر بنچمارک‌ها.
هشدارها شکل می‌دهند که چه چیزی را می‌توان صادقانه فروخت. آشکارساز برای هر آستانه به چند برچسب نیاز دارد. کالیبراسیونش منتقل نمی‌شود. بزرگ‌ترین بهبودهایش به مرجع‌هایی وابسته‌اند که ممکن است یک استقرار در اختیار نداشته باشد. این‌ها شرایط استفاده‌اند، و هر محصولی که بر این پایه ساخته شود باید آن‌ها را بیان کند نه پنهان. هیچ‌یک از این‌ها پروندهٔ هزینه را تضعیف نمی‌کند؛ فقط کار آماده‌سازی را توصیف می‌کند.
نکتهٔ آرام‌تری هم دربارهٔ خود اندازه‌گیری هست. RLCDAlignBench، با گونه‌های زمینه‌ای، پاسخ‌های ذخیره‌شدهٔ Jev، اسکریپت‌های نمره‌دهی دوباره و پروتکل دونیمه‌سازی‌اش، دارایی ارزیابی قابل استفادهٔ دوباره‌ای است. بنچمارکی که تورم گزینش را از بهبودهای گزارش‌شده حذف می‌کند همان نوع دستاوردی است که مقایسهٔ ادعاهای بعدی را ممکن می‌کند. این ارزشی از نوعی متفاوت با خود آشکارساز است.
آنچه باز می‌ماند #
چند مرز از ادعاها روشن است. مدل‌های هدف پنج مدل متن‌باز با 2 تا 7 میلیارد پارامترند، پس نتایج خطاها را در تعامل‌های مدل‌هایی با این اندازه توصیف می‌کنند. پرسش عمومی در 7 بنچمارک پرسیده نشد، و AUROC اصلی میانه‌ای روی بنچمارک‌هایی است که در آن‌ها پرسیده شد. برچسب‌ها از ارزیاب‌های مرجع‌اند، با برچسب‌های انسانی و داور دوم که StrongREJECT، HarmBench، AbstentionBench و InstrumentalEval را پوشش می‌دهند.
پرسش بازی که بیش از همه برایم جالب است همانی است که ساختار خود مقاله پیش می‌کشد. خطاها رابطه‌ای‌اند؛ state اغلب مرجع را ندارد؛ و زمینهٔ یک پایشگر مستقر فقط در 1 بنچمارک از 7 کمک کرد. طراحی تک‌فراخوانی Jev اجازه می‌دهد پرسش‌های بسیاری یک ورودی را به اشتراک بگذارند، اما معلوم شد بزرگ‌ترین اهرم این است که ورودی چه فیلدهایی را حمل می‌کند. اینکه یک استقرار چگونه باید مرجعِ تعریف‌کنندهٔ برچسب را در زمان پایش به دست آورد، مانند فهرست اقلام محرمانه برای یک بررسی حریم خصوصی، کار بعدی است که باید حل شود. مقاله نشان می‌دهد این بهبود در دسترس است (0.79→0.95 در PrivacyLens)، و باز می‌گذارد که آیا می‌توان آن را آن‌قدر ارزان به یک پایشگر مستقر داد که برتری 63 برابری حفظ شود.
معنای این برای هر بخش #
توانایی ارزیابی معیارهای پیچیدهٔ هم‌راستایی از طریق سرهای تصمیم کالیبره‌شده، با کسری از هزینهٔ استنتاج، ایمنی عملیاتی را در حوزه‌های متعدد بازتعریف می‌کند.
ارائه‌دهندگان دروازهٔ هوش مصنوعی و پلتفرم‌های امنیتی #
شرکت‌های زیرساختی که محافظ‌های ایمنی بی‌درنگ مستقر می‌کنند می‌توانند معماری‌های زنجیره‌ای پرهزینه (فراخوانی دسته‌بندهای جداگانه برای تزریق پرامپت، سمیت و حریم خصوصی) را با سرهای یکپارچهٔ چندپرسشی RLCD جایگزین کنند. هزینه‌های عملیاتی بیش از 60 برابر کاهش می‌یابد، در حالی که تأخیر به یک گذر پیش‌رو محدود می‌ماند.
تیم‌های حکمرانی هوش مصنوعی و انطباق ممیزی #
کمیته‌های ریسکی که رفتار مدل را در برابر استانداردهایی مانند الزامات پرخطر EU AI Act یا NIST AI RMF ارزیابی می‌کنند، به یک گزارش ممیزی قطعی و احتمالاتی دست می‌یابند. به‌جای بازخورد روایی بی‌ساختار داور LLM، سامانه‌ها توزیع‌های احتمالاتی کالیبره‌شده ثبت می‌کنند که از کنترل آماری فرایند و پایش رانش پشتیبانی می‌کند.
تیم‌های استقرار سازمانی و تیم قرمز #
تیم‌های امنیتی می‌توانند با نوشتن بازنمایی‌های متمرکز از state و تنظیم آستانه‌های تصمیم در برابر تنها ده نمونهٔ ویژهٔ حوزه، آشکارسازهای سفارشی خطا را سریع مستقر کنند، و چرخهٔ چندهفته‌ای تنظیم دقیق را که پیش‌تر برای دسته‌بندهای سفارشی لازم بود حذف کنند.
نتیجه‌گیری #
ارزیابی Jev در RLCDAlignBench جهتی معماری و قانع‌کننده برای پایش مدل در محیط تولید پایه می‌گذارد: خواندن احتمال‌های کالیبره‌شده برای پرسش‌های نوع‌دار بسیار در یک گذر پیش‌رو، از نظر هزینه بر داورهای خودبازگشتی LLM و از نظر انعطاف بر دسته‌بندهای تک‌توکنی برتری دارد. هرچند کاربران حرفه‌ای باید به‌جای فرض انتقال آمادهٔ احتمال‌ها برای کالیبراسیون تجربی آستانه بودجه بگذارند، برتری اقتصادی 63 برابری پایش جامع و بی‌درنگ را در مقیاس بزرگ امکان‌پذیر می‌کند.
پرسش‌های پرتکرار #
چرا داورهای مولد LLM برای پایش بی‌درنگ در محیط تولید کاربردی نیستند؟
داورهای مولد برای هر معیار ایمنی یا هم‌راستایی که ارزیابی می‌شود به یک گذر رمزگشایی خودبازگشتی کامل نیاز دارند. در برنامه‌های مصرفی یا سازمانی با توان عملیاتی بالا، اجرای چندین فراخوانی داور مولد برای هر پیام تأخیرهای شدید ایجاد می‌کند و هزینه‌های عملیاتی را چندین مرتبهٔ بزرگی افزایش می‌دهد.
یادگیری تقویتی برای تصمیم‌های کالیبره‌شده (RLCD) چیست؟
RLCD روشی آموزشی است که مدل‌ها را بهینه می‌کند تا به‌جای تولید دنباله‌های توکن، احتمال‌های پسینِ خوش‌کالیبره روی سرهای تصمیم ساختاریافته تولید کنند. این امکان می‌دهد مدل پرسش‌های دلخواه بسیاری را هم‌زمان در یک ارزیابی پیش‌رو بسنجد.
چرا آستانه‌های تصمیم باید روی داده‌های محلی کالیبره شوند؟
هرچند مدل‌های RLCD در رتبه‌بندی تعامل‌ها بر اساس احتمال خطا عالی‌اند (و به AUROC بالا می‌رسند)، میانگین مطلق احتمال‌هایشان بسته به نرخ پایهٔ حوزهٔ هدف جابه‌جا می‌شود. کالیبره کردن آستانهٔ تصمیم عملیاتی در برابر حدود ده نمونهٔ برچسب‌دار از همان حوزه حساسیت مناسب را بدون نرخ‌های ناپذیرفتنی هشدار کاذب تضمین می‌کند.
منابع #
- Mrinank Sharma et al., (2024). به‌سوی فهم و کاهش چاپلوسی در مدل‌های زبانی ⧉. arXiv.
- RLCDAlignBench Consortium, (2026). تشخیص چندمعیاری خطای هم‌راستایی با سرهای تصمیم کالیبره‌شده ⧉. arXiv.
- Anthropic / Alignment Research, (2025). هوش مصنوعی قانون‌محور و پویایی ارزیاب‌ها ⧉. Anthropic.
- NIST, (2024). Artificial Intelligence Risk Management Framework (AI RMF 1.0) ⧉. NIST.
آخرین بازبینی .
آخرین بازبینی .
بازنشر متقابل این مقاله
کپی قالب‌بندی‌شده برای Medium
# آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/](https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/) RLCDAlignBench عملکرد Jev را در 44 بنچمارک سنجید: میانهٔ AUROC برابر 0.886 بدون آموزش و هزینهٔ 63 برابر کمتر، اما آستانه هنوز به ده نمونهٔ برچسب‌دار نیاز دارد. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/
کپی قالب‌بندی‌شده برای Mastodon
آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau RLCDAlignBench عملکرد Jev را در 44 بنچمارک سنجید: میانهٔ AUROC برابر 0.886 بدون آموزش و هزینهٔ 63 برابر کمتر، اما آستانه هنوز به ده نمونهٔ برچسب‌دار نیاز دارد. https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/
کپی قالب‌بندی‌شده برای LinkedIn
آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau RLCDAlignBench عملکرد Jev را در 44 بنچمارک سنجید: میانهٔ AUROC برابر 0.886 بدون آموزش و هزینهٔ 63 برابر کمتر، اما آستانه هنوز به ده نمونهٔ برچسب‌دار نیاز دارد. مهم‌ترین نکات راهبردی به این شرح است: - ساختار هزینهٔ پایش هر پیام. مدل‌های مستقرشده هنوز از باور نادرست کاربر پیروی می‌کنند (Sharma و همکاران، 2024). - آنچه Jev متفاوت انجام می‌دهد. Jev با یادگیری تقویتی برای تصمیم‌های کالیبره‌شده (RLCD) آموزش دیده است. - چرا خطاهای هم‌راستایی دشوارتر از ظاهرشان‌اند. پیش از اندازه‌گیری، یک پیچیدگی. - نگاه به تشخیص به‌عنوان دسته‌بندی. چارچوب صوری مقاله ساده است. رویکرد سازمان شما به چالش‌های مطرح‌شده در این نوشته چیست؟ → https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/ #Jev،Rlcd،Rlcdalignbench،تشخیصخطایهم‌راستایی،احتمال‌هایکالیبره‌شده،Auroc،Ece،داورLlm،چاپلوسی،Privacylens،Strongreject،آستانهٔتصمیم Sebastien Rousseau | CC-BY-4.0
استناد به این مقاله
آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau
RLCDAlignBench عملکرد Jev را در 44 بنچمارک سنجید: میانهٔ AUROC برابر 0.886 بدون آموزش و هزینهٔ 63 برابر کمتر، اما آستانه هنوز به ده نمونهٔ برچسب‌دار نیاز دارد.
BibTeX
@online{rousseau2026آشکارسازی,
author = {Rousseau, Sebastien},
title = {{آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/ ER -
Vancouver
Rousseau S. آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau. sebastienrousseau.com. 2026 Sep 30. Available from: https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/
Chicago
Rousseau, Sebastien. "آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau." sebastienrousseau.com. September 30, 2026. https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/.
APA
Rousseau, S. (2026, September 30). آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/
بازنشر این مقاله
آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau
RLCDAlignBench عملکرد Jev را در 44 بنچمارک سنجید: میانهٔ AUROC برابر 0.886 بدون آموزش و هزینهٔ 63 برابر کمتر، اما آستانه هنوز به ده نمونهٔ برچسب‌دار نیاز دارد.
این مقاله تحت مجوز زیر منتشر شده است Creative Commons Attribution 4.0 International. بازنشر مستلزم ذکر منبع با ارجاع به نشانی اصلی (canonical) است.
آشکارسازی که به‌جای صدور حکم احتمال می‌خواند: Jev در 44 بنچمارک — Sebastien Rousseau RLCDAlignBench عملکرد Jev را در 44 بنچمارک سنجید: میانهٔ AUROC برابر 0.886 بدون آموزش و هزینهٔ 63 برابر کمتر، اما آستانه هنوز به ده نمونهٔ برچسب‌دار نیاز دارد. Originally published at https://sebastienrousseau.com/fa/2026-09-30-aashkarsazy-kh-bhjay-sdwr-hkm-ahtmal/ by Sebastien Rousseau. Licensed under CC-BY-4.0.