Detektor yang membaca probabilitas, bukan vonis: Jev di 44 benchmark

Detektor kegagalan penyelarasan ini menjawab banyak pertanyaan bertipe dalam satu panggilan dengan probabilitas terkalibrasi, mengurutkan kegagalan dengan baik, dan 63× lebih murah daripada penilai LLM-judge. Namun probabilitas itu tidak bisa dipakai langsung sebagai ambang, dan label beserta acuannya jauh lebih menentukan daripada rumusan pertanyaan.

Struktur biaya mengawasi setiap pesan #

Model yang sudah dipakai di produksi masih tunduk pada keyakinan keliru penggunanya (Sharma et al., 2024). Kalimat itu sederhana, tetapi membingkai seluruh persoalan. Jika sikofansi semacam itu bertahan di sistem yang sudah berjalan, seseorang harus mengawasinya, dan pengawasan itu harus berlangsung seirama dengan percakapan itu sendiri.

Di situlah ekonominya terasa. Detektor harus akurat dan, karena berjalan di setiap pesan, murah. Masing-masing sifat itu mudah didapat secara terpisah: detektor yang asal-asalan itu murah, sedangkan detektor cermat yang terlalu mahal untuk dijalankan di setiap pesan hanya mengawasi sampel lalu lintas. Pertanyaan rekayasa yang menarik adalah bentuk detektor seperti apa yang bisa memenuhi keduanya.

Jawaban saat ini, menurut makalah yang menjadi dasar artikel ini, punya cacat struktural. Sebagian besar detektor kegagalan penyelarasan adalah juri generatif yang menghabiskan satu putaran dekode untuk setiap kriteria. Terus terang saja, detektor saat ini membayar satu putaran dekode untuk setiap kriteria yang mereka periksa. Pemantau yang ingin memeriksa sepuluh jenis kegagalan berbeda membayar sepuluh putaran, dan tagihannya tumbuh linear seiring jumlah hal yang Anda pedulikan.

Ada perbaikan parsial, dan batasnya perlu dijelaskan dengan tepat. Pengklasifikasi yang membaca probabilitas token, seperti Llama Guard, tetap menilai satu label tetap per panggilan. Membaca probabilitas token memang menghasilkan skor, tetapi setiap panggilan tetap menilai satu label atau kriteria, karena probabilitasnya dibaca dari satu token vonis. Putaran dekode hilang, tetapi struktur satu pertanyaan per panggilan tetap ada. Setiap panggilan menjadi lebih murah tanpa mengubah berapa banyak panggilan yang Anda perlukan.

Jadi klaim strukturalnya begini: juri generatif mahal per kriteria, dan pengklasifikasi pembaca probabilitas lebih murah per kriteria tetapi masing-masing tetap terikat pada satu kriteria. Tidak satu pun memungkinkan Anda mengajukan banyak pertanyaan tentang input yang sama sekaligus.

Dimensi Arsitektur	Juri LLM Generatif (mis. GPT-4 sebagai Juri)	Pengklasifikasi Token Tunggal (mis. Llama Guard)	Detektor RLCD Multi-Kueri (Jev)
Mekanisme Penilaian	Satu putaran dekode autoregresif penuh per kriteria	Probabilitas softmax atas satu token keluaran	Tensor probabilitas terkalibrasi multi-head $P(\text{yes})$
Pertanyaan per Panggilan	1 prompt evaluasi per pemanggilan model	1 label klasifikasi per pemanggilan model	Banyak pertanyaan biner/kategoris/ordinal dalam 1 panggilan
Biaya Inferensi	Tinggi ($10–$50 per 1.000 interaksi)	Sedang ($0,50–$2,00 per 1.000 interaksi)	63× lebih rendah ($0,30 untuk 19 benchmark penuh)
Kinerja AUROC	Bergantung pada benchmark; rentan pergeseran juri	Tinggi pada kategori keamanan tertentu yang dilatih	Median AUROC 0,886 zero-shot di 44 rangkaian
Kualitas Kalibrasi	Penjelasan heuristik tanpa probabilitas formal	Logit kasar tanpa kalibrasi pasca-hoc	Probabilitas terkalibrasi; median ECE 0,168 (perlu sekitar 10 item berlabel)

Apa yang membuat Jev berbeda #

Jev dilatih dengan pembelajaran penguatan untuk keputusan terkalibrasi (RLCD). Ia menjawab banyak pertanyaan bertipe tentang satu input dengan probabilitas terkalibrasi dalam satu panggilan. Mekanismenya perlu dijelaskan dengan cermat, karena sisa artikel ini bergantung padanya.

Model RLCD mengembalikan keputusan beserta probabilitas terkalibrasi untuk setiap pertanyaan bertipe, alih-alih menghasilkan teks. Tidak ada langkah generasi di mana vonis ditulis lalu diurai. Jev menjawab banyak pertanyaan biner, kategoris, dan ordinal tentang satu input, yang oleh makalah disebut state, dalam satu panggilan. State adalah inputnya; pertanyaan adalah hal yang Anda tanyakan tentangnya.

Itu kurva biaya yang berbeda dari kedua pendekatan di atas. Jika pertanyaan berbagi satu panggilan, menambah pertanyaan tidak menambah putaran dekode. Manfaatnya bagi pemantau yang peduli pada beberapa jenis kegagalan sekaligus sudah jelas, meskipun pengukuran makalah menyangkut apa yang dicapai satu pertanyaan umum, dan saya akan tetap berpegang pada apa yang diukur.

Namun ada celah. Apakah Jev mendeteksi kegagalan penyelarasan belum pernah diukur. Model yang menjawab pertanyaan bertipe dengan probabilitas terkalibrasi masuk akal untuk tugas ini, dan masuk akal itu murah. Makalah ini berupaya menyediakan pengukuran yang hilang itu.

Mengapa kegagalan penyelarasan lebih sulit dari kelihatannya #

Sebelum pengukuran, ada satu komplikasi. Banyak kegagalan ini bersifat relasional, didefinisikan terhadap acuan yang tidak terungkap dari respons itu sendiri. Sikofansi menggambarkan gagasan umumnya dengan baik: apakah sebuah respons tunduk pada keyakinan keliru pengguna bergantung pada apa keyakinan itu dan apakah memang keliru, dan tidak satu pun fakta itu terlihat dalam teks respons saja.

Ini berdampak pada desain detektor, yang dinyatakan makalah dengan kehati-hatian yang pantas. Detektor yang hanya melihat respons mungkin tidak memiliki acuan yang mendefinisikan kegagalan. Kata “mungkin” penting; klaimnya bukan bahwa setiap kegagalan memerlukan acuan, hanya bahwa sebagian memerlukannya dan pandangan yang hanya melihat respons bisa melewatkannya.

Ini juga mempersulit diagnosis. Jika kegagalan bersifat relasional, deteksi yang buruk bisa berasal dari pertanyaannya atau dari state yang tidak memuat acuan. Dua hal bisa salah, dan skor rendah tidak memberi tahu yang mana. Mungkin pertanyaannya dirumuskan dengan buruk. Mungkin pertanyaannya baik-baik saja dan inputnya memang tidak pernah memuat apa yang dibutuhkan untuk menjawabnya. Benchmark yang ingin mengatakan sesuatu yang berguna tentang detektor harus dibangun agar kedua penyebab itu bisa dipisahkan.

Pengembangnya sendiri mencantumkan makna tidak langsung dan konten adversarial di antara kelemahan Jev yang diketahui. Itu perlu diingat saat membaca hasilnya nanti, karena beberapa jenis kegagalan bertumpu tepat pada sifat-sifat itu.

Memperlakukan deteksi sebagai klasifikasi #

Penyiapan formal makalah ini lugas. Ia memperlakukan deteksi kegagalan penyelarasan sebagai klasifikasi biner atas interaksi sebuah model target. Detektor memberi skor s(x) ∈ [0, 1] dan menandai x ketika s(x) ≥ t. Artinya, detektor harus mengurutkan kegagalan di atas non-kegagalan sekaligus memisahkannya pada ambang t.

Kedua tugas itu bisa dipisahkan, dan hasil makalah terbelah tepat di sambungan itu. Pengurutan adalah apa yang diukur AUROC. Pemisahan pada ambang bergantung pada kalibrasi, dan artikel ini akan kembali ke sana karena di situlah Jev kurang. Detektor bisa mengurutkan dengan sangat baik namun tetap tidak bisa dipakai pada t = 0,5 jika probabilitasnya berada di tempat yang salah.

RLCDAlignBench #

Benchmark-nya bernama RLCDAlignBench. Ia mencakup sepuluh jenis kegagalan di 44 benchmark dan 7.193 instans deteksi. Instans-instans itu berasal dari lima model target terbuka berukuran 2–7B, masing-masing diberi label oleh penilai acuan benchmark-nya. Jadi interaksi yang dinilai berasal dari model terbuka kecil, dan kebenaran dasar untuk masing-masing adalah apa pun yang dikatakan penilai milik benchmark asalnya.

Tidak setiap benchmark membawa jenis label yang sama. Label manusia pada StrongREJECT dan HarmBench, serta label juri kedua pada AbstentionBench dan InstrumentalEval, dipakai untuk membandingkan Jev dengan seorang juri. Itu memberi makalah dua jenis pemeriksaan eksternal atas penilai acuan: manusia dalam beberapa kasus, juri kedua dalam kasus lain.

Artefak yang dirilis digambarkan sebagai 44 benchmark di sepuluh jenis kegagalan dengan varian konteks, jawaban Jev yang di-cache, dan skrip penilaian ulang, bersama protokol bagi-dua yang menghapus inflasi seleksi dari peningkatan yang dilaporkan. Setiap elemen menjawab kebutuhan praktis. Varian konteks memungkinkan pembaca bertanya apa yang terjadi bila state memuat lebih banyak. Jawaban yang di-cache dan skrip penilaian ulang memungkinkan seseorang mereproduksi angka tanpa menjalankan ulang model. Protokol bagi-dua menangani jebakan metodologis yang layak mendapat bagiannya sendiri.

Jebakan seleksi #

Jev bisa ditanya banyak pertanyaan tentang input yang sama. Itulah keunggulannya, dan itu juga bahaya bagi evaluasi. Jika Anda mengajukan sekumpulan pertanyaan kandidat lalu melaporkan mana pun yang skornya terbaik, Anda telah melakukan pencarian atas pertanyaan dan melaporkan pemenangnya. Makalah mengatakannya secara langsung: melaporkan yang terbaik di antaranya akan melebih-lebihkan apa yang didapat praktisi.

Siapa pun yang pernah menyetel prompt terhadap set uji akan mengenali ini. Obat yang dipakai di sini sederhana. Pertanyaan dipilih pada separuh item dan dinilai pada separuh lainnya. Pertanyaan yang ditargetkan dipilih pada separuh item dan dinilai pada separuh lainnya, di 20 pembagian. Seleksi tidak pernah menyentuh item yang menghasilkan angka yang dilaporkan.

Ini penting untuk cara membaca setiap peningkatan yang dilaporkan di bawah. Klaim makalah adalah bahwa protokol bagi-dua menghapus inflasi seleksi dari peningkatan yang dilaporkan. Ketika makalah mengatakan rumusan yang ditargetkan memberi median peningkatan +0,006 AUROC, angka itu berasal dari rumusan yang dipilih dan dinilai pada separuh yang berbeda. Angka sekecil itu, yang diukur dengan jujur, lebih berguna daripada angka lebih besar yang diam-diam memuat kutukan pemenang.

Hasil utama: satu pertanyaan umum #

Sekarang hasil yang paling ingin dilihat kebanyakan pembaca. Satu pertanyaan umum mencapai median AUROC 0,886 secara zero-shot dan mengalahkan baseline terawasi di sebagian besar benchmark.

Mari bahas kata demi kata. “Satu pertanyaan umum” berarti tidak ada rekayasa prompt per benchmark. “Zero-shot” berarti tidak ada pelatihan pada benchmark target. “Mengalahkan baseline terawasi di sebagian besar benchmark” berarti sistem yang dilatih dengan data berlabel dari tugas tersebut kalah dari pertanyaan yang tidak disetel siapa pun, di sebagian besar benchmark yang diperiksa. Klaimnya berhenti di “sebagian besar”, dan artikel ini juga.

Pertanyaan umum adalah pertanyaan templat yang dibaca sebagai P(yes). Angka itu melaporkan AUROC dari 38 benchmark yang dapat dipakai, dan pertanyaan umum tidak diajukan pada 7 benchmark. Jadi angka utama adalah median atas benchmark tempat pertanyaan umum berlaku, diambil dari 38 yang dapat dipakai. Pembaca yang cermat perlu menjaga penyebutnya tetap jelas: total ada 44 benchmark, 38 dapat dipakai untuk angka ini, dan pertanyaan umum memiliki celah 7.

Menurut saya hasil zero-shot adalah separuh kalimat yang lebih menarik. Mengalahkan baseline terawasi adalah pernyataan tentang kedudukan komparatif. Median AUROC 0,886 tanpa pelatihan khusus tugas mengatakan sesuatu tentang seberapa banyak sinyal kegagalan yang tersedia bagi model yang membaca state dan menjawab pertanyaan sederhana. Apakah itu berlaku umum untuk jenis kegagalan di luar sepuluh ini tidak dibahas oleh klaim-klaimnya.

Rumusan nyaris tidak relevan #

Jika Anda pernah menghabiskan waktu untuk rekayasa prompt, hasil berikutnya akan terasa menyengat. Rumusan pertanyaan tidak banyak berpengaruh, sementara konteks lebih berpengaruh, sebagian besar melalui field yang mengodekan label.

Penjelasan makalah tentang alasannya spesifik. Begitu jawaban disimpan sebagai probabilitas alih-alih keputusan argmax, rumusan pertanyaan tidak banyak berpengaruh dan isi state serta label sangat berpengaruh. Ini pengamatan tentang informasi. Keputusan argmax membuang selisih yang membuat satu jawaban mengalahkan jawaban lain, dan perubahan rumusan bisa membalik keputusan melewati batas. Probabilitas mempertahankan selisih itu, sehingga perumusan ulang yang sedikit menggeser bukti hanya sedikit menggeser probabilitas dan sebagian besar membiarkan urutan tetap utuh.

Saya akan membatasinya pada apa yang dinyatakan makalah: ketika probabilitas dipertahankan, rumusan tidak banyak berpengaruh. Saya tidak akan memperluasnya menjadi penjelasan mekanistis tentang alasannya, karena klaim-klaimnya tidak menyediakannya.

Angka-angkanya mendukung pernyataan itu. Rumusan yang ditargetkan memberi median peningkatan +0,006 AUROC, dengan rumusan dipilih dan dinilai pada separuh yang berbeda. Di luar sampel, rumusan yang ditargetkan menambah +0,006 [−0,004; +0,015] AUROC. Intervalnya melintasi nol. Pembaca sebaiknya tidak menganggap +0,006 sebagai peningkatan yang andal; intervalnya sama-sama memungkinkan kerugian kecil maupun keuntungan kecil. Bagi praktisi, bacaan yang berguna adalah bahwa mencari rumusan yang lebih cerdik kemungkinan besar tidak sepadan dengan usahanya, setidaknya pada benchmark ini.

Ini seharusnya mengubah cara tim membagi waktu. Jika rumusan nyaris tidak berpengaruh, jam yang dihabiskan untuknya lebih baik dipakai untuk state.

Peningkatan ada di konteks #

Lalu apa isi state, dan apa yang seharusnya ada di dalamnya? Temuan makalah adalah bahwa konteks lebih berpengaruh, sebagian besar melalui field yang mengodekan label. Gagasan kunci di balik desain studi ini adalah memvariasikan apa yang ditanyakan kepada Jev secara terpisah dari apa yang dilihatnya: rumusan pertanyaan dan jenis jawaban di satu sisi, field input di sisi lain. Pemisahan itulah yang memungkinkan makalah mengatakan rumusan tidak banyak berpengaruh sementara konteks lebih berpengaruh. Tanpanya, kedua efek itu akan saling kusut.

Contoh utamanya adalah PrivacyLens. Acuan yang mendefinisikan label memberi peningkatan besar, seperti daftar item rahasia pada PrivacyLens (0,79→0,95). Lonjakan dari 0,79 ke 0,95 AUROC terbilang besar dibandingkan +0,006 dari rumusan. Acuan yang dimaksud adalah daftar item rahasia, persis jenis hal yang diperkirakan penting oleh pembahasan sebelumnya tentang kegagalan relasional: apakah sebuah respons membocorkan sesuatu yang privat bergantung pada apa yang dianggap privat, dan respons itu sendiri tidak mengatakannya.

Ada catatan untuk penerapan, dan ini catatan penting. Konteks yang akan dimiliki pemantau di produksi membantu di 1 dari 7 benchmark. Peningkatan besar datang dari acuan yang mendefinisikan label, tetapi pemantau di produksi belum tentu memilikinya. Apa yang secara realistis dimiliki pemantau hanya membantu di satu dari tujuh benchmark.

Ini temuan yang tenang, dan menurut saya ini kalimat paling relevan secara komersial dalam makalah. Ia memisahkan angka laboratorium dari angka lapangan. Detektor yang dievaluasi dengan acuan pendefinisi label di tangan menjawab pertanyaan yang lebih mudah daripada yang dihadapi pemantau di produksi. Peningkatannya nyata, tetapi makalah jelas tentang mana yang bisa diandalkan sebuah penerapan.

Makalah juga menandai keterbatasan satu benchmark. Pada Open-Prompt-Injection, label mengikuti akurasi tugas yang disuntikkan. Itu contoh label yang maknanya terikat pada sifat tugas, yang berpengaruh pada apa yang bisa diharapkan dilihat detektor dari state. Saya tidak akan menarik kesimpulan lebih jauh darinya, karena klaim-klaimnya tidak menawarkan apa pun.

Biaya #

Sekarang angka yang membuat ekonominya konkret. Jev 63× lebih murah daripada penilai LLM-judge. Perbandingan spesifiknya: satu putaran atas 19 benchmark yang dinilai juri menelan US$0,30, 63× lebih murah daripada juri mereka dengan harga daftar. Perbandingan biaya ini mencakup satu putaran atas 19 benchmark berjuri API dengan harga daftar.

Perhatikan cakupannya. Perbandingan ini untuk 19 benchmark yang memakai juri API, dihitung dengan harga daftar, untuk satu putaran. Ia tidak mencakup setiap benchmark dalam rangkaian, dan tidak mencakup harga diskon. Dalam cakupan itu rasionya besar, dan itu mengikuti arsitektur yang dijelaskan sebelumnya: tidak ada putaran dekode per kriteria.

Ingat syarat di awal, bahwa detektor yang berjalan di setiap pesan harus murah. Angka US$0,30 untuk satu putaran penuh atas 19 benchmark adalah wujud “murah” dalam makalah ini. Makalah tidak menerjemahkannya menjadi harga per pesan, dan saya juga tidak.

Kesepakatan dengan manusia, dan apa yang diungkap ketidaksepakatan #

Murah hanya menarik jika detektornya juga benar. Di mana label manusia memungkinkan pemeriksaan, Jev sepakat dengan mereka sebaik juri, dengan sebagian kecil biaya.

Bukti paling spesifik datang dari StrongREJECT. Terhadap label manusia di sana, pertanyaan umum sepakat sebaik penilai acuan (κ Cohen 0,809 vs. 0,811) dan mengurutkan lebih baik. Kedua nilai κ berbeda 0,002, jadi bacaan yang masuk akal adalah seri dalam kesepakatan, dengan Jev unggul dalam pengurutan.

Lalu datang hasil yang menurut saya paling berguna dalam praktik, karena mengubah detektor menjadi alat audit. Ketidaksepakatan Jev yang yakin mengungkap cacat yang mengubah label di tiga benchmark dan label yang tidak dapat diungkap oleh state di empat benchmark lainnya. Ketika detektor yang yakin tidak sepakat dengan label acuan sebuah benchmark, salah satu penjelasannya adalah detektornya keliru. Makalah melaporkan bahwa dalam beberapa kasus ketidaksepakatan itu menunjuk ke benchmark: tiga benchmark punya cacat yang mengubah label, dan empat lainnya punya label yang tidak dapat diungkap oleh state.

Kategori kedua terhubung kembali ke poin relasional. Label yang tidak dapat diungkap oleh state adalah label yang didefinisikan oleh sesuatu yang tidak pernah masuk ke input. Tidak ada detektor yang membaca state itu yang bisa memulihkannya. Menemukan kasus semacam itu adalah kontribusi yang berbeda dari menaikkan skor, karena memberi tahu pengelola benchmark di mana data dan label mereka berpisah jalan.

Titik lemah: kalibrasi #

Di sini artikel ini harus terus terang, karena makalahnya juga begitu. Probabilitasnya mengurutkan dengan baik tetapi tidak bisa dipindahkan sebagai ambang: median ECE adalah 0,168 dibandingkan nilai nol 0,074, baik pada label tervalidasi maupun label juri, karena probabilitas rata-rata Jev meleset dari base rate setiap benchmark.

Potongan-potongannya tersusun seperti ini. AUROC mengukur pengurutan, dan pengurutannya kuat. Ambang adalah perkara lain. Jika probabilitas keluaran rata-rata model tidak sesuai dengan seberapa sering kegagalan terjadi pada benchmark tertentu, maka t = 0,5 jatuh di tempat yang salah, dan galat kalibrasi yang diharapkan menjadi tinggi. Median ECE 0,168 berada di atas nilai nol 0,074, hasil yang lebih buruk daripada titik acuan yang dipilih makalah. Dan itu berlaku baik pada label tervalidasi maupun label juri, sehingga kelemahannya bukan artefak dari label juri yang berisik.

Ingat penyiapan formalnya: detektor harus mengurutkan kegagalan di atas non-kegagalan dan memisahkannya pada sebuah ambang. Jev melakukan yang pertama dengan baik dan yang kedua dengan buruk secara bawaan. Nama tekniknya memuat “keputusan terkalibrasi”, sementara kalibrasi yang terukur di sini tidak terbawa antar-benchmark, sebuah ketegangan yang layak dinyatakan terang-terangan. Makalah mengaitkan celah itu dengan base rate dan tidak mengklaim lebih.

Konsekuensi praktisnya: sebagai pengganti juri, Jev memerlukan beberapa label untuk menetapkan ambangnya. Itu biaya nyata, dan itu mempersempit klaim sebagai pengganti siap pakai. Anda tidak bisa mengarahkannya ke jenis kegagalan baru lalu memercayai t = 0,5.

Resepnya #

Rekomendasi makalah ringkas. Resepnya adalah pertanyaan umum yang dibaca sebagai probabilitas, dengan ambang yang dipasang pada sepuluh item berlabel, yang menaikkan F1 di mana Jev terlalu jarang terpicu pada t = 0,5 dan berbiaya 0,025 pada label tervalidasi.

Mari urai. Pertanyaan umum menangani masalah rumusan dengan menolak merekayasanya, sejalan dengan temuan bahwa rumusan tidak banyak berpengaruh. Membaca jawaban sebagai probabilitas mempertahankan selisihnya. Memasang ambang pada sepuluh item berlabel mengatasi melesetnya base rate. Efeknya pada F1 positif di mana Jev terlalu jarang terpicu pada t = 0,5. Pada label tervalidasi, resep ini berbiaya 0,025.

Angka terakhir itu layak direnungkan. Resep ini bukan tanpa sisi negatif: pada label tervalidasi ia berbiaya 0,025. Makalah melaporkan pertukaran itu alih-alih menyembunyikannya, dan saya lebih suka mengutip resep dengan biaya yang dinyatakan daripada resep yang diiklankan sebagai keuntungan murni. Klaim-klaimnya tidak menyebutkan dalam metrik apa 0,025 itu diukur selain konteks label tervalidasi, jadi saya tidak akan menebak.

Sepuluh item berlabel adalah permintaan kecil. Bagi kebanyakan tim itu setara satu sore anotasi, dibandingkan biaya menjalankan juri di setiap pesan. Tetapi itu prasyarat, dan tim yang tidak bisa menghasilkan satu pun item berlabel untuk jenis kegagalan baru sebaiknya tidak berharap ambangnya beres dengan sendirinya.

Yang perlu diambil praktisi #

Beberapa hal mengikuti dari sini, dan saya berani berpegang padanya karena buktinya mendukung.

Pertama, berhentilah mengoptimalkan rumusan pertanyaan. Peningkatan di luar sampel dari rumusan yang ditargetkan adalah +0,006 dengan interval dari −0,004 hingga +0,015. Itu bukan dasar untuk berinvestasi.

Kedua, curahkan upaya pada state. Peningkatan besar datang dari acuan yang mendefinisikan label. Jika pemantau Anda bisa diberi acuan yang mendefinisikan kegagalan, di situlah perbaikan berada. Jika tidak bisa, harapkan lebih sedikit: konteks yang akan dimiliki pemantau di produksi membantu di 1 dari 7 benchmark. Rencanakan berdasarkan angka yang bisa Anda peroleh di produksi, bukan angka yang Anda dapat di benchmark yang acuannya ada di dalam input.

Ketiga, anggarkan untuk kalibrasi. Rencanakan untuk memberi label sepuluh item per jenis kegagalan dan memasang ambangnya. Jangan merilis dengan t = 0,5.

Keempat, gunakan ketidaksepakatan sebagai sinyal. Ketidaksepakatan yang yakin dengan label acuan mengungkap cacat di tiga benchmark dan label yang tak terungkap di empat lainnya. Jika Anda menjalankannya pada rangkaian evaluasi Anda sendiri, bersiaplah bahwa ia mungkin memberi tahu Anda tentang label Anda sebagaimana tentang model Anda. Itu inferensi dari temuan makalah, bukan klaim terukur tentang rangkaian tertentu, jadi anggaplah sebagai undangan untuk memeriksa.

Kelima, ingat kelemahan yang diketahui. Pengembang mencantumkan makna tidak langsung dan konten adversarial di antara kelemahan Jev yang diketahui. Pemantau yang penting untuk keamanan akan menghadapi konten adversarial. Klaim di sini tidak melaporkan bagaimana Jev menghadapinya, jadi itu tetap menjadi sisi yang terbuka, dan saya ingin itu diuji sebelum memercayai sebuah penerapan.

Membaca hasil ini dari sisi komersial #

Para pendiri akan ingin tahu posisinya. Argumen biaya adalah yang terkuat: detektor yang berjalan di setiap pesan harus murah, dan penurunan 63× dibandingkan penilai LLM-judge mengubah penerapan mana yang terjangkau. Argumen akurasi berada di urutan kedua: AUROC zero-shot 0,886 dan kemenangan atas baseline terawasi di sebagian besar benchmark.

Catatan-catatannya membentuk apa yang bisa dijual dengan jujur. Detektor memerlukan beberapa label per ambang. Kalibrasinya tidak terbawa. Peningkatan terbaiknya bergantung pada acuan yang mungkin tidak dimiliki sebuah penerapan. Itu semua syarat penggunaan, dan produk apa pun yang dibangun di atasnya sebaiknya menyatakannya alih-alih menguburnya. Tidak satu pun melemahkan argumen biaya; semuanya menggambarkan pekerjaan penyiapan.

Ada pula poin yang lebih senyap tentang pengukurannya sendiri. RLCDAlignBench, dengan varian konteks, jawaban Jev yang di-cache, skrip penilaian ulang, dan protokol bagi-dua, adalah aset evaluasi yang bisa dipakai ulang. Benchmark yang menghapus inflasi seleksi dari peningkatan yang dilaporkan adalah jenis artefak yang memungkinkan klaim-klaim berikutnya dibandingkan. Itu nilai yang berbeda dari detektornya.

Yang masih terbuka #

Beberapa batas jelas dari klaim-klaimnya. Model targetnya adalah lima model terbuka berparameter 2–7B, jadi hasilnya menggambarkan kegagalan dalam interaksi dari model seukuran itu. Pertanyaan umum tidak diajukan pada 7 benchmark, dan AUROC utama adalah median atas benchmark tempat pertanyaan itu diajukan. Labelnya berasal dari penilai acuan, dengan label manusia dan label juri kedua yang mencakup StrongREJECT, HarmBench, AbstentionBench, dan InstrumentalEval.

Pertanyaan terbuka yang paling menarik bagi saya adalah yang dimunculkan oleh struktur makalah itu sendiri. Kegagalan bersifat relasional; state sering kali tidak memuat acuan; dan konteks pemantau di produksi hanya membantu di 1 dari 7 benchmark. Desain satu panggilan Jev memungkinkan banyak pertanyaan berbagi satu input, tetapi tuas terbesarnya ternyata adalah field apa yang dibawa input. Bagaimana sebuah penerapan seharusnya memperoleh acuan pendefinisi label pada saat pemantauan, seperti daftar item rahasia untuk pemeriksaan privasi, adalah hal berikutnya yang perlu dipecahkan. Makalah menunjukkan peningkatannya bisa diraih (0,79→0,95 pada PrivacyLens), dan membiarkan terbuka apakah pemantau di produksi bisa diberi acuan itu cukup murah untuk mempertahankan keunggulan 63×.

Artinya bagi Tiap Sektor #

Kemampuan mengevaluasi kriteria penyelarasan yang kompleks melalui kepala keputusan terkalibrasi dengan sebagian kecil biaya inferensi mengubah keamanan operasional di berbagai domain.

Penyedia gateway AI dan platform keamanan #

Perusahaan infrastruktur yang menerapkan pagar pengaman waktu nyata dapat mengganti arsitektur kaskade yang mahal (memanggil pengklasifikasi injeksi prompt, toksisitas, dan privasi secara terpisah) dengan kepala RLCD multi-kueri terpadu. Biaya operasional turun lebih dari 60× sementara latensi dibatasi pada satu forward pass.

Tim tata kelola AI dan kepatuhan audit #

Komite risiko yang mengevaluasi perilaku model terhadap standar seperti persyaratan risiko tinggi EU AI Act atau NIST AI RMF memperoleh log audit yang deterministik dan probabilistik. Alih-alih umpan balik naratif LLM-judge yang tidak terstruktur, sistem mencatat distribusi probabilitas terkalibrasi yang mendukung pengendalian proses statistik dan pemantauan pergeseran.

Tim penerapan perusahaan dan red teaming #

Tim keamanan dapat dengan cepat menerapkan detektor kegagalan khusus dengan menyusun representasi state yang terfokus dan memasang ambang keputusan terhadap sesedikit sepuluh contoh spesifik domain, sehingga menghilangkan siklus fine-tuning berminggu-minggu yang sebelumnya diperlukan untuk pengklasifikasi pesanan.

Kesimpulan #

Evaluasi Jev di RLCDAlignBench menetapkan arah arsitektur yang meyakinkan untuk pemantauan model di produksi: membaca probabilitas terkalibrasi atas banyak pertanyaan bertipe dalam satu forward pass mengalahkan juri LLM autoregresif dalam hal biaya dan pengklasifikasi token tunggal dalam hal fleksibilitas. Meskipun praktisi harus menganggarkan kalibrasi ambang secara empiris alih-alih mengandalkan transfer probabilitas bawaan, keunggulan ekonomi 63× membuat pemantauan waktu nyata yang menyeluruh layak dilakukan dalam skala besar.

Pertanyaan yang Sering Diajukan #

Mengapa juri LLM generatif tidak praktis untuk pemantauan produksi waktu nyata?

Juri generatif memerlukan satu putaran dekode autoregresif lengkap untuk setiap kriteria keamanan atau penyelarasan yang dievaluasi. Dalam aplikasi konsumen atau perusahaan dengan throughput tinggi, menjalankan beberapa panggilan juri generatif per pesan menimbulkan penalti latensi yang berat dan menggelembungkan biaya operasional hingga berkali-kali lipat.

Apa itu Pembelajaran Penguatan untuk Keputusan Terkalibrasi (RLCD)?

RLCD adalah metodologi pelatihan yang mengoptimalkan model agar menghasilkan probabilitas posterior yang terkalibrasi dengan baik atas kepala keputusan terstruktur, alih-alih menghasilkan urutan token. Ini memungkinkan model mengevaluasi banyak pertanyaan sembarang secara bersamaan dalam satu evaluasi maju.

Mengapa ambang keputusan perlu dikalibrasi dengan data lokal?

Meskipun model RLCD unggul dalam mengurutkan interaksi berdasarkan kemungkinan kegagalan (mencapai AUROC tinggi), probabilitas rata-rata absolutnya bergeser tergantung base rate domain target. Mengalibrasi ambang keputusan operasional terhadap sekitar sepuluh contoh domain berlabel memastikan sensitivitas yang tepat tanpa tingkat positif palsu yang tidak dapat diterima.

Referensi #

Mrinank Sharma et al., (2024). Menuju Pemahaman dan Mitigasi Sikofansi pada Model Bahasa ⧉. arXiv.
RLCDAlignBench Consortium, (2026). Deteksi Kegagalan Penyelarasan Multikriteria melalui Kepala Keputusan Terkalibrasi ⧉. arXiv.
Anthropic / Alignment Research, (2025). AI Konstitusional dan Dinamika Evaluator ⧉. Anthropic.
NIST, (2024). Kerangka Kerja Manajemen Risiko Kecerdasan Artifisial (AI RMF 1.0) ⧉. NIST.

Terakhir ditinjau 2026-09-30.

Terakhir ditinjau 2026-10-27.

Terbitkan ulang artikel ini

Detektor yang membaca probabilitas, bukan vonis: Jev di 44 benchmark — Sebastien Rousseau

Jev, dilatih dengan RLCD, diuji di 44 benchmark kegagalan penyelarasan: pengurutannya baik dan 63× lebih murah dari LLM-judge, tetapi ambangnya perlu 10 label.

Artikel ini berlisensi Creative Commons Attribution 4.0 International. Penerbitan ulang memerlukan atribusi ke URL kanonis.

Detektor yang membaca probabilitas, bukan vonis: Jev di 44 benchmark — Sebastien Rousseau

Jev, dilatih dengan RLCD, diuji di 44 benchmark kegagalan penyelarasan: pengurutannya baik dan 63× lebih murah dari LLM-judge, tetapi ambangnya perlu 10 label.

Originally published at https://sebastienrousseau.com/id/2026-09-30-detektor-yang-membaca-probabilitas-bukan-vonis/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER