Pengesan kebarangkalian, bukan keputusan: Jev di 44 penanda aras

Pengesan kegagalan penjajaran ini menjawab banyak soalan bertaip dalam satu panggilan dengan kebarangkalian tertentukur, menyusun kegagalan dengan baik dan 63× lebih murah daripada penilai LLM-judge. Namun kebarangkalian itu tidak boleh dipindahkan sebagai ambang, dan label serta rujukannya jauh lebih penting daripada susunan kata soalan.

Struktur kos mengawasi setiap mesej #

Model yang telah digunakan masih akur kepada kepercayaan pengguna yang salah (Sharma et al., 2024). Ayat itu sederhana, tetapi ia membingkai keseluruhan masalah. Jika sikap mengampu sebegitu berterusan dalam sistem yang telah digunakan, seseorang perlu mengawasinya, dan pengawasan itu perlu berlaku pada rentak yang sama dengan perbualan itu sendiri.

Di situlah ekonominya terasa. Pengesan perlu tepat dan, kerana ia berjalan pada setiap mesej, murah. Setiap sifat itu mudah diperoleh secara berasingan: pengesan yang cuai itu murah, manakala pengesan teliti yang terlalu mahal untuk dijalankan pada setiap mesej hanya mengawasi sampel trafik. Soalan kejuruteraan yang menarik ialah bentuk pengesan bagaimana yang boleh memenuhi kedua-duanya.

Jawapan semasa, menurut kertas kajian di sebalik artikel ini, mempunyai kecacatan struktur. Kebanyakan pengesan kegagalan penjajaran ialah hakim generatif yang membelanjakan satu laluan penyahkodan bagi setiap kriteria. Secara mudahnya, pengesan semasa membayar satu laluan penyahkodan bagi setiap kriteria yang mereka periksa. Pemantau yang mahu memeriksa sepuluh jenis kegagalan berbeza membayar sepuluh laluan, dan bilnya meningkat secara linear dengan bilangan perkara yang anda ambil berat.

Ada pembaikan separa, dan hadnya wajar dinyatakan dengan tepat. Pengelas yang membaca kebarangkalian token, seperti Llama Guard, masih menilai satu label tetap bagi setiap panggilan. Membaca kebarangkalian token memberikan skor, tetapi setiap panggilan masih menilai satu label atau kriteria, kerana kebarangkalian dibaca daripada satu token keputusan. Laluan penyahkodan hilang, tetapi struktur satu soalan bagi setiap panggilan kekal. Setiap panggilan menjadi lebih murah tanpa mengubah bilangan panggilan yang anda perlukan.

Jadi dakwaan strukturnya begini: hakim generatif mahal bagi setiap kriteria, dan pengelas pembaca kebarangkalian lebih murah bagi setiap kriteria tetapi masing-masing masih terikat pada satu kriteria. Tiada satu pun membolehkan anda bertanya banyak soalan tentang input yang sama sekali gus.

Dimensi Seni Bina	Hakim LLM Generatif (cth. GPT-4 sebagai Hakim)	Pengelas Token Tunggal (cth. Llama Guard)	Pengesan RLCD Berbilang Pertanyaan (Jev)
Mekanisme Penilaian	Satu laluan penyahkodan autoregresif penuh bagi setiap kriteria	Kebarangkalian softmax ke atas satu token output	Tensor kebarangkalian tertentukur berbilang kepala $P(\text{yes})$
Soalan bagi Setiap Panggilan	1 prompt penilaian bagi setiap panggilan model	1 label pengelasan bagi setiap panggilan model	Banyak soalan binari/berkategori/ordinal dalam 1 panggilan
Kos Inferens	Tinggi ($10–$50 bagi setiap 1,000 interaksi)	Sederhana ($0.50–$2.00 bagi setiap 1,000 interaksi)	63× lebih rendah ($0.30 untuk 19 penanda aras penuh)
Prestasi AUROC	Bergantung pada penanda aras; terdedah kepada hanyutan hakim	Tinggi pada kategori keselamatan terlatih tertentu	Median AUROC 0.886 zero-shot merentas 44 suite
Kualiti Penentukuran	Penjelasan heuristik tanpa kebarangkalian formal	Logit kasar tanpa penentukuran pasca-hoc	Kebarangkalian tertentukur; median ECE 0.168 (perlu kira-kira 10 item berlabel)

Apa yang Jev lakukan secara berbeza #

Jev dilatih dengan pembelajaran pengukuhan untuk keputusan tertentukur (RLCD). Ia menjawab banyak soalan bertaip tentang satu input dengan kebarangkalian tertentukur dalam satu panggilan. Mekanismenya wajar dihuraikan dengan teliti, kerana selebihnya artikel ini bergantung padanya.

Model RLCD memulangkan keputusan dengan kebarangkalian tertentukur bagi setiap soalan bertaip, bukannya menjana teks. Tiada langkah penjanaan di mana keputusan ditulis lalu dihurai. Jev menjawab banyak soalan binari, berkategori dan ordinal tentang satu input, yang kertas itu namakan state, dalam satu panggilan. State ialah input; soalan ialah perkara yang anda tanya tentangnya.

Itu lengkung kos yang berbeza daripada kedua-dua pendekatan di atas. Jika soalan berkongsi satu panggilan, menambah soalan tidak menambah laluan penyahkodan. Faedahnya bagi pemantau yang mengambil berat beberapa jenis kegagalan sekali gus sudah jelas, walaupun pengukuran kertas itu menyentuh apa yang dicapai oleh satu soalan umum, dan saya akan berpegang pada apa yang diukur.

Namun ada jurang. Sama ada Jev mengesan kegagalan penjajaran belum pernah diukur. Model yang menjawab soalan bertaip dengan kebarangkalian tertentukur munasabah untuk tugas ini, dan kemunasabahan itu murah. Kertas itu berusaha menyediakan pengukuran yang hilang.

Mengapa kegagalan penjajaran lebih sukar daripada yang disangka #

Sebelum pengukuran, satu komplikasi. Banyak kegagalan ini bersifat hubungan, ditakrifkan berbanding rujukan yang tidak didedahkan oleh respons itu sahaja. Sikap mengampu menggambarkan idea umumnya dengan baik: sama ada sesuatu respons akur kepada kepercayaan pengguna yang salah bergantung pada apa kepercayaan itu dan sama ada ia salah, dan tiada satu pun fakta itu kelihatan dalam teks respons dengan sendirinya.

Ini memberi kesan kepada reka bentuk pengesan, yang dinyatakan oleh kertas itu dengan berhati-hati sewajarnya. Pengesan yang hanya melihat respons mungkin tidak mempunyai rujukan yang mentakrifkan kegagalan. Perkataan “mungkin” penting; dakwaannya bukan bahawa setiap kegagalan memerlukan rujukan, hanya bahawa sesetengahnya memerlukan dan pandangan yang hanya melihat respons boleh terlepas pandang.

Ia juga merumitkan diagnosis. Jika kegagalan bersifat hubungan, pengesanan yang lemah mungkin berpunca daripada soalan atau daripada state yang tidak mengandungi rujukan. Dua perkara boleh salah, dan skor rendah tidak memberitahu yang mana. Mungkin soalan itu disusun dengan buruk. Mungkin soalan itu baik dan input memang tidak pernah mengandungi apa yang diperlukan untuk menjawabnya. Penanda aras yang mahu mengatakan sesuatu yang berguna tentang pengesan perlu dibina supaya kedua-dua punca itu dapat dipisahkan.

Pembangunnya pula menyenaraikan makna tidak langsung dan kandungan adversari antara kelemahan Jev yang diketahui. Itu wajar diingat ketika membaca keputusan kemudian, kerana sesetengah jenis kegagalan bergantung tepat pada sifat-sifat itu.

Mengendalikan pengesanan sebagai pengelasan #

Susunan formal kertas itu mudah. Ia mengendalikan pengesanan kegagalan penjajaran sebagai pengelasan binari ke atas interaksi sesuatu model sasaran. Pengesan memberikan skor s(x) ∈ [0, 1] dan menanda x apabila s(x) ≥ t. Ini bermakna ia mesti menyusun kegagalan di atas bukan kegagalan dan memisahkannya pada ambang t.

Kedua-dua tugas itu boleh dipisahkan, dan keputusan kertas itu terbelah tepat di sepanjang sambungan itu. Penyusunan ialah apa yang diukur oleh AUROC. Pemisahan pada ambang bergantung pada penentukuran, dan artikel ini akan kembali kepadanya kerana di situlah Jev ketinggalan. Pengesan boleh menyusun dengan cemerlang tetapi masih tidak boleh digunakan pada t = 0.5 jika kebarangkaliannya berada di tempat yang salah.

RLCDAlignBench #

Penanda aras itu dinamakan RLCDAlignBench. Ia meliputi sepuluh jenis kegagalan merentas 44 penanda aras dan 7,193 contoh pengesanan. Contoh-contoh itu datang daripada lima model sasaran terbuka bersaiz 2–7B, masing-masing dilabel oleh penilai rujukan penanda arasnya. Jadi interaksi yang dinilai datang daripada model terbuka kecil, dan kebenaran asas bagi setiap satu ialah apa sahaja yang dikatakan oleh penilai penanda aras asalnya.

Bukan setiap penanda aras membawa jenis label yang sama. Label manusia pada StrongREJECT dan HarmBench, serta label hakim kedua pada AbstentionBench dan InstrumentalEval, digunakan untuk membandingkan Jev dengan seorang hakim. Itu memberi kertas itu dua jenis semakan luaran ke atas penilai rujukan: manusia dalam sesetengah kes, hakim kedua dalam kes lain.

Artifak yang diterbitkan diterangkan sebagai 44 penanda aras merentas sepuluh jenis kegagalan dengan varian konteks, jawapan Jev yang dicache dan skrip penilaian semula, bersama protokol bahagi dua yang membuang inflasi pemilihan daripada peningkatan yang dilaporkan. Setiap elemen menjawab keperluan praktikal. Varian konteks membolehkan pembaca bertanya apa yang berlaku apabila state mengandungi lebih banyak. Jawapan yang dicache dan skrip penilaian semula membolehkan seseorang menghasilkan semula angka tanpa menjalankan semula model. Protokol bahagi dua menangani perangkap metodologi yang wajar mendapat bahagiannya sendiri.

Perangkap pemilihan #

Jev boleh ditanya banyak soalan tentang input yang sama. Itulah kelebihannya, dan itu juga bahaya bagi penilaian. Jika anda mengemukakan satu set soalan calon dan melaporkan yang mana skornya terbaik, anda telah membuat carian ke atas soalan dan melaporkan pemenangnya. Kertas itu menyatakannya secara langsung: melaporkan yang terbaik antaranya akan membesar-besarkan apa yang diperoleh pengamal.

Sesiapa yang pernah menala prompt terhadap set ujian akan mengenali hal ini. Penawar yang digunakan di sini mudah. Soalan dipilih pada separuh item dan dinilai pada separuh lagi. Soalan yang disasarkan dipilih pada separuh item dan dinilai pada separuh lagi, merentas 20 pembahagian. Pemilihan tidak pernah menyentuh item yang menghasilkan angka yang dilaporkan.

Ini penting untuk cara membaca setiap peningkatan yang dilaporkan di bawah. Dakwaan kertas itu ialah protokol bahagi dua membuang inflasi pemilihan daripada peningkatan yang dilaporkan. Apabila kertas itu mengatakan susunan kata yang disasarkan memberikan median peningkatan +0.006 AUROC, angka itu datang daripada susunan kata yang dipilih dan dinilai pada separuh yang berlainan. Angka sekecil itu, yang diukur dengan jujur, lebih berguna daripada angka lebih besar yang diam-diam memasukkan sumpahan pemenang.

Tajuk utama: satu soalan umum #

Kini keputusan yang paling ingin dilihat oleh kebanyakan pembaca. Satu soalan umum mencapai median AUROC 0.886 secara zero-shot dan mengatasi garis dasar terselia pada kebanyakan penanda aras.

Mari teliti perkataannya satu demi satu. “Satu soalan umum” bermaksud tiada kejuruteraan prompt bagi setiap penanda aras. “Zero-shot” bermaksud tiada latihan pada penanda aras sasaran. “Mengatasi garis dasar terselia pada kebanyakan penanda aras” bermaksud sistem yang dilatih dengan data berlabel daripada tugas itu kalah kepada soalan yang tidak ditala oleh sesiapa, pada kebanyakan penanda aras yang diperiksa. Dakwaannya berhenti pada “kebanyakan”, dan begitu juga artikel ini.

Soalan umum ialah soalan templat yang dibaca sebagai P(yes). Angka itu melaporkan AUROC 38 penanda aras yang boleh digunakan, dan soalan umum tidak ditanya pada 7 penanda aras. Jadi angka tajuk utama ialah median ke atas penanda aras di mana soalan umum terpakai, diambil daripada 38 yang boleh digunakan. Pembaca yang teliti perlu memastikan penyebutnya jelas: terdapat 44 penanda aras kesemuanya, 38 boleh digunakan untuk angka ini, dan soalan umum mempunyai jurang 7.

Pada pandangan saya keputusan zero-shot ialah separuh ayat yang lebih menarik. Mengatasi garis dasar terselia ialah kenyataan tentang kedudukan perbandingan. Median AUROC 0.886 tanpa latihan khusus tugas memberitahu sesuatu tentang berapa banyak isyarat kegagalan yang tersedia kepada model yang membaca state dan menjawab soalan mudah. Sama ada ini boleh digeneralisasikan kepada jenis kegagalan di luar sepuluh ini bukan sesuatu yang disentuh oleh dakwaan-dakwaannya.

Susunan kata hampir tidak relevan #

Jika anda pernah menghabiskan masa untuk kejuruteraan prompt, keputusan seterusnya akan terasa pedih. Susunan kata soalan kurang penting, manakala konteks lebih penting, kebanyakannya melalui medan yang mengekodkan label.

Penjelasan kertas itu tentang sebabnya adalah khusus. Sebaik sahaja jawapan disimpan sebagai kebarangkalian dan bukan keputusan argmax, susunan kata soalan kurang penting dan apa yang terkandung dalam state dan label amat penting. Ini pemerhatian tentang maklumat. Keputusan argmax membuang margin yang membolehkan satu jawapan mengatasi yang lain, dan perubahan susunan kata boleh membalikkan keputusan melepasi sempadan. Kebarangkalian mengekalkan margin itu, jadi penyusunan semula yang sedikit menganjakkan bukti hanya sedikit menganjakkan kebarangkalian dan sebahagian besarnya membiarkan susunan tidak berubah.

Saya akan mengehadkannya kepada apa yang dinyatakan oleh kertas itu: apabila kebarangkalian dikekalkan, susunan kata kurang penting. Saya tidak akan meluaskannya kepada penjelasan mekanistik tentang sebabnya, kerana dakwaan-dakwaannya tidak menyediakannya.

Angka-angkanya menyokong kenyataan itu. Susunan kata yang disasarkan memberikan median peningkatan +0.006 AUROC, dengan susunan kata dipilih dan dinilai pada separuh yang berlainan. Di luar sampel, susunan kata yang disasarkan menambah +0.006 [−0.004, +0.015] AUROC. Selang itu merentasi sifar. Pembaca tidak sepatutnya menganggap +0.006 sebagai peningkatan yang boleh dipercayai; selang itu sama-sama membenarkan kerugian kecil dan keuntungan kecil. Bagi pengamal, bacaan yang berguna ialah mencari susunan kata yang lebih bijak tidak mungkin berbaloi, sekurang-kurangnya pada penanda aras ini.

Ini sepatutnya mengubah cara pasukan membahagikan masa. Jika susunan kata hampir tidak memberi kesan, jam yang dihabiskan untuknya lebih baik digunakan pada state.

Peningkatan terletak pada konteks #

Jadi apa yang terkandung dalam state, dan apa yang sepatutnya ada di dalamnya? Dapatan kertas itu ialah konteks lebih penting, kebanyakannya melalui medan yang mengekodkan label. Idea utama di sebalik reka bentuk kajian ini ialah mengubah apa yang ditanya kepada Jev secara berasingan daripada apa yang dilihatnya: susunan kata dan jenis jawapan soalan di satu pihak, medan input di pihak lain. Pemisahan itulah yang membolehkan kertas itu mengatakan susunan kata kurang penting manakala konteks lebih penting. Tanpanya, kedua-dua kesan itu akan berselirat.

Contoh utamanya ialah PrivacyLens. Rujukan yang mentakrifkan label memberikan peningkatan besar, seperti senarai item rahsia dalam PrivacyLens (0.79→0.95). Lonjakan daripada 0.79 kepada 0.95 AUROC adalah besar berbanding +0.006 daripada susunan kata. Rujukan yang dimaksudkan ialah senarai item rahsia, tepat jenis perkara yang diramalkan penting oleh perbincangan awal tentang kegagalan bersifat hubungan: sama ada respons membocorkan sesuatu yang peribadi bergantung pada apa yang dikira peribadi, dan respons itu sendiri tidak mengatakannya.

Ada kaveat untuk penggunaan, dan ia penting. Konteks yang akan dipegang oleh pemantau yang digunakan membantu pada 1 daripada 7 penanda aras. Peningkatan besar datang daripada rujukan yang mentakrifkan label, tetapi pemantau yang digunakan tidak semestinya memilikinya. Apa yang secara realistik dipegang oleh pemantau hanya membantu pada satu daripada tujuh penanda aras.

Ini dapatan yang serius, dan saya fikir ia ayat paling relevan secara komersial dalam kertas itu. Ia memisahkan angka makmal daripada angka lapangan. Pengesan yang dinilai dengan rujukan pentakrif label di tangan menjawab soalan yang lebih mudah daripada yang dihadapi oleh pemantau yang digunakan. Peningkatannya nyata, tetapi kertas itu jelas tentang yang mana boleh diharapkan oleh sesuatu penggunaan.

Kertas itu juga menandakan had satu penanda aras. Pada Open-Prompt-Injection, label menjejak ketepatan tugas yang disuntik. Itu contoh label yang maknanya terikat pada sifat tugas, yang mempengaruhi apa yang boleh dijangka dilihat oleh pengesan daripada state. Saya tidak akan membuat kesimpulan lanjut daripadanya, kerana dakwaan-dakwaannya tidak menawarkan apa-apa.

Kos #

Kini angka yang menjadikan ekonominya konkrit. Jev 63× lebih murah daripada penilai LLM-judge. Perbandingan khususnya: satu larian ke atas 19 penanda aras yang dinilai hakim berharga AS$0.30, 63× lebih murah daripada hakim mereka pada harga senarai. Perbandingan kos ini meliputi satu larian ke atas 19 penanda aras berhakim API pada harga senarai.

Berhati-hati dengan skopnya. Perbandingan ini untuk 19 penanda aras yang menggunakan hakim API, pada harga senarai, untuk satu larian. Ia tidak meliputi setiap penanda aras dalam suite itu, dan tidak meliputi harga diskaun. Dalam skop itu nisbahnya besar, dan ia berpunca daripada seni bina yang diterangkan tadi: tiada laluan penyahkodan bagi setiap kriteria.

Ingat keperluan di awal, bahawa pengesan yang berjalan pada setiap mesej mesti murah. Angka AS$0.30 untuk satu larian penuh ke atas 19 penanda aras ialah rupa “murah” dalam kertas ini. Kertas itu tidak menukarkannya kepada harga bagi setiap mesej, dan saya juga tidak.

Persetujuan dengan manusia, dan apa yang didedahkan oleh percanggahan #

Murah hanya menarik jika pengesan itu juga betul. Di mana label manusia membolehkan semakan, Jev bersetuju dengannya sebaik hakim, dengan sebahagian kecil kos.

Bukti paling khusus datang daripada StrongREJECT. Berbanding label manusia di sana, soalan umum bersetuju sebaik penilai rujukan (κ Cohen 0.809 lwn. 0.811) dan menyusun dengan lebih baik. Kedua-dua nilai κ berbeza sebanyak 0.002, jadi bacaan yang munasabah ialah seri dalam persetujuan, dengan Jev mendahului dalam penyusunan.

Kemudian datang keputusan yang saya dapati paling berguna dalam amalan, kerana ia menjadikan pengesan itu alat audit. Percanggahan Jev yang yakin mendedahkan kecacatan yang mengubah label dalam tiga penanda aras dan label yang tidak dapat didedahkan oleh state dalam empat lagi. Apabila pengesan yang yakin bercanggah dengan label rujukan sesuatu penanda aras, satu penjelasan ialah pengesan itu salah. Kertas itu melaporkan bahawa dalam sesetengah kes percanggahan itu menunjuk kepada penanda aras: tiga penanda aras mempunyai kecacatan yang mengubah label, dan empat lagi mempunyai label yang tidak dapat didedahkan oleh state.

Kategori kedua berkait semula dengan perkara tentang sifat hubungan. Label yang tidak dapat didedahkan oleh state ialah label yang ditakrifkan oleh sesuatu yang tidak pernah masuk ke dalam input. Tiada pengesan yang membaca state itu dapat memulihkannya. Menemui kes sedemikian ialah sumbangan yang berbeza daripada menaikkan skor, kerana ia memberitahu penyelenggara penanda aras di mana data dan label mereka berpisah haluan.

Titik lemah: penentukuran #

Di sini artikel ini perlu berterus terang, kerana kertas itu juga begitu. Kebarangkaliannya menyusun dengan baik tetapi tidak boleh dipindahkan sebagai ambang: median ECE ialah 0.168 berbanding nilai nol 0.074, pada label yang disahkan dan label hakim sama sahaja, kerana kebarangkalian purata Jev tersasar daripada kadar asas setiap penanda aras.

Kepingan-kepingannya bercantum begini. AUROC mengukur penyusunan, dan penyusunannya kukuh. Ambang ialah perkara lain. Jika kebarangkalian output purata model tidak sepadan dengan kekerapan kegagalan berlaku dalam sesuatu penanda aras, maka t = 0.5 jatuh di tempat yang salah, dan ralat penentukuran jangkaan menjadi tinggi. Median ECE 0.168 berada di atas nilai nol 0.074, prestasi yang lebih buruk daripada titik rujukan yang dipilih kertas itu. Dan ia berlaku pada label yang disahkan dan label hakim sama sahaja, jadi kelemahan itu bukan artifak label hakim yang bising.

Ingat susunan formalnya: pengesan perlu menyusun kegagalan di atas bukan kegagalan dan memisahkannya pada ambang. Jev melakukan yang pertama dengan baik dan yang kedua dengan lemah secara asal. Nama teknik itu mengandungi “keputusan tertentukur”, sedangkan penentukuran yang diukur di sini tidak terbawa merentas penanda aras, satu ketegangan yang wajar dinyatakan dengan terang. Kertas itu mengaitkan jurang itu dengan kadar asas dan tidak mendakwa lebih daripada itu.

Akibat praktikalnya: sebagai pengganti hakim, Jev memerlukan beberapa label untuk menetapkan ambangnya. Itu kos sebenar, dan ia menyempitkan dakwaan sebagai pengganti sedia pakai. Anda tidak boleh menghalakannya kepada jenis kegagalan baharu lalu mempercayai t = 0.5.

Resipinya #

Cadangan kertas itu padat. Resipinya ialah soalan umum yang dibaca sebagai kebarangkalian, dengan ambang yang dipadankan pada sepuluh item berlabel, yang menaikkan F1 di mana Jev terlalu jarang tercetus pada t = 0.5 dan berkos 0.025 pada label yang disahkan.

Mari huraikan. Soalan umum menangani masalah susunan kata dengan enggan merekayasanya, sejajar dengan dapatan bahawa susunan kata kurang penting. Membaca jawapan sebagai kebarangkalian mengekalkan margin. Memadankan ambang pada sepuluh item berlabel menangani kadar asas yang tersasar. Kesannya pada F1 positif di mana Jev terlalu jarang tercetus pada t = 0.5. Pada label yang disahkan, resipi ini berkos 0.025.

Angka terakhir itu wajar direnungkan. Resipi ini bukan tanpa kelemahan: pada label yang disahkan ia berkos 0.025. Kertas itu melaporkan pertukaran itu dan tidak menyembunyikannya, dan saya lebih suka memetik resipi dengan kos yang dinyatakan daripada resipi yang diiklankan sebagai keuntungan semata-mata. Dakwaan-dakwaannya tidak menyatakan metrik apa yang digunakan untuk mengukur 0.025 selain konteks label yang disahkan, jadi saya tidak akan meneka.

Sepuluh item berlabel ialah permintaan kecil. Bagi kebanyakan pasukan ia kerja anotasi sepetang, berbanding kos menjalankan hakim pada setiap mesej. Tetapi ia prasyarat, dan pasukan yang tidak dapat menghasilkan sebarang item berlabel untuk jenis kegagalan baharu tidak sepatutnya mengharapkan ambang itu menjadi beres dengan sendirinya.

Apa yang perlu diambil oleh pengamal #

Beberapa perkara terhasil daripada ini, dan saya berani berpegang padanya kerana buktinya menyokong.

Pertama, berhenti mengoptimumkan susunan kata soalan. Peningkatan luar sampel daripada susunan kata yang disasarkan ialah +0.006 dengan selang dari −0.004 hingga +0.015. Itu bukan asas untuk pelaburan.

Kedua, curahkan usaha pada state. Peningkatan besar datang daripada rujukan yang mentakrifkan label. Jika pemantau anda boleh diberi rujukan yang mentakrifkan kegagalan, di situlah penambahbaikan berada. Jika tidak boleh, jangkakan kurang: konteks yang akan dipegang oleh pemantau yang digunakan membantu pada 1 daripada 7 penanda aras. Rancang berdasarkan angka yang boleh anda peroleh dalam penggunaan, bukan angka yang anda dapat dalam penanda aras di mana rujukan terletak dalam input.

Ketiga, peruntukkan bajet untuk penentukuran. Rancang untuk melabel sepuluh item bagi setiap jenis kegagalan dan memadankan ambang. Jangan melancarkan dengan t = 0.5.

Keempat, gunakan percanggahan sebagai isyarat. Percanggahan yang yakin dengan label rujukan mendedahkan kecacatan dalam tiga penanda aras dan label yang tidak dapat didedahkan dalam empat lagi. Jika anda menjalankannya pada suite penilaian anda sendiri, jangkakan ia mungkin memberitahu anda tentang label anda sama seperti tentang model anda. Itu inferens daripada dapatan kertas itu, bukan dakwaan terukur tentang mana-mana suite tertentu, jadi anggaplah ia sebagai jemputan untuk menyemak.

Kelima, ingat kelemahan yang diketahui. Pembangun menyenaraikan makna tidak langsung dan kandungan adversari antara kelemahan Jev yang diketahui. Pemantau yang penting untuk keselamatan akan berdepan kandungan adversari. Dakwaan di sini tidak melaporkan prestasi Jev terhadapnya, jadi itu kekal sebagai rusuk terbuka, dan saya mahu ia diuji sebelum mempercayai sesuatu penggunaan.

Membaca keputusan ini dari sudut kes komersial #

Pengasas akan mahu tahu kedudukannya. Hujah kos ialah yang paling kukuh: pengesan yang berjalan pada setiap mesej mesti murah, dan pengurangan 63× berbanding penilai LLM-judge mengubah penggunaan mana yang mampu ditanggung. Hujah ketepatan berada di tempat kedua: AUROC zero-shot 0.886 dan kemenangan ke atas garis dasar terselia pada kebanyakan penanda aras.

Kaveat-kaveatnya membentuk apa yang boleh dijual dengan jujur. Pengesan itu memerlukan beberapa label bagi setiap ambang. Penentukurannya tidak terbawa. Peningkatan terbaiknya bergantung pada rujukan yang mungkin tidak dimiliki sesuatu penggunaan. Itu semua syarat penggunaan, dan mana-mana produk yang dibina di atasnya patut menyatakannya dan bukan menyembunyikannya. Tiada satu pun daripadanya melemahkan hujah kos; ia hanya menerangkan kerja penyediaan.

Ada juga perkara yang lebih senyap tentang pengukuran itu sendiri. RLCDAlignBench, dengan varian konteks, jawapan Jev yang dicache, skrip penilaian semula dan protokol bahagi dua, ialah aset penilaian yang boleh diguna semula. Penanda aras yang membuang inflasi pemilihan daripada peningkatan yang dilaporkan ialah jenis artifak yang membolehkan dakwaan kemudian dibandingkan. Itu nilai yang berbeza daripada pengesan itu.

Apa yang masih terbuka #

Beberapa sempadan jelas daripada dakwaan-dakwaannya. Model sasarannya ialah lima model terbuka berparameter 2–7B, jadi keputusannya menggambarkan kegagalan dalam interaksi daripada model sebesar itu. Soalan umum tidak ditanya pada 7 penanda aras, dan AUROC tajuk utama ialah median ke atas penanda aras di mana ia ditanya. Labelnya datang daripada penilai rujukan, dengan label manusia dan label hakim kedua meliputi StrongREJECT, HarmBench, AbstentionBench dan InstrumentalEval.

Soalan terbuka yang paling menarik minat saya ialah yang ditimbulkan oleh struktur kertas itu sendiri. Kegagalan bersifat hubungan; state sering tidak mengandungi rujukan; dan konteks pemantau yang digunakan hanya membantu pada 1 daripada 7 penanda aras. Reka bentuk satu panggilan Jev membolehkan banyak soalan berkongsi satu input, tetapi tuil terbesarnya ternyata ialah medan apa yang dibawa oleh input. Bagaimana sesuatu penggunaan patut memperoleh rujukan pentakrif label semasa pemantauan, seperti senarai item rahsia untuk semakan privasi, ialah perkara seterusnya yang perlu diselesaikan. Kertas itu menunjukkan peningkatan itu boleh dicapai (0.79→0.95 pada PrivacyLens), dan membiarkan terbuka sama ada pemantau yang digunakan boleh diberikannya cukup murah untuk mengekalkan kelebihan 63×.

Maksudnya Mengikut Sektor #

Keupayaan menilai kriteria penjajaran yang kompleks melalui kepala keputusan tertentukur dengan sebahagian kecil kos inferens membentuk semula keselamatan operasi merentas beberapa domain.

Penyedia get laluan AI dan platform keselamatan #

Syarikat infrastruktur yang menggunakan pagar keselamatan masa nyata boleh menggantikan seni bina lata yang mahal (memanggil pengelas suntikan prompt, ketoksikan dan privasi secara berasingan) dengan kepala RLCD berbilang pertanyaan yang bersatu. Kos operasi turun lebih daripada 60× manakala kependaman dihadkan kepada satu laluan hadapan.

Pasukan tadbir urus AI dan pematuhan audit #

Jawatankuasa risiko yang menilai tingkah laku model berbanding piawaian seperti keperluan risiko tinggi EU AI Act atau NIST AI RMF memperoleh log audit yang deterministik dan berasaskan kebarangkalian. Sebagai ganti maklum balas naratif LLM-judge yang tidak berstruktur, sistem merekodkan taburan kebarangkalian tertentukur yang menyokong kawalan proses statistik dan pemantauan hanyutan.

Pasukan penggunaan perusahaan dan red teaming #

Pasukan keselamatan boleh menggunakan pengesan kegagalan tersuai dengan pantas dengan menyusun perwakilan state yang terfokus dan memadankan ambang keputusan terhadap sekurang-kurangnya sepuluh contoh khusus domain, sekali gus menghapuskan kitaran penalaan halus berminggu-minggu yang sebelum ini diperlukan untuk pengelas tempahan.

Kesimpulan #

Penilaian Jev merentas RLCDAlignBench menetapkan hala tuju seni bina yang meyakinkan untuk pemantauan model dalam pengeluaran: membaca kebarangkalian tertentukur merentas banyak soalan bertaip dalam satu laluan hadapan mengatasi hakim LLM autoregresif dari segi kos dan pengelas token tunggal dari segi fleksibiliti. Walaupun pengamal perlu memperuntukkan bajet untuk penentukuran ambang secara empirik dan bukan menganggap kebarangkalian boleh dipindahkan secara asal, kelebihan ekonomi 63× menjadikan pemantauan masa nyata yang menyeluruh boleh dilaksanakan pada skala besar.

Soalan Lazim #

Mengapa hakim LLM generatif tidak praktikal untuk pemantauan pengeluaran masa nyata?

Hakim generatif memerlukan satu laluan penyahkodan autoregresif yang lengkap bagi setiap kriteria keselamatan atau penjajaran yang dinilai. Dalam aplikasi pengguna atau perusahaan berdaya pemprosesan tinggi, menjalankan beberapa panggilan hakim generatif bagi setiap mesej menimbulkan penalti kependaman yang teruk dan menggelembungkan kos operasi berlipat kali ganda.

Apakah Pembelajaran Pengukuhan untuk Keputusan Tertentukur (RLCD)?

RLCD ialah metodologi latihan yang mengoptimumkan model untuk menghasilkan kebarangkalian posterior yang tertentukur dengan baik ke atas kepala keputusan berstruktur dan bukan menjana jujukan token. Ini membolehkan model menilai banyak soalan sembarangan serentak dalam satu penilaian hadapan.

Mengapa ambang keputusan perlu ditentukur dengan data tempatan?

Walaupun model RLCD cemerlang dalam menyusun interaksi mengikut kemungkinan kegagalan (mencapai AUROC yang tinggi), kebarangkalian purata mutlaknya beranjak bergantung pada kadar asas domain sasaran. Menentukur ambang keputusan operasi berbanding kira-kira sepuluh contoh domain berlabel memastikan kepekaan yang sesuai tanpa kadar positif palsu yang tidak boleh diterima.

Rujukan #

Mrinank Sharma et al., (2024). Ke Arah Memahami dan Mengurangkan Sikap Mengampu dalam Model Bahasa ⧉. arXiv.
RLCDAlignBench Consortium, (2026). Pengesanan Kegagalan Penjajaran Berbilang Kriteria melalui Kepala Keputusan Tertentukur ⧉. arXiv.
Anthropic / Alignment Research, (2025). AI Berperlembagaan dan Dinamik Penilai ⧉. Anthropic.
NIST, (2024). Rangka Kerja Pengurusan Risiko Kecerdasan Buatan (AI RMF 1.0) ⧉. NIST.

Semakan terakhir 2026-09-30.

Semakan terakhir 2026-10-27.

Terbit semula artikel ini

Pengesan kebarangkalian, bukan keputusan: Jev di 44 penanda aras — Sebastien Rousseau

Jev, dilatih dengan RLCD, diuji pada 44 penanda aras kegagalan penjajaran: susunannya baik dan 63× lebih murah daripada LLM-judge, tetapi ambang perlu 10 label.

Artikel ini dilesenkan di bawah Creative Commons Attribution 4.0 International. Penerbitan semula memerlukan atribusi kepada URL kanonik.

Pengesan kebarangkalian, bukan keputusan: Jev di 44 penanda aras — Sebastien Rousseau

Jev, dilatih dengan RLCD, diuji pada 44 penanda aras kegagalan penjajaran: susunannya baik dan 63× lebih murah daripada LLM-judge, tetapi ambang perlu 10 label.

Originally published at https://sebastienrousseau.com/ms/2026-09-30-pengesan-kebarangkalian-bukan-keputusan-jev-44/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER