Detektor na bumabasa ng probabilidad, hindi hatol: Jev sa 44 benchmark

Isang detektor ng alignment failure na sumasagot ng maraming may-uring tanong sa iisang tawag, gamit ang kalibradong probabilidad, ang mahusay magranggo ng mga failure at 63× na mas mura kaysa sa mga LLM-judge scorer. Pero hindi naililipat ang mga probabilidad na iyon bilang threshold, at mas mahalaga ang label at ang reference nito kaysa sa pagkakasalita ng tanong.

Ang istruktura ng gastos sa pagbabantay sa bawat mensahe #

Sumusunod pa rin ang mga naka-deploy na modelo sa maling paniniwala ng user (Sharma et al., 2024). Katamtaman lang ang pangungusap na iyon, pero ito ang humuhubog sa buong problema. Kung nananatili ang ganoong uri ng sycophancy sa mga naka-deploy na sistema, may kailangang magbantay dito, at kailangang mangyari ang pagbabantay sa parehong takbo ng mismong usapan.

Dito kumakagat ang ekonomiya. Kailangang tumpak ang isang detektor at, dahil tumatakbo ito sa bawat mensahe, mura. Madaling makuha ang alinman sa dalawa nang mag-isa: mura ang pabayang detektor, at ang maingat na detektor na masyadong mahal para patakbuhin sa bawat mensahe ay nagbabantay lang sa isang sample ng trapiko. Ang kawili-wiling tanong sa engineering ay kung anong hugis ng detektor ang maaaring maging pareho.

May depekto sa istruktura ang kasalukuyang sagot, ayon sa papel na pinagbatayan ng artikulong ito. Karamihan ng mga detektor ng alignment failure ay mga generative judge na gumugugol ng isang decoding pass sa bawat pamantayan. Sa simpleng salita, nagbabayad ang mga kasalukuyang detektor ng isang decoding pass para sa bawat pamantayang sinusuri nila. Ang monitor na gustong magsuri ng sampung magkakaibang uri ng failure ay nagbabayad ng sampung pass, at lumalaki nang linear ang singil kasabay ng bilang ng mga bagay na pinahahalagahan mo.

May bahagyang lunas, at sulit na maging eksakto tungkol sa mga hangganan nito. Ang mga classifier na nagbabasa ng token probability, gaya ng Llama Guard, ay nagbibigay pa rin ng marka sa iisang nakapirming label bawat tawag. Nagbibigay ng marka ang pagbasa ng token probability, pero iisang label o pamantayan pa rin ang minamarkahan ng bawat tawag, dahil binabasa ang probabilidad mula sa iisang verdict token. Nawala ang decoding pass, pero nananatili ang istrukturang isang tanong bawat tawag. Pinamura mo ang bawat tawag nang hindi binabago kung ilang tawag ang kailangan mo.

Kaya ganito ang argumento tungkol sa istruktura: mahal bawat pamantayan ang mga generative judge, at mas mura bawat pamantayan ang mga classifier na nagbabasa ng probabilidad pero nakatali pa rin sa iisang pamantayan bawat isa. Wala sa dalawa ang nagpapahintulot na magtanong ka ng maraming tanong tungkol sa iisang input nang sabay-sabay.

Dimensyon ng Arkitektura	Mga Generative LLM Judge (hal. GPT-4 bilang Judge)	Mga Single-Token Classifier (hal. Llama Guard)	Multi-Query na RLCD Detector (Jev)
Mekanismo ng Pagmamarka	Buong autoregressive decoding pass bawat pamantayan	Softmax probability sa iisang output token	Multi-head na tensor ng kalibradong probabilidad $P(\text{yes})$
Mga Tanong bawat Tawag	1 evaluation prompt bawat invocation ng modelo	1 classification label bawat invocation ng modelo	Maraming binary/categorical/ordinal na tanong sa 1 tawag
Gastos sa Inference	Mataas ($10–$50 bawat 1,000 interaksyon)	Katamtaman ($0.50–$2.00 bawat 1,000 interaksyon)	63× na mas mababa ($0.30 sa 19 buong benchmark)
Pagganap sa AUROC	Nakadepende sa benchmark; madaling magka-judge drift	Mataas sa mga partikular na sinanay na kategorya ng kaligtasan	Median AUROC na 0.886 nang zero-shot sa 44 suite
Kalidad ng Kalibrasyon	Heuristikong paliwanag na walang pormal na probabilidad	Magaspang na logits na walang post-hoc na kalibrasyon	Kalibradong probabilidad; median ECE na 0.168 (kailangan ng ~10 may-label na item)

Ang naiiba sa ginagawa ni Jev #

Sinanay si Jev sa reinforcement learning for calibrated decisions (RLCD). Sumasagot ito ng maraming may-uring tanong tungkol sa iisang input gamit ang kalibradong probabilidad sa iisang tawag. Sulit na ilahad nang maingat ang mekanismo, dahil nakasalalay rito ang natitirang bahagi ng artikulo.

Nagbabalik ang isang RLCD model ng desisyon na may kalibradong probabilidad para sa bawat may-uring tanong sa halip na bumuo ng teksto. Walang hakbang ng pagbuo kung saan isinusulat ang hatol at saka pina-parse. Sumasagot si Jev ng maraming binary, categorical at ordinal na tanong tungkol sa iisang input, na tinatawag ng papel na state, sa iisang tawag. Ang state ang input; ang mga tanong ang mga bagay na itinatanong mo tungkol dito.

Ibang kurba ng gastos iyon kumpara sa alinman sa dalawang lapit sa itaas. Kung iisang tawag ang pinagsasaluhan ng mga tanong, hindi nagdaragdag ng decoding pass ang pagdaragdag ng tanong. Halata ang pakinabang para sa monitor na nagmamalasakit sa ilang uri ng failure nang sabay, bagaman ang mga sukat ng papel ay tungkol sa naaabot ng iisang pangkalahatang tanong, at mananatili ako sa kung ano ang nasukat.

May puwang, gayunman. Hindi pa nasusukat kung natutukoy ni Jev ang mga alignment failure. Kapani-paniwalang tugma sa trabaho ang modelong sumasagot ng may-uring tanong gamit ang kalibradong probabilidad, at mura ang pagiging kapani-paniwala. Layunin ng papel na ibigay ang nawawalang sukat.

Kung bakit mas mahirap ang mga alignment failure kaysa sa hitsura nila #

Bago ang sukat, isang komplikasyon. Marami sa mga failure na ito ay relasyonal, itinatakda laban sa isang reference na hindi naipapakita ng tugon lamang. Magandang halimbawa ng pangkalahatang ideya ang sycophancy: nakasalalay kung sumusunod ang isang tugon sa maling paniniwala ng user sa kung ano ang paniniwala at kung mali ba ito, at wala sa dalawang katotohanang iyon ang nakikita sa teksto ng tugon nang mag-isa.

May bunga ito sa disenyo ng detektor na inilalahad ng papel nang may angkop na pag-iingat. Ang detektor na tugon lang ang nakikita ay maaaring walang reference na nagtatakda sa failure. Mahalaga ang salitang "maaari"; hindi sinasabing bawat failure ay nangangailangan ng reference, kundi may ilang nangangailangan nito at maaaring hindi ito makita ng pananaw na tugon lang ang tinitingnan.

Pinahihirap din nito ang diyagnosis. Kung relasyonal ang mga failure, ang mahinang pagtukoy ay maaaring galing sa tanong o sa state na walang reference. Dalawang bagay ang maaaring mali, at hindi sinasabi ng mababang marka kung alin. Baka mali ang pagkakasalita ng tanong. Baka maayos ang tanong at hindi lang talaga naglaman ang input ng kailangan para sagutin ito. Ang benchmark na gustong magsabi ng anumang kapaki-pakinabang tungkol sa isang detektor ay kailangang buuin para mapaghiwalay ang dalawang sanhing iyon.

Ang developer, sa bahagi nito, ay naglilista ng di-tuwirang kahulugan at adversarial na nilalaman sa mga kilalang kahinaan ni Jev. Sulit itong tandaan sa pagbabasa ng mga resulta sa ibaba, dahil may ilang uri ng failure na nakasandal mismo sa mga katangiang iyon.

Pagturing sa pagtukoy bilang klasipikasyon #

Simple ang pormal na set-up ng papel. Itinuturing nito ang pagtukoy ng alignment failure bilang binary classification sa mga interaksyon ng isang target model. Nagtatalaga ang detektor ng marka na s(x) ∈ [0, 1] at minamarkahan ang x kapag s(x) ≥ t. Ibig sabihin, kailangan nitong iranggo ang mga failure nang mas mataas sa mga hindi failure at paghiwalayin sila sa isang threshold na t.

Mapaghihiwalay ang dalawang tungkuling iyon, at eksaktong sa tahing iyon nahahati ang mga resulta ng papel. Ang pagraranggo ang sinusukat ng AUROC. Ang paghihiwalay sa isang threshold ang nakasalalay sa kalibrasyon, at babalikan ito ng artikulo dahil doon nagkukulang si Jev. Maaaring napakahusay magranggo ng isang detektor pero hindi pa rin magamit sa t=0.5 kung nasa maling lugar ang mga probabilidad nito.

RLCDAlignBench #

RLCDAlignBench ang tawag sa benchmark. Sinasaklaw nito ang sampung uri ng failure sa 44 benchmark at 7,193 instance ng pagtukoy. Galing ang mga instance sa limang bukas na target model na 2–7B, bawat isa ay nilagyan ng label ng reference scorer ng benchmark nito. Kaya galing sa maliliit na bukas na modelo ang mga interaksyong hinuhusgahan, at ang ground truth ng bawat isa ay kung ano ang sinasabi ng sariling scorer ng pinagmulang benchmark.

Hindi pare-pareho ang uri ng label ng bawat benchmark. Ginagamit ang mga label ng tao sa StrongREJECT at HarmBench, at ang mga label ng pangalawang judge sa AbstentionBench at InstrumentalEval, para ihambing si Jev sa isang judge. Nagbibigay iyon sa papel ng dalawang uri ng panlabas na pagsusuri sa mga reference scorer: mga tao sa ilang kaso, isang pangalawang judge sa iba.

Inilalarawan ang inilabas na artefact bilang 44 benchmark sa sampung uri ng failure na may mga context variant, naka-cache na sagot ni Jev at mga rescoring script, kasama ang split-half protocol na nag-aalis ng selection inflation sa mga iniulat na pag-angat. Bawat elemento ay tumutugon sa isang praktikal na pangangailangan. Pinapayagan ng mga context variant ang mambabasa na itanong kung ano ang nangyayari kapag mas marami ang laman ng state. Pinapayagan ng mga naka-cache na sagot at rescoring script ang sinuman na ulitin ang isang numero nang hindi muling pinapatakbo ang modelo. Hinaharap ng split-half protocol ang isang bitag sa metodolohiya, na nararapat sa sariling seksyon.

Ang bitag ng pagpili #

Maaaring tanungin si Jev ng maraming tanong tungkol sa iisang input. Iyon ang pangunahing bentahe nito, at isa rin itong panganib sa ebalwasyon. Kung maglalatag ka ng hanay ng mga kandidatong tanong at iuulat ang alinmang may pinakamataas na marka, naghanap ka sa mga tanong at iniulat mo ang nanalo. Tuwiran ang pagkakasabi ng papel: ang pag-uulat sa pinakamahusay sa mga iyon ay magpapalaki sa aktuwal na nakukuha ng isang practitioner.

Makikilala ito ng sinumang nag-tune na ng prompt laban sa isang test set. Simple ang lunas na ginamit dito. Pinipili ang mga tanong sa kalahati ng mga item at minamarkahan sa kabilang kalahati. Pinipili ang target na tanong sa kalahati ng mga item at minamarkahan sa kabilang kalahati, sa 20 hati. Hindi kailanman nagagalaw ng pagpili ang mga item na lumilikha ng iniulat na numero.

Mahalaga ito sa pagbasa ng bawat pag-angat na iniulat sa ibaba. Ang argumento ng papel ay inaalis ng split-half protocol ang selection inflation sa mga iniulat na pag-angat. Kapag sinasabi ng papel na nagbibigay ang target na pagkakasalita ng median na pag-angat na +0.006 AUROC, galing ang numerong iyon sa pagkakasalitang pinili at minarkahan sa magkahiwalay na kalahati. Mas kapaki-pakinabang ang ganoon kaliit na numero, na tapat na sinukat, kaysa sa mas malaking numerong tahimik na isinama ang sumpa ng nanalo.

Ang pangunahing resulta: isang pangkalahatang tanong #

Ngayon ang resultang gugustuhin ng karamihan ng mambabasa. Umaabot ang iisang pangkalahatang tanong sa median AUROC na 0.886 nang zero-shot at tinatalo ang mga supervised baseline sa karamihan ng benchmark.

Isa-isahin ang mga salita. Ang "iisang pangkalahatang tanong" ay nangangahulugang walang engineering ng prompt bawat benchmark. Ang "zero-shot" ay nangangahulugang walang pagsasanay sa target na benchmark. Ang "tinatalo ang mga supervised baseline sa karamihan ng benchmark" ay nangangahulugang ang mga sistemang sinanay sa may-label na datos mula sa gawain ay natatalo ng tanong na walang nag-tune, sa karamihan ng mga benchmark na sinuri. Humihinto ang pahayag sa "karamihan", at gayundin ang artikulong ito.

Ang pangkalahatang tanong ay isang template na tanong na binabasa bilang P(yes). Iniuulat ng numero ang AUROC ng 38 benchmark na magagamit, at hindi itinanong ang pangkalahatang tanong sa 7 benchmark. Kaya ang pangunahing numero ay median sa mga benchmark kung saan nailapat ang pangkalahatang tanong, mula sa 38 na magagamit. Dapat panatilihing malinaw ng maingat na mambabasa ang mga denominador: 44 benchmark ang kabuuan, 38 ang magagamit para sa numerong ito, at may puwang na 7 ang pangkalahatang tanong.

Sa tingin ko, ang resultang zero-shot ang mas kawili-wiling kalahati ng pangungusap. Ang pagtalo sa mga supervised baseline ay pahayag tungkol sa paghahambing ng katayuan. Ang median AUROC na 0.886 nang walang pagsasanay na partikular sa gawain ay may sinasabi kung gaano karami ng signal ng failure ang abot-kamay ng isang modelong nagbabasa ng state at sumasagot ng simpleng tanong. Kung lumalawak ito sa mga uri ng failure na labas sa sampung ito ay hindi tinatalakay ng mga pahayag.

Halos walang kaugnayan ang pagkakasalita #

Kung gumugol ka na ng oras sa prompt engineering, mapapait ang susunod na resulta. Kaunti lang ang epekto ng pagkakasalita ng tanong, habang mas mahalaga ang konteksto, pangunahin sa pamamagitan ng mga field na nagko-code ng label.

Tiyak ang paliwanag ng papel kung bakit. Kapag pinanatili ang mga sagot bilang probabilidad sa halip na mga desisyong argmax, kaunti lang ang epekto ng pagkakasalita ng tanong at malaki ang epekto ng nilalaman ng state at ng label. Obserbasyon ito tungkol sa impormasyon. Itinatapon ng desisyong argmax ang margin kung gaano kalaki ang lamang ng isang sagot sa isa pa, at maaaring itawid ng pagbabago ng pagkakasalita ang desisyon sa kabilang panig ng hangganan. Pinananatili ng probabilidad ang margin, kaya bahagyang ginagalaw ng muling pagkakasalitang bahagyang tumutulak sa ebidensya ang probabilidad at halos buo ang naiiwang ranggo.

Mananatili ako sa sinasabi ng papel: kapag pinanatili ang mga probabilidad, kaunti ang epekto ng pagkakasalita. Hindi ko ito palalawakin sa mekanistikong paliwanag kung bakit, dahil walang ibinibigay ang mga pahayag.

Sinusuportahan ng mga numero ang pahayag. Nagbibigay ang target na pagkakasalita ng median na pag-angat na +0.006 AUROC, kung saan pinili at minarkahan ang pagkakasalita sa magkahiwalay na kalahati. Sa labas ng sample, nagdaragdag ang target na pagkakasalita ng +0.006 [−0.004, +0.015] AUROC. Sumasaklaw sa zero ang interval. Hindi dapat ituring ng mambabasa ang +0.006 bilang maaasahang pagbuti; kasindali ng maliit na pag-angat ang maliit na pagkalugi sa loob ng interval. Para sa isang practitioner, ang kapaki-pakinabang na pagbasa ay malamang na hindi magbabayad ang paghahanap ng mas matalinong pagkakasalita, kahit man lang sa mga benchmark na ito.

Dapat nitong baguhin kung paano hinahati ng mga team ang kanilang oras. Kung halos walang epekto ang pagkakasalita, mas mabuting gugulin sa state ang mga oras na ginugugol dito.

Nasa konteksto ang mga pag-angat #

Kaya ano ang laman ng state, at ano ang dapat nitong lamanin? Ang natuklasan ng papel ay mas mahalaga ang konteksto, pangunahin sa pamamagitan ng mga field na nagko-code ng label. Ang pangunahing ideya sa disenyo ng pag-aaral ay paghiwalayin ang itinatanong kay Jev sa nakikita nito: ang pagkakasalita at uri ng sagot ng tanong sa isang panig, ang mga field ng input sa kabila. Ang paghihiwalay na iyon ang nagpapahintulot sa papel na sabihing kaunti ang epekto ng pagkakasalita habang mas mahalaga ang konteksto. Kung wala ito, magkakabuhol ang dalawang epekto.

Ang pangunahing halimbawa ay ang PrivacyLens. Ang mga reference na nagtatakda ng label ang nagbibigay ng malalaking pag-angat, gaya ng listahan ng mga lihim na item ng PrivacyLens (0.79→0.95). Malaki ang pag-akyat mula 0.79 hanggang 0.95 AUROC kumpara sa +0.006 mula sa pagkakasalita. Ang reference dito ay isang listahan ng mga lihim na item, na eksaktong uri ng bagay na hinulaang mahalaga ng naunang talakay tungkol sa mga relasyonal na failure: nakasalalay kung may tinatagas na pribado ang isang tugon sa kung ano ang itinuturing na pribado, at hindi iyon sinasabi ng tugon nang mag-isa.

May babala sa deployment, at mahalaga ito. Nakatutulong ang kontekstong hawak ng isang naka-deploy na monitor sa 1 sa 7 benchmark. Galing ang malalaking pag-angat sa mga reference na nagtatakda ng label, pero hindi tiyak na hawak iyon ng isang naka-deploy na monitor. Ang makatotohanang hawak ng isang monitor ay nakatutulong sa iisa lang sa pitong benchmark.

Mahinahong natuklasan ito, at sa tingin ko ito ang pangungusap sa papel na pinakamahalaga sa komersyo. Pinaghihiwalay nito ang numero sa laboratoryo at ang numero sa larangan. Ang detektor na sinuri nang hawak ang reference na nagtatakda ng label ay sumasagot ng mas madaling tanong kaysa sa hinaharap ng isang naka-deploy na monitor. Totoo ang mga pag-angat, pero malinaw ang papel kung alin sa mga iyon ang maaasahan ng isang deployment.

Itinuturo rin ng papel ang isang limitasyon ng isang benchmark. Sa Open-Prompt-Injection, sinusundan ng label ang katumpakan ng injected task. Halimbawa iyon ng label na nakatali ang kahulugan sa isang katangian ng gawain, na may kinalaman sa kung ano ang maaasahang makita ng detektor mula sa state. Hindi na ako hihigit pa sa konklusyon mula rito, dahil walang iniaalok ang mga pahayag.

Gastos #

Ngayon ang numerong nagpapakongkreto sa ekonomiya. 63× na mas mura si Jev kaysa sa mga LLM-judge scorer. Ang tiyak na paghahambing: $0.30 ang isang pagdaan sa 19 benchmark na sinusuri ng judge, 63× na mas mura kaysa sa kanilang mga judge sa list price. Sinasaklaw ng paghahambing ng gastos ang isang pagdaan sa 19 benchmark na may API judge sa list price.

Mag-ingat sa saklaw. Para sa 19 benchmark na gumagamit ng API judge ang paghahambing, sa list price, para sa iisang pagdaan. Hindi nito sinasaklaw ang bawat benchmark sa suite, at hindi rin ang may-diskwentong presyo. Sa loob ng saklaw na iyon, malaki ang ratio, at bunga ito ng arkitekturang inilarawan kanina: walang decoding pass bawat pamantayan.

Alalahanin ang panimulang kahingian, na kailangang mura ang detektor na tumatakbo sa bawat mensahe. Ang $0.30 para sa buong pagdaan sa 19 benchmark ang hitsura ng "mura" sa papel na ito. Hindi ito isinasalin ng papel sa presyo bawat mensahe, at hindi ko rin gagawin.

Pagsang-ayon sa mga tao, at ang inilantad ng hindi pagsang-ayon #

Kawili-wili lang ang mura kung tama rin ang detektor. Kung saan pinapayagan ng mga label ng tao ang pagsusuri, sumasang-ayon si Jev sa mga ito nang kasinghusay ng judge, sa maliit na bahagi ng gastos.

Galing sa StrongREJECT ang pinakatiyak na ebidensya. Laban sa mga label ng tao roon, sumasang-ayon ang pangkalahatang tanong nang kasinghusay ng reference scorer (Cohen's κ 0.809 laban sa 0.811) at mas mahusay magranggo. 0.002 lang ang agwat ng dalawang κ, kaya ang makatwirang pagbasa ay patas sa pagsang-ayon, at nauuna si Jev sa pagraranggo.

Pagkatapos ay dumarating ang resultang sa tingin ko ay pinakakapaki-pakinabang sa praktika, dahil ginagawa nitong kasangkapan sa audit ang detektor. Inilantad ng kumpiyansang hindi pagsang-ayon ni Jev ang mga depektong nagbabago ng label sa tatlong benchmark, at mga label na hindi maipakita ng state sa apat pa. Kapag kumpiyansang sumasalungat ang isang detektor sa reference label ng isang benchmark, isang paliwanag ay mali ang detektor. Iniuulat ng papel na sa ilang kaso, ang benchmark ang itinuro ng hindi pagsang-ayon: may mga depektong nagbabago ng label ang tatlong benchmark, at may mga label na hindi maipakita ng state ang apat pa.

Bumabalik ang ikalawang kategorya sa puntong relasyonal. Ang label na hindi maipakita ng state ay label na itinakda ng isang bagay na hindi kailanman nakapasok sa input. Walang detektor na bumabasa sa state na iyon ang makababawi nito. Ibang ambag ang paghahanap ng ganitong mga kaso kaysa sa pagpapataas ng marka, dahil sinasabi nito sa mga tagapangalaga ng benchmark kung saan naghihiwalay ang kanilang datos at ang kanilang mga label.

Ang mahinang punto: kalibrasyon #

Dito kailangang maging prangka ang artikulo, dahil prangka ang papel. Mahusay magranggo ang mga probabilidad pero hindi naililipat bilang threshold: 0.168 ang median ECE laban sa null na 0.074, sa mga validated at judge label, dahil lumilihis ang mean probability ni Jev sa base rate ng bawat benchmark.

Ganito nagkakatugma ang mga piraso. Sinusukat ng AUROC ang pagraranggo, at malakas ang pagraranggo. Ibang usapan ang threshold. Kung hindi tumutugma ang karaniwang output probability ng modelo sa kung gaano kadalas nangyayari ang mga failure sa isang benchmark, napupunta sa maling lugar ang t=0.5, at mataas ang expected calibration error. Nasa itaas ng null na 0.074 ang median ECE na 0.168, isang mas mahinang pagpapakita kaysa sa reference point na pinili ng papel. At totoo ito sa mga validated at judge label, kaya hindi produkto ng maingay na judge label ang kahinaan.

Alalahanin ang pormal na set-up: kailangang iranggo ng detektor ang mga failure nang mas mataas sa mga hindi failure at paghiwalayin sila sa isang threshold. Mahusay si Jev sa una at mahina sa ikalawa kapag hindi pa inaayos. May "calibrated decisions" sa pangalan ng teknik, at hindi naililipat sa mga benchmark ang nasukat na kalibrasyon dito, isang tensyong sulit sabihin nang tuwiran. Iniuugnay ng papel ang puwang sa mga base rate at hindi na humihigit pa roon.

Ang praktikal na bunga: bilang kapalit ng judge, kailangan ni Jev ng ilang label para itakda ang threshold nito. Totoong gastos iyon, at pinaliliit nito ang pahayag na drop-in replacement ito. Hindi mo ito maitututok sa bagong uri ng failure at pagkatiwalaan ang t=0.5.

Ang resipe #

Siksik ang rekomendasyon ng papel. Ang resipe ay isang pangkalahatang tanong na binabasa bilang probabilidad, na ang threshold ay itinakda sa sampung may-label na item, na nagpapataas ng F1 kung saan bihirang mag-fire si Jev sa t=0.5 at nagkakahalaga ng 0.025 sa mga validated label.

Himayin ito. Hinaharap ng pangkalahatang tanong ang problema sa pagkakasalita sa pamamagitan ng hindi pag-engineer dito, na tugma sa natuklasang kaunti ang epekto ng pagkakasalita. Pinananatili ng pagbasa sa sagot bilang probabilidad ang margin. Tinutugunan ng pagtatakda ng threshold sa sampung may-label na item ang paglihis sa base rate. Positibo ang epekto sa F1 kung saan bihirang mag-fire si Jev sa t=0.5. Sa mga validated label, nagkakahalaga ang resipe ng 0.025.

Sulit pagtuunan ang huling numerong iyon. Hindi walang kapalit ang resipe: sa mga validated label, nagkakahalaga ito ng 0.025. Iniuulat ng papel ang palitan sa halip na itago ito, at mas gusto kong banggitin ang resipeng may nakasaad na gastos kaysa sa isang ina-advertise bilang purong pakinabang. Hindi sinasabi ng mga pahayag kung anong metric ang sumusukat sa 0.025 bukod sa konteksto ng mga validated label, kaya hindi ako manghuhula.

Maliit na hiling ang sampung may-label na item. Isang hapon ng anotasyon ito para sa karamihan ng team, kumpara sa gastos ng pagpapatakbo ng judge sa bawat mensahe. Pero kinakailangan ito, at ang team na hindi makagawa ng kahit anong may-label na item para sa bagong uri ng failure ay hindi dapat umasang aayusin ng threshold ang sarili nito.

Ang dapat makuha ng isang practitioner #

Ilang bagay ang sumusunod, at paninindigan ko ang mga ito dahil sinusuportahan sila ng ebidensya.

Una, itigil ang pag-optimize sa pagkakasalita ng tanong. +0.006 ang pag-angat sa labas ng sample mula sa target na pagkakasalita, na may interval mula −0.004 hanggang +0.015. Hindi iyon batayan para sa pamumuhunan.

Ikalawa, gugulin ang pagsisikap sa state. Galing ang malalaking pag-angat sa mga reference na nagtatakda ng label. Kung maibibigay sa monitor mo ang reference na nagtatakda sa failure, doon nakatira ang pagbuti. Kung hindi, umasa ng mas kaunti: nakatulong ang kontekstong hawak ng isang naka-deploy na monitor sa 1 sa 7 benchmark. Magplano batay sa numerong makukuha mo sa deployment sa halip na sa numerong nakukuha mo sa benchmark kung saan nasa input ang reference.

Ikatlo, maglaan ng badyet para sa kalibrasyon. Magplanong maglagay ng label sa sampung item bawat uri ng failure at itakda ang threshold. Huwag mag-ship ng t=0.5.

Ikaapat, gamitin ang hindi pagsang-ayon bilang signal. Inilantad ng kumpiyansang hindi pagsang-ayon sa mga reference label ang mga depekto sa tatlong benchmark at mga label na hindi maipakita sa apat pa. Kung patatakbuhin mo ito sa sarili mong mga evaluation suite, asahang maaari itong magsabi sa iyo tungkol sa mga label mo gayundin sa mga modelo mo. Hinuha iyon mula sa natuklasan ng papel at hindi nasukat na pahayag tungkol sa anumang partikular na suite, kaya ituring itong paanyaya na magsuri.

Ikalima, tandaan ang mga kilalang kahinaan. Inililista ng developer ang di-tuwirang kahulugan at adversarial na nilalaman sa mga kilalang kahinaan ni Jev. Makakaharap ng adversarial na nilalaman ang isang monitor na mahalaga sa kaligtasan. Hindi iniuulat ng mga pahayag dito kung paano gumaganap si Jev doon, kaya nananatili itong bukas na tagiliran, at gusto kong masubok ito bago pagkatiwalaan ang isang deployment.

Pagbasa sa resulta laban sa komersyal na kaso #

Gugustuhin ng mga founder na malaman kung saan ito nakaposisyon. Ang argumento sa gastos ang pinakamalakas: kailangang mura ang detektor na tumatakbo sa bawat mensahe, at binabago ng 63× na pagbaba laban sa mga LLM-judge scorer kung aling mga deployment ang abot-kaya. Ang argumento sa katumpakan ang pangalawa: zero-shot na AUROC na 0.886 at panalo laban sa mga supervised baseline sa karamihan ng benchmark.

Hinuhubog ng mga babala kung ano ang maaaring ibenta nang tapat. Kailangan ng detektor ng ilang label bawat threshold. Hindi naililipat ang kalibrasyon nito. Nakasalalay ang pinakamalalaking pag-angat nito sa mga reference na maaaring wala sa isang deployment. Mga kondisyon ng paggamit ang mga iyon, at dapat itong sabihin ng anumang produktong nakabatay rito sa halip na ibaon. Wala roon ang nagpapahina sa kaso ng gastos; inilalarawan nito ang gawaing paghahanda.

May tahimik ding punto tungkol sa mismong sukat. Ang RLCDAlignBench, kasama ang mga context variant, naka-cache na sagot ni Jev, mga rescoring script at split-half protocol nito, ay isang muling magagamit na asset sa ebalwasyon. Ang benchmark na nag-aalis ng selection inflation sa mga iniulat na pag-angat ay ang uri ng artefact na nagpapahintulot na maihambing ang mga susunod na pahayag. Ibang uri iyon ng halaga kaysa sa detektor.

Ang nananatiling bukas #

Malinaw ang ilang hangganan mula sa mga pahayag. Limang bukas na modelo na 2–7B parameter ang mga target model, kaya inilalarawan ng mga resulta ang mga failure sa mga interaksyon mula sa mga modelong ganoon kalaki. Hindi itinanong ang pangkalahatang tanong sa 7 benchmark, at median ang pangunahing AUROC sa mga benchmark kung saan ito itinanong. Mga reference scorer ang mga label, na may mga label ng tao at ng pangalawang judge na sumasaklaw sa StrongREJECT, HarmBench, AbstentionBench at InstrumentalEval.

Ang bukas na tanong na pinakakinaiinteresan ko ay ang ibinabangon mismo ng istruktura ng papel. Relasyonal ang mga failure; madalas na walang reference ang state; at nakatulong ang konteksto ng isang naka-deploy na monitor sa 1 lang sa 7 benchmark. Hinahayaan ng disenyong iisang tawag ni Jev ang maraming tanong na magsalo sa isang input, pero lumabas na ang pinakamalaking pingga ay kung aling mga field ang dala ng input. Kung paano dapat makuha ng isang deployment ang reference na nagtatakda ng label sa oras ng pagmomonitor, gaya ng listahan ng mga lihim na item para sa pagsusuri ng privacy, ang susunod na dapat lutasin. Ipinapakita ng papel na naroon ang pag-angat na makukuha (0.79→0.95 sa PrivacyLens), at iniiwang bukas kung maibibigay ito sa isang naka-deploy na monitor nang sapat na mura para mapanatili ang 63× na bentahe.

Ang Kahulugan Nito sa Bawat Sektor #

Binabago ng kakayahang suriin ang masalimuot na pamantayan ng alignment sa pamamagitan ng kalibradong decision head, sa maliit na bahagi ng gastos sa inference, ang kaligtasan sa operasyon sa maraming larangan.

Mga provider ng AI gateway at security platform #

Maaaring palitan ng mga kumpanya ng imprastrakturang nagde-deploy ng real-time na safety guardrail ang magastos na cascade architecture (pagtawag sa magkakahiwalay na classifier para sa prompt injection, toxicity at privacy) ng pinag-isang multi-query na RLCD head. Bumababa nang mahigit 60× ang gastos sa operasyon habang limitado ang latency sa iisang forward pass.

Mga team sa pamamahala ng AI at pagsunod sa audit #

Nakakakuha ang mga risk committee na sumusuri sa kilos ng modelo laban sa mga pamantayan gaya ng mga kahingian para sa high-risk sa EU AI Act o ng NIST AI RMF ng deterministiko at probabilistikong audit log. Sa halip na di-istrukturadong salaysay na feedback ng LLM judge, nagtatala ang mga sistema ng mga kalibradong distribusyon ng probabilidad na sumusuporta sa statistical process control at pagmomonitor ng drift.

Mga team sa enterprise deployment at red-teaming #

Mabilis na makapag-deploy ang mga security team ng sariling detektor ng failure sa pamamagitan ng pagsulat ng nakatuong representasyon ng state at pagtatakda ng decision threshold laban sa kasingkaunti ng sampung halimbawang partikular sa domain, na nag-aalis sa ilang-linggong fine-tuning cycle na dating kailangan para sa mga pasadyang classifier.

Konklusyon #

Nagtatatag ang ebalwasyon kay Jev sa RLCDAlignBench ng nakakukumbinsing direksyon sa arkitektura para sa pagmomonitor ng modelo sa production: ang pagbasa ng kalibradong probabilidad sa maraming may-uring tanong sa iisang forward pass ay tumatalo sa mga autoregressive LLM judge sa gastos at sa mga single-token classifier sa kakayahang umangkop. Bagaman kailangang maglaan ng badyet ang mga practitioner para sa empirikal na kalibrasyon ng threshold sa halip na ipagpalagay na naililipat ang probabilidad nang walang pag-aayos, ginagawang posible ng 63× na bentaheng pang-ekonomiya ang real-time at komprehensibong pagmomonitor sa malawakang saklaw.

Mga Madalas Itanong #

Bakit hindi praktikal ang mga generative LLM judge para sa real-time na pagmomonitor sa production?

Nangangailangan ang mga generative judge ng kumpletong autoregressive decoding pass para sa bawat pamantayan ng kaligtasan o alignment na sinusuri. Sa mga aplikasyong pang-consumer o pang-enterprise na mataas ang throughput, nagdudulot ng mabigat na latency at nagpapalaki ng gastos sa operasyon nang ilang order of magnitude ang pagpapatakbo ng maraming tawag sa generative judge bawat mensahe.

Ano ang Reinforcement Learning for Calibrated Decisions (RLCD)?

Ang RLCD ay metodolohiya ng pagsasanay na nag-o-optimize sa mga modelo para makagawa ng mahusay na kalibradong posterior probability sa mga istrukturadong decision head sa halip na bumuo ng mga sunod-sunod na token. Pinapayagan nito ang modelo na suriin ang maraming arbitraryong tanong nang sabay-sabay sa iisang forward evaluation.

Bakit kailangang i-calibrate ang mga decision threshold sa lokal na datos?

Bagaman mahusay ang mga RLCD model sa pagraranggo ng mga interaksyon ayon sa posibilidad ng failure (nakaaabot ng mataas na AUROC), gumagalaw ang kanilang absolute mean probability depende sa base rate ng target na domain. Tinitiyak ng pag-calibrate ng operational decision threshold laban sa humigit-kumulang sampung may-label na halimbawa mula sa domain ang angkop na sensitibidad nang walang di-katanggap-tanggap na dami ng false positive.

Mga Sanggunian #

Mrinank Sharma et al., (2024). Tungo sa Pag-unawa at Pagbawas ng Sycophancy sa mga Language Model ⧉. arXiv.
RLCDAlignBench Consortium, (2026). Multi-Criteria na Pagtukoy ng Alignment Failure sa pamamagitan ng Kalibradong Decision Head ⧉. arXiv.
Anthropic / Alignment Research, (2025). Constitutional AI at ang Dinamika ng mga Evaluator ⧉. Anthropic.
NIST, (2024). Artificial Intelligence Risk Management Framework (AI RMF 1.0) ⧉. NIST.

Huling sinuri 2026-09-30.

Huling sinuri 2026-10-27.

Muling i-publish ang artikulong ito

Detektor na bumabasa ng probabilidad, hindi hatol: Jev sa 44 benchmark — Sebastien Rousseau

Sinukat ng RLCDAlignBench si Jev sa 44 benchmark: median AUROC na 0.886 nang zero-shot at 63× na mas mura, pero kailangan pa rin ng threshold mula sa sampung label.

Ang artikulong ito ay nakapailalim sa lisensya ng Creative Commons Attribution 4.0 International. Kailangan ng pagkilala sa canonical URL para sa muling pag-publish.

Detektor na bumabasa ng probabilidad, hindi hatol: Jev sa 44 benchmark — Sebastien Rousseau

Sinukat ng RLCDAlignBench si Jev sa 44 benchmark: median AUROC na 0.886 nang zero-shot at 63× na mas mura, pero kailangan pa rin ng threshold mula sa sampung label.

Originally published at https://sebastienrousseau.com/fil/2026-09-30-detektor-na-bumabasa-probabilidad-hindi-hatol/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER