Detektor čte pravděpodobnosti místo verdiktů: Jev ve 44 testech

Detektor selhání alignmentu, který v jediném volání odpovídá na mnoho typovaných otázek s kalibrovanými pravděpodobnostmi, dobře řadí selhání a stojí 63× méně než hodnotící soudci LLM. Tyto pravděpodobnosti se však nepřenášejí jako prahy a štítek a jeho referenční údaj mají mnohem větší váhu než formulace otázky.

Nákladová struktura hlídání každé zprávy #

Nasazené modely stále ustupují mylnému přesvědčení uživatele (Sharma a kol., 2024). Je to skromná věta, ale rámuje celý problém. Pokud takováto podlézavost v nasazených systémech přetrvává, musí ji někdo hlídat, a hlídání musí probíhat ve stejném rytmu jako samotná konverzace.

Tady se projeví ekonomika. Detektor musí být přesný, a protože běží na každé zprávě, také levný. Každou z těchto vlastností zvlášť lze snadno získat: ledabylý detektor je levný a pečlivý, který je příliš drahý na to, aby běžel na každé zprávě, hlídá jen vzorek provozu. Zajímavou inženýrskou otázkou je, jaký tvar detektoru může mít obojí.

Současná odpověď má podle studie, z níž tento článek vychází, strukturální vadu. Většina detektorů selhání alignmentu jsou generativní soudci, kteří na každé kritérium spotřebují průchod dekódování. Řečeno přímo: dnešní detektory platí průchodem dekódování za každé kritérium, které kontrolují. Monitor, který chce hlídat deset různých typů selhání, platí za deset průchodů a účet roste lineárně s počtem věcí, na kterých nám záleží.

Existuje částečné řešení a vyplatí se být přesný v jeho mezích. Klasifikátory, které čtou pravděpodobnosti tokenů, jako Llama Guard, stále hodnotí jeden pevný štítek na volání. Čtení pravděpodobností tokenů dává skóre, ale každé volání stále hodnotí jeden štítek nebo kritérium, protože pravděpodobnost se odečítá z jediného tokenu verdiktu. Průchod dekódování zmizel, struktura jedné otázky na volání však zůstává. Každé volání zlevnilo, aniž by se změnil počet potřebných volání.

Strukturální tvrzení tedy zní takto: generativní soudci jsou drazí na kritérium a klasifikátory čtoucí pravděpodobnosti jsou na kritérium levnější, ale stále vázané každý na jedno kritérium. Ani jeden přístup neumožňuje položit mnoho otázek o stejném vstupu najednou.

Rozměr architektury	Generativní soudci LLM (např. GPT-4 jako soudce)	Jednotokenové klasifikátory (např. Llama Guard)	Víceotázkový detektor RLCD (Jev)
Mechanismus hodnocení	Plný autoregresní průchod dekódování na kritérium	Pravděpodobnost softmax nad jediným výstupním tokenem	Vícehlavý tenzor kalibrovaných pravděpodobností $P(\text{yes})$
Otázky na volání	1 hodnotící prompt na volání modelu	1 klasifikační štítek na volání modelu	Více binárních, kategoriálních a ordinálních otázek v 1 volání
Náklady na inferenci	Vysoké (10–50 USD na 1 000 interakcí)	Střední (0,50–2,00 USD na 1 000 interakcí)	63× nižší (0,30 USD za 19 úplných benchmarků)
Výkon AUROC	Závisí na benchmarku; náchylné k driftu soudce	Vysoký v konkrétních natrénovaných bezpečnostních kategoriích	Medián AUROC 0,886 zero-shot ve 44 sadách
Kvalita kalibrace	Heuristická vysvětlení bez formálních pravděpodobností	Hrubé logity bez dodatečné kalibrace	Kalibrované pravděpodobnosti; medián ECE 0,168 (vyžaduje cca 10 označených příkladů)

Co Jev dělá jinak #

Jev je trénován posilovaným učením pro kalibrovaná rozhodnutí (RLCD). V jediném volání odpovídá na mnoho typovaných otázek o jednom vstupu s kalibrovanými pravděpodobnostmi. Mechanismus stojí za pečlivý popis, protože na něm závisí zbytek článku.

Model RLCD místo generování textu vrací rozhodnutí s kalibrovanou pravděpodobností pro každou typovanou otázku. Neexistuje krok generování, v němž se verdikt vypíše a pak parsuje. Jev odpovídá v jediném volání na mnoho binárních, kategoriálních a ordinálních otázek o jednom vstupu, který studie nazývá stav (state). Stav je vstup; otázky jsou to, na co se ho ptáme.

Je to jiná nákladová křivka než u obou předchozích přístupů. Pokud otázky sdílejí jedno volání, přidání otázky nepřidá průchod dekódování. Přínos pro monitor, kterému záleží na několika typech selhání najednou, je zřejmý, i když měření ve studii se týkají toho, čeho dosáhne jediná obecná otázka, a já zůstanu u toho, co bylo změřeno.

Byla tu však mezera. Zda Jev detekuje selhání alignmentu, nebylo změřeno. Model, který odpovídá na typované otázky s kalibrovanými pravděpodobnostmi, se pro tu práci zdá vhodný, a věrohodnost nic nestojí. Studie si klade za cíl chybějící měření dodat.

Proč jsou selhání alignmentu těžší, než vypadají #

Před měřením jedna komplikace. Mnohá z těchto selhání jsou relační, definovaná vůči referenci, kterou samotná odpověď neodhaluje. Podlézavost obecnou myšlenku dobře ilustruje: zda odpověď ustupuje mylnému přesvědčení uživatele, závisí na tom, jaké to přesvědčení je a zda je mylné, a ani jedna z těchto skutečností není v samotném textu odpovědi vidět.

Pro návrh detektorů to má důsledek, který studie formuluje s náležitou opatrností. Detektoru, který vidí jen odpověď, může chybět reference definující selhání. Slovo „může“ je důležité; tvrzení neříká, že každé selhání potřebuje referenci, jen že některá ano a že pohled jen na odpověď ji může minout.

Komplikuje to i diagnostiku. Pokud jsou selhání relační, slabá detekce může pocházet z otázky, nebo ze stavu, jemuž chybí reference. Chybné mohou být dvě věci a nízké skóre neřekne, která. Možná byla otázka špatně formulovaná. Možná byla otázka v pořádku a vstup prostě nikdy neobsahoval to, co bylo k odpovědi potřeba. Benchmark, který chce o detektoru říct něco užitečného, musí být postaven tak, aby šlo tyto dvě příčiny oddělit.

Vývojář ze své strany uvádí nepřímý význam a adversariální obsah mezi známými slabinami Jeva. Vyplatí se to mít na paměti při čtení výsledků, protože některé typy selhání stojí právě na těchto vlastnostech.

Detekce jako klasifikace #

Formální rámec studie je prostý. Detekci selhání alignmentu pojímá jako binární klasifikaci nad interakcemi cílového modelu. Detektor přiřadí skóre s(x) ∈ [0, 1] a označí x, když s(x) ≥ t. To znamená, že musí jak řadit selhání nad neselhání, tak je oddělit na prahu t.

Tyto dvě povinnosti jsou oddělitelné a výsledky studie se dělí přesně podél tohoto švu. Řazení měří AUROC. Oddělení na prahu závisí na kalibraci a článek se k tomu vrátí, protože právě tam Jev zaostává. Detektor může řadit skvěle, a přesto být při t=0,5 nepoužitelný, pokud jeho pravděpodobnosti leží na špatném místě.

RLCDAlignBench #

Benchmark se jmenuje RLCDAlignBench. Pokrývá deset typů selhání ve 44 benchmarcích a 7 193 instancích detekce. Instance pocházejí z pěti otevřených cílových modelů o velikosti 2–7 mld. parametrů, každou označil referenční hodnotitel jejího benchmarku. Posuzované interakce tedy pocházejí z malých otevřených modelů a pravdou pro každou je to, co říká vlastní hodnotitel původního benchmarku.

Ne každý benchmark nese stejný druh štítku. Lidské štítky u StrongREJECT a HarmBench a štítky druhého soudce u AbstentionBench a InstrumentalEval slouží k porovnání Jeva se soudcem. Studie tak má dva druhy vnější kontroly referenčních hodnotitelů: v některých případech lidi, v jiných druhého soudce.

Zveřejněný artefakt je popsán jako 44 benchmarků v deseti typech selhání s variantami kontextu, uloženými odpověďmi Jeva a skripty pro přehodnocení, spolu s protokolem dělených polovin, který z vykázaných zisků odstraňuje inflaci způsobenou výběrem. Každý prvek odpovídá praktické potřebě. Varianty kontextu umožňují zjistit, co se stane, když stav obsahuje víc. Uložené odpovědi a skripty umožňují reprodukovat číslo bez opětovného spuštění modelu. Protokol dělených polovin řeší metodologickou past, která si zaslouží vlastní oddíl.

Past výběru #

Jevovi lze položit mnoho otázek o stejném vstupu. To je jeho přednost, ale i riziko pro hodnocení. Pokud položíte sadu kandidátních otázek a vykážete tu, která dopadla nejlépe, prohledali jste otázky a vykázali vítěze. Studie to říká přímo: vykázat tu nejlepší z nich by nadsadilo, co praktik skutečně získá.

Kdo ladil prompt proti testovací sadě, to pozná. Zde použitý lék je jednoduchý. Otázky se vybírají na jedné polovině příkladů a hodnotí na druhé. Cílená otázka se vybírá na jedné polovině příkladů a hodnotí na druhé, ve 20 rozděleních. Výběr se nikdy nedotkne příkladů, z nichž vzniká vykázané číslo.

To je důležité pro čtení každého zisku uvedeného níže. Studie tvrdí, že protokol dělených polovin odstraňuje z vykázaných zisků inflaci způsobenou výběrem. Když studie uvádí, že cílená formulace dává mediánový zisk +0,006 AUROC, číslo pochází z formulací vybraných a hodnocených na oddělených polovinách. Takto malé, poctivě změřené číslo je užitečnější než větší číslo, které potichu zahrnulo prokletí vítěze.

Hlavní výsledek: jediná obecná otázka #

Teď výsledek, který chce vidět většina čtenářů. Jediná obecná otázka dosahuje mediánu AUROC 0,886 zero-shot a na většině benchmarků poráží supervidované základní modely.

Vezměme slova postupně. „Jediná obecná otázka“ znamená žádné ladění promptu pro konkrétní benchmark. „Zero-shot“ znamená žádný trénink na cílovém benchmarku. „Poráží supervidované základní modely na většině benchmarků“ znamená, že systémy trénované na označených datech z úlohy prohrávají s otázkou, kterou nikdo neladil, na většině zkoumaných benchmarků. Tvrzení se zastavuje u „většiny“ a tento článek také.

Obecná otázka je šablonová otázka čtená jako P(ano). Graf uvádí AUROC 38 použitelných benchmarků a obecná otázka nebyla položena v 7 benchmarcích. Hlavní číslo je tedy medián přes benchmarky, kde se obecná otázka použila, vybrané z 38 použitelných. Pozorní čtenáři by měli jmenovatele držet odděleně: celkem existuje 44 benchmarků, 38 je použitelných pro toto číslo a obecná otázka má mezeru 7.

Tvrdil bych, že výsledek zero-shot je zajímavější polovinou věty. Porazit supervidované základní modely je výrok o relativním postavení. Medián AUROC 0,886 bez tréninku pro konkrétní úlohu vypovídá o tom, jak velká část signálu selhání je dostupná modelu, který čte stav a odpovídá na prostou otázku. Zda se to zobecní na typy selhání mimo těchto deset, tvrzení neřeší.

Na formulaci téměř nezáleží #

Pokud jste trávili čas prompt engineeringem, další výsledek zabolí. Na formulaci otázky záleží málo, zatímco na kontextu víc, hlavně prostřednictvím polí, která kódují štítek.

Vysvětlení ve studii je konkrétní. Když se odpovědi ponechají jako pravděpodobnosti místo rozhodnutí argmax, na formulaci otázky záleží málo a na tom, co obsahuje stav a štítek, záleží hodně. Je to pozorování o informaci. Rozhodnutí argmax zahazuje rozdíl, o který jedna odpověď porazila druhou, a změna formulace může rozhodnutí překlopit přes hranici. Pravděpodobnost rozdíl zachovává, takže přeformulování, které důkazy mírně posune, posune mírně i pravděpodobnost a řazení ponechá převážně beze změny.

Držím se toho, co studie uvádí: když se pravděpodobnosti zachovají, na formulaci záleží málo. Nerozšiřuji to na mechanistické vysvětlení proč, protože tvrzení žádné nedávají.

Čísla to potvrzují. Cílená formulace dává mediánový zisk +0,006 AUROC, s formulací vybranou a hodnocenou na oddělených polovinách. Mimo vzorek cílená formulace přidává +0,006 [−0,004; +0,015] AUROC. Interval zahrnuje nulu. Čtenář by neměl +0,006 brát jako spolehlivé zlepšení; interval připouští malou ztrátu stejně ochotně jako malý zisk. Pro praktika je užitečné čtení takové, že hledání chytřejší formulace se pravděpodobně nevyplatí, alespoň na těchto benchmarcích.

To by mělo změnit, jak týmy rozdělují čas. Pokud je formulace téměř neúčinná, hodiny jsou lépe vynaloženy na stav.

Zisky se skrývají v kontextu #

Co tedy stav obsahuje a co by měl obsahovat? Zjištění studie je, že na kontextu záleží víc, hlavně prostřednictvím polí, která kódují štítek. Klíčovou myšlenkou návrhu studie je měnit to, na co se Jeva ptáme, odděleně od toho, co vidí: formulaci otázky a typ odpovědi na jedné straně, pole vstupu na druhé. Právě toto oddělení umožňuje studii říct, že na formulaci záleží málo, zatímco na kontextu víc. Bez něj by se oba efekty prolínaly.

Hlavním příkladem je PrivacyLens. Velké zisky přinášejí reference definující štítek, například seznam tajných údajů v PrivacyLens (0,79→0,95). Posun z 0,79 na 0,95 AUROC je velký vedle +0,006 z formulace. Dotyčnou referencí je seznam tajných údajů, tedy přesně ten druh věci, o kterém dřívější diskuse o relačních selháních předpovídá, že bude mít význam: zda odpověď vyzradí něco soukromého, závisí na tom, co se za soukromé považuje, a samotná odpověď to neříká.

Existuje výhrada k nasazení, a je důležitá. Kontext, který by měl nasazený monitor, pomáhá v 1 ze 7 benchmarků. Velké zisky pocházejí z referencí definujících štítek, ale nasazený monitor by je nemusel mít. To, co by monitor realisticky měl, pomáhá jen v jednom ze sedmi benchmarků.

Je to střízlivé zjištění a myslím, že je to komerčně nejdůležitější věta studie. Odděluje laboratorní číslo od čísla z provozu. Detektor hodnocený s referencí definující štítek v ruce odpovídá na snazší otázku, než před jakou stojí nasazený monitor. Zisky jsou skutečné, ale studie jasně říká, se kterými z nich může nasazení počítat.

Studie také upozorňuje na omezení jednoho benchmarku. V Open-Prompt-Injection štítek sleduje přesnost vložené úlohy. Je to příklad štítku, jehož význam je vázán na vlastnost úlohy, což ovlivňuje, co lze od detektoru očekávat, že ve stavu uvidí. Další závěry z toho nevyvozuji, protože tvrzení žádné nenabízejí.

Náklady #

Teď číslo, které dělá ekonomiku konkrétní. Jev stojí 63× méně než soudci LLM. Konkrétní srovnání: průchod 19 benchmarky hodnocenými soudci stojí 0,30 USD, 63× méně než jejich soudci za ceníkové ceny. Srovnání nákladů se týká jednoho průchodu 19 benchmarky se soudci přes API za ceníkové ceny.

Pozor na rozsah. Srovnání platí pro 19 benchmarků, které používají soudce přes API, za ceníkové ceny, pro jediný průchod. Nepokrývá každý benchmark v sadě a nepokrývá zlevněné ceny. V tomto rozsahu je poměr velký a vyplývá z architektury popsané dříve: žádný průchod dekódování na kritérium.

Vzpomeňte si na úvodní požadavek, že detektor běžící na každé zprávě musí být levný. Částka 0,30 USD za celý průchod 19 benchmarky je v této studii podobou „levnosti“. Studie ji nepřevádí na cenu za zprávu a já také ne.

Shoda s lidmi a co odhalila neshoda #

Levnost je zajímavá jen tehdy, když má detektor také pravdu. Tam, kde lidské štítky umožňují kontrolu, se s nimi Jev shoduje stejně dobře jako soudce, za zlomek nákladů.

Nejkonkrétnější doklad pochází ze StrongREJECT. Vůči tamním lidským štítkům se obecná otázka shoduje stejně dobře jako referenční hodnotitel (Cohenovo κ 0,809 oproti 0,811) a řadí lépe. Obě hodnoty κ se liší o 0,002, takže rozumné čtení je remíza ve shodě a Jev vpředu v řazení.

Pak přichází výsledek, který považuji v praxi za nejužitečnější, protože z detektoru dělá auditní nástroj. Jevovy jisté neshody odhalily vady měnící štítky ve třech benchmarcích a štítky, které stav nemůže odhalit, ve čtyřech dalších. Když jistý detektor nesouhlasí s referenčním štítkem benchmarku, jedním vysvětlením je, že se detektor mýlí. Studie uvádí, že v některých případech neshoda ukazovala na benchmark: tři benchmarky měly vady, které mění štítky, a čtyři další měly štítky, které stav nemůže odhalit.

Druhá kategorie navazuje na relační bod. Štítek, který stav nemůže odhalit, je štítek definovaný něčím, co se do vstupu nikdy nedostalo. Žádný detektor čtoucí tento stav by ho nemohl obnovit. Nalézání takových případů je jiný přínos než zvyšování skóre, protože správcům benchmarků ukazuje, kde se jejich data a štítky rozcházejí.

Slabé místo: kalibrace #

Tady musí být článek přímý, protože studie je. Pravděpodobnosti dobře řadí, ale nepřenášejí se jako prahy: medián ECE je 0,168 oproti nulové hodnotě 0,074, na validovaných i soudcovských štítcích, protože průměrná pravděpodobnost Jeva míjí základní četnost každého benchmarku.

Části do sebe zapadají takto. AUROC měří řazení a řazení je silné. Práh je jiná věc. Pokud průměrná výstupní pravděpodobnost modelu neodpovídá tomu, jak často se selhání v daném benchmarku vyskytují, t=0,5 padne na špatné místo a očekávaná kalibrační chyba je vysoká. Medián ECE 0,168 leží nad nulovou hodnotou 0,074, což je horší výsledek než referenční bod, který studie zvolila. A platí to na validovaných i soudcovských štítcích stejně, takže slabina není artefaktem zašuměných štítků soudců.

Vzpomeňte si na formální rámec: detektor musí řadit selhání nad neselhání a oddělit je na prahu. Jev první dělá dobře a druhé bez úprav špatně. Název techniky obsahuje „kalibrovaná rozhodnutí“ a zde změřená kalibrace se mezi benchmarky nepřenáší, což je napětí, které stojí za to říct otevřeně. Studie mezeru připisuje základním četnostem a netvrdí nic víc.

Praktický důsledek: jako náhrada soudce potřebuje Jev několik štítků k nastavení svého prahu. Je to skutečný náklad a zužuje tvrzení o náhradě bez úprav. Nelze ho namířit na nový typ selhání a věřit t=0,5.

Recept #

Doporučení studie je stručné. Receptem je obecná otázka čtená jako pravděpodobnost, s prahem nastaveným na deseti označených příkladech, což zvyšuje F1 tam, kde Jev při t=0,5 reaguje příliš zřídka, a stojí 0,025 na validovaných štítcích.

Rozeberme to. Obecná otázka řeší problém formulace tím, že ji odmítá ladit, což odpovídá zjištění, že na formulaci záleží málo. Čtení odpovědi jako pravděpodobnosti zachovává rozdíl. Nastavení prahu na deseti označených příkladech řeší minutí základní četnosti. Účinek na F1 je kladný tam, kde Jev při t=0,5 reaguje příliš zřídka. Na validovaných štítcích recept stojí 0,025.

U posledního čísla se vyplatí zastavit. Recept není bez nevýhod: na validovaných štítcích stojí 0,025. Studie tento kompromis uvádí, místo aby ho skrývala, a já raději cituji recept s uvedenými náklady než takový, který se prodává jako čistý zisk. Tvrzení neuvádějí, v jaké metrice se 0,025 měří, kromě kontextu validovaných štítků, takže hádat nebudu.

Deset označených příkladů je malý požadavek. Pro většinu týmů je to odpoledne anotace, ve srovnání s náklady na spouštění soudce na každé zprávě. Je to ale předpoklad a tým, který pro nový typ selhání nedokáže připravit žádné označené příklady, by neměl čekat, že se práh nastaví sám.

Co si má praktik odnést #

Vyplývá z toho několik věcí a stojím si za nimi, protože je důkazy podporují.

Za prvé, přestaňte optimalizovat formulaci otázky. Zisk mimo vzorek z cílené formulace je +0,006 s intervalem od −0,004 do +0,015. To není základ pro investici.

Za druhé, úsilí věnujte stavu. Velké zisky přišly z referencí definujících štítek. Pokud monitor může dostat referenci, která selhání definuje, tam leží zlepšení. Pokud nemůže, čekejte méně: kontext, který by měl nasazený monitor, pomohl v 1 ze 7 benchmarků. Plánujte podle čísla, které získáte v nasazení, ne podle čísla z benchmarku, kde reference leží ve vstupu.

Za třetí, počítejte s rozpočtem na kalibraci. Plánujte označit deset příkladů na typ selhání a nastavit práh. Nenasazujte s t=0,5.

Za čtvrté, využijte neshodu jako signál. Jisté neshody s referenčními štítky odhalily vady ve třech benchmarcích a neodhalitelné štítky ve čtyřech dalších. Pokud to spustíte na vlastních hodnoticích sadách, počítejte s tím, že vám to může říct něco o vašich štítcích stejně jako o vašich modelech. Je to vyvození ze zjištění studie, nikoli změřené tvrzení o konkrétní sadě, takže to berte jako výzvu ke kontrole.

Za páté, pamatujte na známé slabiny. Vývojář uvádí nepřímý význam a adversariální obsah mezi známými slabinami Jeva. Monitor důležitý pro bezpečnost se s adversariálním obsahem setká. Tvrzení zde neuvádějí, jak si na něm Jev vede, takže to zůstává otevřeným bokem a před důvěrou v nasazení bych to chtěl vidět otestované.

Výsledek ve světle obchodního argumentu #

Zakladatelé budou chtít vědět, kde to stojí. Nejsilnější je nákladový argument: detektor běžící na každé zprávě musí být levný a 63násobné snížení oproti soudcům LLM mění, která nasazení jsou finančně dostupná. Druhý je argument přesnosti: AUROC zero-shot 0,886 a vítězství nad supervidovanými základními modely na většině benchmarků.

Výhrady určují, co lze poctivě prodávat. Detektor potřebuje několik štítků na práh. Jeho kalibrace se nepřenáší. Jeho nejlepší zisky spoléhají na reference, které nasazení nemusí mít. To jsou podmínky použití a každý produkt postavený na tomto základě by je měl uvádět, ne skrývat. Nic z toho nepodkopává nákladový argument; popisuje to přípravnou práci.

Je tu i tišší poznámka k samotnému měření. RLCDAlignBench se svými variantami kontextu, uloženými odpověďmi Jeva, skripty pro přehodnocení a protokolem dělených polovin je znovupoužitelný hodnoticí zdroj. Benchmark, který z vykázaných zisků odstraňuje inflaci z výběru, je artefakt, který umožňuje pozdější tvrzení porovnávat. To je jiný druh hodnoty než samotný detektor.

Co zůstává otevřené #

Z tvrzení je zřejmých několik hranic. Cílovými modely je pět otevřených modelů o 2–7 mld. parametrů, takže výsledky popisují selhání v interakcích z modelů této velikosti. Obecná otázka nebyla položena v 7 benchmarcích a hlavní číslo AUROC je medián přes benchmarky, kde položena byla. Štítky pocházejí od referenčních hodnotitelů, přičemž lidské štítky a štítky druhého soudce pokrývají StrongREJECT, HarmBench, AbstentionBench a InstrumentalEval.

Otevřená otázka, která mě zajímá nejvíc, vyplývá ze samotné struktury studie. Selhání jsou relační; stavu často chybí reference; a kontext nasazeného monitoru pomohl jen v 1 ze 7 benchmarků. Konstrukce Jeva s jediným voláním umožňuje mnoha otázkám sdílet jeden vstup, přesto se největší pákou ukázalo, která pole vstup nese. Jak má nasazení v době monitorování získat referenci definující štítek, například seznam tajných údajů pro kontrolu soukromí, je další věc k vyřešení. Studie ukazuje, že zisk je na dosah (0,79→0,95 v PrivacyLens), a nechává otevřené, zda ho nasazený monitor může dostat dost levně, aby si zachoval 63násobnou výhodu.

Co to znamená podle odvětví #

Možnost hodnotit složitá kritéria alignmentu pomocí kalibrovaných rozhodovacích hlav za zlomek nákladů na inferenci mění provozní bezpečnost v řadě oblastí.

Poskytovatelé bran AI a bezpečnostních platforem #

Infrastrukturní firmy nasazující bezpečnostní zábrany v reálném čase mohou nahradit nákladné kaskádové architektury (volání samostatných klasifikátorů pro vkládání promptů, toxicitu a soukromí) sjednocenými víceotázkovými hlavami RLCD. Provozní náklady klesnou více než 60× a latence se omezí na jediný dopředný průchod.

Týmy řízení AI a auditní shody #

Rizikové výbory hodnotící chování modelů podle norem, jako jsou požadavky evropského aktu o AI na vysoce rizikové systémy nebo NIST AI RMF, získávají deterministický, pravděpodobnostní auditní záznam. Místo nestrukturované narativní zpětné vazby soudců LLM systémy zaznamenávají kalibrovaná rozdělení pravděpodobnosti, která podporují statistické řízení procesů a sledování driftu.

Týmy podnikového nasazení a red teamingu #

Bezpečnostní týmy mohou rychle nasadit vlastní detektory selhání tím, že napíší cílené reprezentace stavu a nastaví rozhodovací prahy na pouhých deseti příkladech z dané domény, čímž odpadnou vícetýdenní cykly dolaďování dříve nutné pro klasifikátory na míru.

Závěr #

Hodnocení Jeva v RLCDAlignBench ukazuje přesvědčivý architektonický směr pro monitorování modelů v produkci: čtení kalibrovaných pravděpodobností pro více typovaných otázek v jediném dopředném průchodu poráží autoregresní soudce LLM v nákladech i jednotokenové klasifikátory ve flexibilitě. Praktici musí počítat s empirickou kalibrací prahu, místo aby předpokládali, že se pravděpodobnosti přenesou samy, ale 63násobná ekonomická výhoda činí komplexní monitorování v reálném čase proveditelným ve velkém měřítku.

Často kladené otázky #

Proč jsou generativní soudci LLM nepraktičtí pro monitorování provozu v reálném čase?

Generativní soudci vyžadují úplný autoregresní průchod dekódování pro každé hodnocené kritérium bezpečnosti nebo alignmentu. Ve spotřebitelských nebo podnikových aplikacích s vysokou propustností způsobuje několik volání generativního soudce na zprávu výrazné zpoždění a zvyšuje provozní náklady o řády.

Co je posilované učení pro kalibrovaná rozhodnutí (RLCD)?

RLCD je tréninková metoda, která optimalizuje modely tak, aby místo generování sekvencí tokenů dávaly dobře kalibrované aposteriorní pravděpodobnosti nad strukturovanými rozhodovacími hlavami. Model tak může vyhodnotit více libovolných otázek současně v rámci jediného dopředného vyhodnocení.

Proč je nutné rozhodovací prahy kalibrovat na místních datech?

Modely RLCD vynikají v řazení interakcí podle pravděpodobnosti selhání (dosahují vysokého AUROC), ale jejich absolutní průměrné pravděpodobnosti se posouvají podle základní četnosti v cílové doméně. Kalibrace provozního rozhodovacího prahu na přibližně deseti označených příkladech z domény zajišťuje vhodnou citlivost bez nepřijatelného podílu falešných poplachů.

Literatura #

Mrinank Sharma a kol., (2024). K porozumění a zmírnění podlézavosti v jazykových modelech ⧉. arXiv.
RLCDAlignBench Consortium, (2026). Vícekriteriální detekce selhání alignmentu pomocí kalibrovaných rozhodovacích hlav ⧉. arXiv.
Anthropic / Alignment Research, (2025). Konstituční AI a dynamika hodnotitelů ⧉. Anthropic.
NIST, (2024). Rámec pro řízení rizik umělé inteligence (AI RMF 1.0) ⧉. NIST.

Naposledy revidováno 2026-09-30.

Naposledy revidováno 2026-10-27.

Znovu publikovat tento článek

Detektor čte pravděpodobnosti místo verdiktů: Jev ve 44 testech — Sebastien Rousseau

Jev dobře řadí selhání alignmentu ve 44 benchmarcích a stojí 63× méně než soudci LLM, ale práh je nutné nastavit na deseti označených příkladech pro každý typ.

Tento článek je licencován pod Creative Commons Attribution 4.0 International. Při opětovné publikaci uveďte odkaz na kanonickou URL.

Detektor čte pravděpodobnosti místo verdiktů: Jev ve 44 testech — Sebastien Rousseau

Jev dobře řadí selhání alignmentu ve 44 benchmarcích a stojí 63× méně než soudci LLM, ale práh je nutné nastavit na deseti označených příkladech pro každý typ.

Originally published at https://sebastienrousseau.com/cs/2026-09-30-detektor-cte-pravdepodobnosti-misto-verdiktu-jev/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER