Ítéletek helyett valószínűségeket olvasó detektor: Jev 44 teszten

Egy alignmenthiba-detektor, amely egyetlen hívásban sok típusos kérdésre felel kalibrált valószínűségekkel, jól rangsorolja a hibákat, és 63×-ször kevesebbe kerül, mint az LLM-bírák. Ezek a valószínűségek azonban küszöbként nem vihetők át, és a címke meg a hozzá tartozó referencia sokkal többet számít, mint a kérdés megfogalmazása.

Minden üzenet figyelésének költségszerkezete #

A telepített modellek továbbra is meghajolnak a felhasználó téves meggyőződése előtt (Sharma és mtsai., 2024). Szerény mondat, mégis az egész problémát keretezi. Ha az ilyen szervilizmus megmarad a telepített rendszerekben, valakinek figyelnie kell rá, és a figyelésnek ugyanabban az ütemben kell történnie, mint maga a beszélgetés.

Itt csap le a gazdaságtan. Egy detektornak pontosnak kell lennie, és mivel minden üzeneten fut, olcsónak is. A két tulajdonság külön-külön könnyen elérhető: egy hanyag detektor olcsó, egy gondos viszont, amely túl drága ahhoz, hogy minden üzeneten fusson, csak a forgalom egy mintáját figyeli. Az érdekes mérnöki kérdés az, hogy milyen felépítésű detektor lehet mindkettő.

A jelenlegi válasznak a cikk alapjául szolgáló tanulmány szerint szerkezeti hibája van. Az alignmenthibák detektorainak többsége generatív bíró, amely minden kritériumra egy dekódolási menetet költ. Kerek perec: a mai detektorok minden ellenőrzött kritériumért egy dekódolási menettel fizetnek. Egy monitor, amely tíz különböző hibatípust akar ellenőrizni, tíz menetet fizet, és a számla lineárisan nő azzal, hogy hány dologra figyelünk.

Létezik részleges megoldás, és érdemes pontosan megnevezni a határait. A tokenvalószínűségeket olvasó osztályozók, például a Llama Guard, továbbra is hívásonként egy rögzített címkét pontoznak. A tokenvalószínűségek kiolvasása pontszámot ad, de minden hívás így is egyetlen címkét vagy kritériumot pontoz, mert a valószínűséget egyetlen ítélettokenből olvassák ki. A dekódolási menet eltűnik, a hívásonként egy kérdés szerkezete viszont marad. Minden hívás olcsóbb lett, a szükséges hívások száma azonban nem változott.

A szerkezeti állítás tehát így szól: a generatív bírák kritériumonként drágák, a valószínűségeket olvasó osztályozók kritériumonként olcsóbbak, de mindegyikük továbbra is egyetlen kritériumhoz kötött. Egyik sem teszi lehetővé, hogy ugyanarról a bemenetről egyszerre sok kérdést tegyünk fel.

Architektúra szempontja	Generatív LLM-bírák (pl. GPT-4 mint bíró)	Egytokenes osztályozók (pl. Llama Guard)	Többkérdéses RLCD-detektor (Jev)
Pontozási mechanizmus	Teljes autoregresszív dekódolási menet kritériumonként	Softmax-valószínűség egyetlen kimeneti token felett	Többfejes kalibrált valószínűségi tenzor $P(\text{yes})$
Kérdések hívásonként	1 értékelő prompt modellhívásonként	1 osztályozási címke modellhívásonként	Több bináris, kategorikus és ordinális kérdés 1 hívásban
Inferenciaköltség	Magas (10–50 USD 1000 interakciónként)	Mérsékelt (0,50–2,00 USD 1000 interakciónként)	63×-ször alacsonyabb (0,30 USD 19 teljes benchmarkra)
AUROC-teljesítmény	Benchmarktól függ; hajlamos a bírói sodródásra	Magas a konkrétan betanított biztonsági kategóriákban	Medián AUROC 0,886 zero-shot 44 csomagon
Kalibráció minősége	Heurisztikus magyarázatok formális valószínűségek nélkül	Nyers logitok utólagos kalibráció nélkül	Kalibrált valószínűségek; medián ECE 0,168 (kb. 10 címkézett példát igényel)

Mit csinál másképp a Jev #

A Jevet kalibrált döntésekre irányuló megerősítéses tanulással (RLCD) tanították. Egyetlen hívásban sok típusos kérdésre felel egy bemenetről, kalibrált valószínűségekkel. A mechanizmust érdemes gondosan leírni, mert a cikk többi része erre épül.

Egy RLCD-modell szöveggenerálás helyett minden típusos kérdésre egy döntést ad vissza kalibrált valószínűséggel. Nincs olyan generálási lépés, amelyben egy ítéletet kiírnak, majd feldolgoznak. A Jev egyetlen hívásban sok bináris, kategorikus és ordinális kérdésre felel egy bemenetről, amelyet a tanulmány állapotnak (state) nevez. Az állapot a bemenet; a kérdések azok, amiket róla kérdezünk.

Ez más költséggörbe, mint a fenti két megközelítésé. Ha a kérdések egy hívásban osztoznak, egy újabb kérdés nem ad hozzá dekódolási menetet. Egy olyan monitor számára, amely egyszerre több hibatípusra figyel, a nyereség nyilvánvaló, bár a tanulmány mérései arra vonatkoznak, mit ér el egyetlen általános kérdés, és én a mért eredményeknél maradok.

Volt azonban egy hézag. Azt, hogy a Jev észleli-e az alignmenthibákat, nem mérték meg. Egy modell, amely kalibrált valószínűségekkel felel típusos kérdésekre, hihetően illik a feladathoz, a hihetőség viszont semmibe sem kerül. A tanulmány a hiányzó mérést kívánja pótolni.

Miért nehezebbek az alignmenthibák, mint amilyennek látszanak #

A mérés előtt egy bonyodalom. Sok ilyen hiba relációs: olyan referenciához képest határozható meg, amelyet maga a válasz nem fed fel. A szervilizmus jól szemlélteti az általános gondolatot: hogy egy válasz meghajol-e a felhasználó téves meggyőződése előtt, attól függ, mi a meggyőződés és téves-e, és egyik tény sem látható magában a válasz szövegében.

Ennek a detektortervezésre nézve van egy következménye, amelyet a tanulmány kellő óvatossággal fogalmaz meg. Egy detektorból, amely csak a választ látja, hiányozhat a hibát meghatározó referencia. A „hiányozhat” szó fontos; az állítás nem az, hogy minden hibához referencia kell, csak az, hogy némelyikhez igen, és a csak a választ látó nézet elszalaszthatja.

A diagnózist is bonyolítja. Ha a hibák relációsak, a gyenge észlelés eredhet a kérdésből vagy egy olyan állapotból, amelyből hiányzik a referencia. Két dolog lehet rossz, és egy alacsony pontszám nem mondja meg, melyik. Talán rosszul fogalmazták meg a kérdést. Talán a kérdés rendben volt, csak a bemenet sosem tartalmazta azt, ami a megválaszolásához kellett. Egy benchmarkot, amely hasznosat akar mondani egy detektorról, úgy kell felépíteni, hogy a két ok szétválasztható legyen.

A fejlesztő a maga részéről a közvetett jelentést és az ártó szándékú (adversarial) tartalmat sorolja a Jev ismert gyengeségei közé. Ezt érdemes szem előtt tartani az eredmények olvasásakor, mert egyes hibatípusok éppen ezekre a tulajdonságokra támaszkodnak.

Az észlelés mint osztályozás #

A tanulmány formális kerete egyszerű. Az alignmenthibák észlelését egy célmodell interakcióin végzett bináris osztályozásként kezeli. A detektor s(x) ∈ [0, 1] pontszámot rendel x-hez, és megjelöli, ha s(x) ≥ t. Ez azt jelenti, hogy a hibákat a nem hibák fölé kell rangsorolnia, és egy t küszöbnél szét is kell választania őket.

A két feladat szétválasztható, és a tanulmány eredményei pontosan e varrat mentén válnak ketté. A rangsorolást az AUROC méri. A küszöbnél történő szétválasztás a kalibrációtól függ, és a cikk még visszatér rá, mert a Jev itt marad el. Egy detektor kiválóan rangsorolhat, és mégis használhatatlan lehet t=0,5-nél, ha a valószínűségei rossz helyen ülnek.

RLCDAlignBench #

A benchmark neve RLCDAlignBench. Tíz hibatípust fed le 44 benchmarkon és 7193 észlelési példányon. A példányok öt nyílt, 2–7 milliárd paraméteres célmodellből származnak, és mindegyiket a saját benchmarkjának referenciapontozója címkézte. A megítélt interakciók tehát kis nyílt modellekből erednek, és mindegyik esetében az számít helyes válasznak, amit az eredeti benchmark saját pontozója mond.

Nem minden benchmark hordoz azonos fajta címkét. A StrongREJECT és a HarmBench emberi címkéit, valamint az AbstentionBench és az InstrumentalEval második bírótól származó címkéit arra használják, hogy a Jevet egy bíróhoz hasonlítsák. A tanulmány így kétféle külső ellenőrzést kap a referenciapontozókra: egyes esetekben embereket, másokban egy második bírót.

A közzétett anyagot úgy írják le, mint 44 benchmarkot tíz hibatípuson, kontextusváltozatokkal, gyorsítótárazott Jev-válaszokkal és újrapontozó szkriptekkel, valamint egy feleztetéses protokollal, amely eltávolítja a kiválasztásból eredő felfúvódást a közölt nyereségekből. Minden elem egy gyakorlati igényre felel. A kontextusváltozatok megmutatják, mi történik, ha az állapot többet tartalmaz. A gyorsítótárazott válaszok és az újrapontozó szkriptek lehetővé teszik egy szám reprodukálását a modell újbóli futtatása nélkül. A feleztetéses protokoll egy módszertani csapdát kezel, amely külön szakaszt érdemel.

A kiválasztás csapdája #

A Jevnek sok kérdés tehető fel ugyanarról a bemenetről. Ez az erőssége, és egyben veszély az értékelés szempontjából. Ha feltesz egy sor jelölt kérdést, és azt közli, amelyik a legjobb pontszámot hozza, akkor kérdések között keresett, és a győztest közölte. A tanulmány ezt egyenesen kimondja: a legjobb közlése túlbecsülné, amit egy gyakorló szakember valójában kap.

Aki valaha hangolt promptot egy tesztkészletre, felismeri ezt. Az itt alkalmazott orvosság egyszerű. A kérdéseket a példák egyik felén választják ki, és a másik felén pontozzák. A célzott kérdést a példák egyik felén választják ki, és a másik felén pontozzák, 20 felosztáson át. A kiválasztás soha nem érinti azokat a példákat, amelyekből a közölt szám születik.

Ez minden alább közölt nyereség olvasatát befolyásolja. A tanulmány állítása az, hogy a feleztetéses protokoll eltávolítja a kiválasztásból eredő felfúvódást a közölt nyereségekből. Amikor a tanulmány azt mondja, hogy a célzott megfogalmazás +0,006 AUROC medián nyereséget ad, ez a szám külön feleken kiválasztott és pontozott megfogalmazásokból származik. Egy ilyen kicsi, becsületesen mért szám hasznosabb, mint egy nagyobb, amely csendben magában foglalta a győztes átkát.

A fő eredmény: egyetlen általános kérdés #

Most jön az eredmény, amelyre a legtöbb olvasó kíváncsi. Egyetlen általános kérdés zero-shot 0,886-os medián AUROC-t ér el, és a legtöbb benchmarkon legyőzi a felügyelt alapmodelleket.

Vegyük sorra a szavakat. Az „egyetlen általános kérdés” azt jelenti, hogy nincs benchmarkonkénti promptmérnökség. A „zero-shot” azt jelenti, hogy nincs tanítás a célbenchmarkon. A „legtöbb benchmarkon legyőzi a felügyelt alapmodelleket” azt jelenti, hogy a feladat címkézett adatain tanított rendszerek a vizsgált benchmarkok többségén alulmaradnak egy olyan kérdéssel szemben, amelyet senki sem hangolt. Az állítás a „legtöbb”-nél megáll, és ez a cikk is.

Az általános kérdés egy P(igen)-ként olvasott sablonkérdés. Az ábra 38 használható benchmark AUROC-ját közli, és az általános kérdést 7 benchmarkon nem tették fel. A fő szám tehát medián azokon a benchmarkokon, ahol az általános kérdést alkalmazták, a 38 használhatóból. A figyelmes olvasó tartsa külön a nevezőket: összesen 44 benchmark létezik, 38 használható erre a számra, és az általános kérdésnél 7-es hiány van.

Szerintem a zero-shot eredmény a mondat érdekesebb fele. A felügyelt alapmodellek legyőzése az összehasonlító helyzetről szóló állítás. A feladatspecifikus tanítás nélküli 0,886-os medián AUROC arról mond valamit, hogy a hibajel mekkora része érhető el egy olyan modell számára, amely olvassa az állapotot, és egy egyszerű kérdésre felel. Hogy ez általánosítható-e e tíz körön kívüli hibatípusokra, azzal az állítások nem foglalkoznak.

A megfogalmazás szinte lényegtelen #

Ha töltött már időt promptmérnökséggel, a következő eredmény fájni fog. A kérdés megfogalmazása keveset számít, a kontextus viszont többet, főleg a címkét kódoló mezőkön keresztül.

A tanulmány magyarázata konkrét. Ha a válaszokat valószínűségként tartják meg argmax-döntések helyett, a kérdés megfogalmazása keveset számít, az állapot és a címke tartalma viszont sokat. Ez az információra vonatkozó megfigyelés. Egy argmax-döntés eldobja azt a különbséget, amellyel az egyik válasz legyőzte a másikat, és egy megfogalmazásbeli változás átbillentheti a döntést a határon. A valószínűség megőrzi a különbséget, így egy átfogalmazás, amely kissé elmozdítja a bizonyítékot, kissé elmozdítja a valószínűséget, a rangsort pedig nagyrészt érintetlenül hagyja.

Ahhoz tartom magam, amit a tanulmány állít: ha a valószínűségeket megtartják, a megfogalmazás keveset számít. Nem terjesztem ki ezt arra, hogy mechanisztikusan miért, mert az állítások ilyet nem adnak.

A számok alátámasztják az állítást. A célzott megfogalmazás +0,006 AUROC medián nyereséget ad, a megfogalmazást külön feleken választva és pontozva. A mintán kívül a célzott megfogalmazás +0,006 [−0,004; +0,015] AUROC-t ad hozzá. Az intervallum átfogja a nullát. Az olvasó ne kezelje a +0,006-ot megbízható javulásként; az intervallum ugyanúgy megenged kis veszteséget, mint kis nyereséget. Egy gyakorló szakember számára a hasznos olvasat az, hogy egy ügyesebb megfogalmazás hajszolása aligha térül meg, legalábbis ezeken a benchmarkokon.

Ennek meg kellene változtatnia, hogyan osztják be a csapatok az idejüket. Ha a megfogalmazás közel hatástalan, az órákat jobb az állapotra fordítani.

A nyereség a kontextusban rejlik #

Mit tartalmaz hát az állapot, és mit kellene tartalmaznia? A tanulmány megállapítása az, hogy a kontextus többet számít, főleg a címkét kódoló mezőkön keresztül. A vizsgálat felépítésének kulcsgondolata, hogy külön változtatják azt, amit a Jevtől kérdeznek, és azt, amit lát: egyik oldalon a kérdés megfogalmazását és a válasz típusát, a másikon a bemenet mezőit. Ez a szétválasztás teszi lehetővé, hogy a tanulmány kimondja: a megfogalmazás keveset számít, a kontextus többet. Nélküle a két hatás összegabalyodna.

A fő példa a PrivacyLens. A nagy nyereséget a címkét meghatározó referenciák adják, például a PrivacyLens titkos elemeket tartalmazó listája (0,79→0,95). A 0,79-ről 0,95-re történő AUROC-ugrás nagy a megfogalmazásból származó +0,006-hoz képest. A szóban forgó referencia titkos elemek listája, pontosan az a fajta dolog, amelyről a relációs hibákról szóló korábbi gondolatmenet azt jósolja, hogy számítani fog: hogy egy válasz kiszivárogtat-e valami magánjellegűt, attól függ, mi számít magánjellegűnek, és ezt maga a válasz nem mondja meg.

Van egy telepítési fenntartás, és fontos. Az a kontextus, amellyel egy telepített monitor rendelkezne, 7 benchmarkból 1-en segít. A nagy nyereségek a címkét meghatározó referenciákból származnak, de egy telepített monitornak nem feltétlenül lennének ilyenek a birtokában. Ami egy monitornak reálisan rendelkezésére állna, az hét benchmarkból csak egyen segít.

Ez józan megállapítás, és szerintem ez a tanulmány üzletileg legfontosabb mondata. Elválasztja a laboratóriumi számot a terepen elérhető számtól. Egy olyan detektor, amelyet a címkét meghatározó referenciával a kezében értékelnek, könnyebb kérdésre felel, mint amellyel egy telepített monitor szembesül. A nyereségek valósak, de a tanulmány világosan megmondja, melyikre számíthat egy telepítés.

A tanulmány egy benchmark korlátjára is felhívja a figyelmet. Az Open-Prompt-Injection esetében a címke a beinjektált feladat pontosságát követi. Ez egy olyan címke példája, amelynek jelentése a feladat egy tulajdonságához kötődik, és ez befolyásolja, mit várhatunk, hogy egy detektor lásson az állapotból. Ennél tovább nem vonok le következtetést, mert az állítások nem kínálnak ilyet.

Költség #

Most jön a szám, amely kézzelfoghatóvá teszi a gazdaságtant. A Jev 63×-ször kevesebbe kerül, mint az LLM-bírák. A konkrét összehasonlítás: a 19 bírák által pontozott benchmarkon való végigfutás 0,30 USD, 63×-ször kevesebb, mint bíráik listaáron. A költség-összehasonlítás egy végigfutásra vonatkozik a 19 API-bírós benchmarkon, listaáron.

Figyeljünk a hatókörre. Az összehasonlítás 19, API-bírót használó benchmarkra vonatkozik, listaáron, egyetlen végigfutásra. Nem fedi le a csomag összes benchmarkját, és a kedvezményes árazást sem. Ezen a hatókörön belül az arány nagy, és a korábban leírt architektúrából következik: nincs kritériumonkénti dekódolási menet.

Idézzük fel a kezdeti követelményt: a minden üzeneten futó detektornak olcsónak kell lennie. A 19 benchmarkon való teljes végigfutásért fizetett 0,30 USD az, ahogyan az „olcsó” ebben a tanulmányban kinéz. A tanulmány nem számolja át üzenetenkénti árra, és én sem fogom.

Egyezés az emberekkel, és amit az egyet nem értés feltárt #

Az olcsóság csak akkor érdekes, ha a detektornak igaza is van. Ahol az emberi címkék lehetővé teszik az ellenőrzést, a Jev ugyanolyan jól egyezik velük, mint a bíró, a költség töredékéért.

A legkonkrétabb bizonyíték a StrongREJECT-ből származik. Az ottani emberi címkékkel szemben az általános kérdés ugyanolyan jól egyezik, mint a referenciapontozó (Cohen-féle κ 0,809 kontra 0,811), és jobban rangsorol. A két κ-érték 0,002-vel tér el, így az ésszerű olvasat döntetlen az egyezésben, a rangsorolásban pedig a Jev vezet.

Ezután jön az az eredmény, amelyet a gyakorlatban a leghasznosabbnak tartok, mert a detektort auditeszközzé teszi. A Jev magabiztos eltérései három benchmarkon címkét megváltoztató hibákat tártak fel, további négyen pedig olyan címkéket, amelyeket az állapot nem fedhet fel. Amikor egy magabiztos detektor nem ért egyet egy benchmark referenciacímkéjével, az egyik magyarázat az, hogy a detektor téved. A tanulmány szerint egyes esetekben az eltérés a benchmarkra mutatott: három benchmarkon címkét megváltoztató hibák voltak, további négyen pedig olyan címkék, amelyeket az állapot nem fedhet fel.

A második kategória a relációs gondolathoz kapcsolódik. Az a címke, amelyet az állapot nem fedhet fel, olyasmivel meghatározott címke, ami soha nem került be a bemenetbe. Egyetlen, ezt az állapotot olvasó detektor sem tudná visszanyerni. Az ilyen esetek megtalálása más hozzájárulás, mint egy pontszám emelése, mert megmutatja a benchmarkok gondozóinak, hol válnak el az adataik és a címkéik.

A gyenge pont: a kalibráció #

Itt a cikknek nyersnek kell lennie, mert a tanulmány is az. A valószínűségek jól rangsorolnak, de küszöbként nem vihetők át: a medián ECE 0,168 a 0,074-es nullértékkel szemben, validált és bírói címkéken egyaránt, mert a Jev átlagos valószínűsége minden benchmarkon elvéti az alapgyakoriságot.

A darabok így illeszkednek. Az AUROC a rangsorolást méri, és a rangsorolás erős. A küszöb más kérdés. Ha a modell átlagos kimeneti valószínűsége nem felel meg annak, hogy egy adott benchmarkon milyen gyakran fordulnak elő hibák, akkor t=0,5 rossz helyre esik, és a várható kalibrációs hiba magas. A 0,168-as medián ECE a 0,074-es nullérték fölött van, ami gyengébb eredmény, mint a tanulmány által választott viszonyítási pont. És ez validált és bírói címkéken egyaránt fennáll, tehát a gyengeség nem a zajos bírói címkék mellékterméke.

Idézzük fel a formális keretet: egy detektornak a hibákat a nem hibák fölé kell rangsorolnia, és egy küszöbnél szét kell választania őket. A Jev az elsőt jól csinálja, a másodikat beállítás nélkül rosszul. A technika nevében benne van a „kalibrált döntések”, az itt mért kalibráció viszont nem vihető át a benchmarkok között, és ezt a feszültséget érdemes nyíltan kimondani. A tanulmány az eltérést az alapgyakoriságoknak tulajdonítja, és ennél többet nem állít.

A gyakorlati következmény: bíró helyettesítőjeként a Jevnek néhány címkére van szüksége a küszöbe beállításához. Ez valós költség, és szűkíti azt az állítást, hogy közvetlen csereként használható. Nem lehet egy új hibatípusra ráirányítani és megbízni a t=0,5-ben.

A recept #

A tanulmány ajánlása tömör. A recept egy valószínűségként olvasott általános kérdés, tíz címkézett példán illesztett küszöbbel, amely javítja az F1-et ott, ahol a Jev t=0,5-nél túl ritkán jelez, és validált címkéken 0,025-be kerül.

Bontsuk ki. Az általános kérdés úgy kezeli a megfogalmazás problémáját, hogy lemond a megfogalmazás hangolásáról, ami illeszkedik ahhoz a megállapításhoz, hogy a megfogalmazás keveset számít. A válasz valószínűségként való olvasása megőrzi a különbséget. A küszöb tíz címkézett példán való illesztése kezeli az alapgyakoriság elvétését. Az F1-re gyakorolt hatás pozitív ott, ahol a Jev t=0,5-nél túl ritkán jelez. Validált címkéken a recept 0,025-be kerül.

Az utolsó számnál érdemes elidőzni. A recept nem hátrány nélküli: validált címkéken 0,025-be kerül. A tanulmány közli ezt a kompromisszumot ahelyett, hogy elrejtené, és én szívesebben idézek egy kimondott költségű receptet, mint egy tiszta nyereségként hirdetettet. Az állítások nem mondják meg, milyen mérőszámban mérik a 0,025-öt a validált címkék kontextusán túl, ezért nem találgatok.

Tíz címkézett példa csekély kérés. A legtöbb csapatnak ez egy délutánnyi annotálás, szemben azzal a költséggel, hogy minden üzeneten bírót futtassanak. De előfeltétel, és egy csapat, amely egy új hibatípushoz egyetlen címkézett példát sem tud előállítani, ne várja, hogy a küszöb magától beáll.

Mit vigyen haza egy gyakorló szakember #

Több dolog következik ebből, és vállalom őket, mert a bizonyítékok alátámasztják.

Először: hagyja abba a kérdés megfogalmazásának optimalizálását. A célzott megfogalmazás mintán kívüli nyeresége +0,006, −0,004 és +0,015 közötti intervallummal. Ez nem alap befektetésre.

Másodszor: az erőfeszítést fordítsa az állapotra. A nagy nyereségek a címkét meghatározó referenciákból származtak. Ha a monitor megkaphatja a hibát meghatározó referenciát, ott van a javulás. Ha nem, számítson kevesebbre: az a kontextus, amellyel egy telepített monitor rendelkezne, 7 benchmarkból 1-en segített. Arra a számra tervezzen, amelyet telepítésben elérhet, ne arra, amelyet egy olyan benchmarkon kap, ahol a referencia a bemenetben van.

Harmadszor: tervezzen költségkeretet a kalibrációra. Számoljon azzal, hogy hibatípusonként tíz példát címkéz fel, és illeszti a küszöböt. Ne élesítsen t=0,5-tel.

Negyedszer: használja az egyet nem értést jelzésként. A referenciacímkéktől való magabiztos eltérések három benchmarkon hibákat, további négyen pedig felfedhetetlen címkéket tártak fel. Ha saját értékelőcsomagjain futtatja ezt, számítson arra, hogy a címkéiről is mondhat valamit, nem csak a modelljeiről. Ez a tanulmány megállapításából levont következtetés, nem egy adott csomagra vonatkozó mért állítás, ezért tekintse felhívásnak az ellenőrzésre.

Ötödször: ne feledje az ismert gyengeségeket. A fejlesztő a közvetett jelentést és az ártó szándékú tartalmat sorolja a Jev ismert gyengeségei közé. Egy biztonság szempontjából fontos monitor találkozni fog ártó szándékú tartalommal. Az itteni állítások nem közlik, hogyan teljesít ezen a Jev, így ez nyitott szárny marad, és szeretném tesztelve látni, mielőtt megbíznék egy telepítésben.

Az eredmény az üzleti érv tükrében #

Az alapítók tudni akarják majd, hol áll ez. A költségérv a legerősebb: a minden üzeneten futó detektornak olcsónak kell lennie, és az LLM-bírákhoz képesti 63-szoros csökkenés megváltoztatja, mely telepítések férnek bele a keretbe. A második a pontossági érv: 0,886-os zero-shot AUROC és a felügyelt alapmodellek legyőzése a legtöbb benchmarkon.

A fenntartások szabják meg, mit lehet becsülettel eladni. A detektornak küszöbönként néhány címke kell. A kalibrációja nem vihető át. A legjobb nyereségei olyan referenciákon alapulnak, amelyekkel egy telepítés talán nem rendelkezik. Ezek használati feltételek, és minden erre épülő terméknek ki kell mondania őket, nem eltemetni. Mindez nem gyengíti a költségérvet; az előkészítő munkát írja le.

Van egy csendesebb észrevétel is magáról a mérésről. Az RLCDAlignBench a kontextusváltozataival, gyorsítótárazott Jev-válaszaival, újrapontozó szkriptjeivel és feleztetéses protokolljával újrafelhasználható értékelési erőforrás. Egy benchmark, amely eltávolítja a kiválasztásból eredő felfúvódást a közölt nyereségekből, az a fajta anyag, amely összehasonlíthatóvá teszi a későbbi állításokat. Ez másfajta érték, mint maga a detektor.

Ami nyitva marad #

Néhány határ egyértelműen kiderül az állításokból. A célmodellek öt nyílt, 2–7 milliárd paraméteres modell, így az eredmények ilyen méretű modellek interakcióiban előforduló hibákat írnak le. Az általános kérdést 7 benchmarkon nem tették fel, és a fő AUROC-szám medián azokon a benchmarkokon, ahol feltették. A címkék referenciapontozóktól származnak, az emberi és második bírói címkék a StrongREJECT-et, a HarmBench-et, az AbstentionBench-et és az InstrumentalEval-t fedik le.

A nyitott kérdés, amely a leginkább érdekel, az, amelyet a tanulmány saját szerkezete vet fel. A hibák relációsak; az állapotból gyakran hiányzik a referencia; és egy telepített monitor kontextusa 7 benchmarkból csak 1-en segített. A Jev egyhívásos felépítése lehetővé teszi, hogy sok kérdés osztozzon egy bemeneten, mégis a legnagyobb emelőnek az bizonyult, hogy milyen mezőket hordoz a bemenet. Hogy egy telepítés hogyan jusson hozzá a figyelés idején a címkét meghatározó referenciához, például egy adatvédelmi ellenőrzéshez szükséges titkos elemek listájához, az a következő megoldandó feladat. A tanulmány megmutatja, hogy a nyereség elérhető (0,79→0,95 a PrivacyLensen), és nyitva hagyja, hogy egy telepített monitor elég olcsón megkaphatja-e ahhoz, hogy megőrizze a 63-szoros előnyt.

Mit jelent ez ágazatonként #

Az a képesség, hogy összetett alignmentkritériumokat kalibrált döntési fejekkel, az inferenciaköltség töredékéért lehessen értékelni, több területen átalakítja a működési biztonságot.

AI-átjárók és biztonsági platformok szolgáltatói #

A valós idejű biztonsági korlátokat telepítő infrastruktúra-vállalatok a drága kaszkádarchitektúrákat (külön promptinjekciós, toxicitási és adatvédelmi osztályozók hívását) egységes, többkérdéses RLCD-fejekkel válthatják fel. A működési költségek több mint 60×-osan csökkennek, a késleltetés pedig egyetlen előre irányuló menetre korlátozódik.

AI-irányítási és auditmegfelelőségi csapatok #

A modellek viselkedését olyan szabványok szerint értékelő kockázati bizottságok, mint az uniós MI-rendelet magas kockázatú rendszerekre vonatkozó követelményei vagy a NIST AI RMF, determinisztikus, valószínűségi auditnaplóhoz jutnak. Az LLM-bírák strukturálatlan, elbeszélő visszajelzései helyett a rendszerek kalibrált valószínűségi eloszlásokat rögzítenek, amelyek támogatják a statisztikai folyamatszabályozást és a sodródás figyelését.

Vállalati telepítési és red teaming csapatok #

A biztonsági csapatok gyorsan telepíthetnek egyedi hibadetektorokat azzal, hogy célzott állapotreprezentációkat írnak, és a döntési küszöböket akár csak tíz szakterület-specifikus példán illesztik, így elmaradnak a korábban egyedi osztályozókhoz szükséges, többhetes finomhangolási ciklusok.

Összegzés #

A Jev RLCDAlignBenchen végzett értékelése meggyőző architekturális irányt jelöl ki az éles modellfigyelés számára: a kalibrált valószínűségek kiolvasása több típusos kérdésre egyetlen előre irányuló menetben költségben az autoregresszív LLM-bírákat, rugalmasságban az egytokenes osztályozókat is felülmúlja. Bár a gyakorló szakembereknek a küszöb empirikus kalibrációjával kell számolniuk ahelyett, hogy feltételeznék a valószínűségek azonnali átvihetőségét, a 63-szoros gazdasági előny nagy léptékben is megvalósíthatóvá teszi az átfogó, valós idejű figyelést.

Gyakran ismételt kérdések #

Miért nem praktikusak a generatív LLM-bírák az éles rendszerek valós idejű figyelésére?

A generatív bírák minden értékelt biztonsági vagy alignmentkritériumhoz teljes autoregresszív dekódolási menetet igényelnek. Nagy forgalmú fogyasztói vagy vállalati alkalmazásokban az üzenetenkénti több generatív bíróhívás súlyos késleltetést okoz, és nagyságrendekkel növeli a működési költségeket.

Mi a kalibrált döntésekre irányuló megerősítéses tanulás (RLCD)?

Az RLCD olyan tanítási módszer, amely a modelleket arra optimalizálja, hogy tokensorozatok generálása helyett jól kalibrált a posteriori valószínűségeket adjanak strukturált döntési fejek felett. Ez lehetővé teszi, hogy a modell egyetlen előre irányuló értékelésen belül egyszerre több tetszőleges kérdést értékeljen.

Miért kell a döntési küszöböket helyi adatokon kalibrálni?

Az RLCD-modellek kiválóan rangsorolják az interakciókat a hiba valószínűsége szerint (magas AUROC-t érnek el), de abszolút átlagos valószínűségeik a célterület alapgyakoriságától függően elmozdulnak. Egy működési döntési küszöb nagyjából tíz címkézett, szakterületi példán végzett kalibrációja megfelelő érzékenységet biztosít elfogadhatatlan téves riasztási arányok nélkül.

Hivatkozások #

Mrinank Sharma és mtsai., (2024). A nyelvi modellek szervilizmusának megértése és mérséklése felé ⧉. arXiv.
RLCDAlignBench Consortium, (2026). Többkritériumos alignmenthiba-észlelés kalibrált döntési fejekkel ⧉. arXiv.
Anthropic / Alignment Research, (2025). Alkotmányos AI és az értékelők dinamikája ⧉. Anthropic.
NIST, (2024). A mesterséges intelligencia kockázatkezelési keretrendszere (AI RMF 1.0) ⧉. NIST.

Utolsó felülvizsgálat 2026-09-30.

Utolsó felülvizsgálat 2026-10-27.

A cikk újraközlése

Ítéletek helyett valószínűségeket olvasó detektor: Jev 44 teszten — Sebastien Rousseau

A Jev 44 benchmarkon jól rangsorolja az alignmenthibákat, és 63×-ször olcsóbb az LLM-bíráknál, de a küszöböt tíz címkézett példán kell beállítani hibatípusonként.

Ez a cikk a következő licenc alatt áll: Creative Commons Attribution 4.0 International. Az újraközléshez a kanonikus URL forrásmegjelölése szükséges.

Ítéletek helyett valószínűségeket olvasó detektor: Jev 44 teszten — Sebastien Rousseau

A Jev 44 benchmarkon jól rangsorolja az alignmenthibákat, és 63×-ször olcsóbb az LLM-bíráknál, de a küszöböt tíz címkézett példán kell beállítani hibatípusonként.

Originally published at https://sebastienrousseau.com/hu/2026-09-30-iteletek-helyett-valoszinusegeket-olvaso-detektor-jev/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER