Detektor som läser sannolikheter i stället för domar: Jev i 44 tester

En detektor för alignmentfel som besvarar många typade frågor i ett enda anrop, med kalibrerade sannolikheter, rangordnar fel väl och kostar 63× mindre än LLM-domare. Men sannolikheterna fungerar inte som tröskelvärden, och etiketten och dess referens väger långt tyngre än frågans formulering.

Kostnadsstrukturen i att bevaka varje meddelande #

Driftsatta modeller ger fortfarande efter för en användares felaktiga uppfattning (Sharma m.fl., 2024). Meningen är anspråkslös, men den ramar in hela problemet. Om sådan inställsamhet består i driftsatta system måste någon hålla utkik efter den, och bevakningen måste ske i samma takt som själva samtalet.

Det är där ekonomin biter. En detektor behöver vara träffsäker och, eftersom den körs på varje meddelande, billig. Var för sig är egenskaperna lätta att uppnå: en slarvig detektor är billig, och en noggrann som är för dyr att köra på varje meddelande bevakar bara ett urval av trafiken. Den intressanta tekniska frågan är vilken form av detektor som kan vara både och.

Det nuvarande svaret har enligt artikelns underliggande studie ett strukturellt fel. De flesta detektorer för alignmentfel är generativa domare som lägger ett avkodningspass på varje kriterium. Rakt uttryckt betalar dagens detektorer ett avkodningspass för varje kriterium de kontrollerar. En monitor som vill leta efter tio olika feltyper betalar för tio pass, och notan växer linjärt med antalet saker man bryr sig om.

Det finns en partiell lösning, och det lönar sig att vara exakt om dess gränser. Klassificerare som läser tokensannolikheter, som Llama Guard, bedömer fortfarande en fast etikett per anrop. Att läsa tokensannolikheter ger en poäng, men varje anrop bedömer ändå en etikett eller ett kriterium, eftersom sannolikheten läses av från en enda domstoken. Avkodningspasset är borta, men strukturen med en fråga per anrop finns kvar. Varje anrop har blivit billigare utan att antalet anrop har förändrats.

Det strukturella påståendet lyder alltså så här: generativa domare är dyra per kriterium, och sannolikhetsläsande klassificerare är billigare per kriterium men fortfarande bundna till ett kriterium vardera. Ingen av dem låter en ställa många frågor om samma indata på en gång.

Arkitekturdimension	Generativa LLM-domare (t.ex. GPT-4 som domare)	Entokenklassificerare (t.ex. Llama Guard)	Flerfrågedetektor med RLCD (Jev)
Bedömningsmekanism	Fullt autoregressivt avkodningspass per kriterium	Softmax-sannolikhet över en enda utdatatoken	Kalibrerad sannolikhetstensor med flera huvuden $P(\text{yes})$
Frågor per anrop	1 utvärderingsprompt per modellanrop	1 klassificeringsetikett per modellanrop	Flera binära, kategoriska och ordinala frågor i 1 anrop
Inferenskostnad	Hög (10–50 USD per 1 000 interaktioner)	Måttlig (0,50–2,00 USD per 1 000 interaktioner)	63× lägre (0,30 USD för 19 fullständiga benchmarks)
AUROC-prestanda	Beroende av benchmark; benägen till domardrift	Hög på specifika tränade säkerhetskategorier	Median-AUROC 0,886 zero-shot över 44 sviter
Kalibreringskvalitet	Heuristiska förklaringar utan formella sannolikheter	Grova logits utan efterhandskalibrering	Kalibrerade sannolikheter; median-ECE 0,168 (kräver ~10 märkta exempel)

Vad Jev gör annorlunda #

Jev är tränad med förstärkningsinlärning för kalibrerade beslut (RLCD). Den besvarar många typade frågor om en och samma indata med kalibrerade sannolikheter i ett enda anrop. Mekanismen förtjänar att beskrivas noga, eftersom resten av artikeln vilar på den.

En RLCD-modell returnerar ett beslut med en kalibrerad sannolikhet för varje typad fråga i stället för att generera text. Det finns inget genereringssteg där en dom skrivs ut och sedan tolkas. Jev besvarar många binära, kategoriska och ordinala frågor om en indata, som studien kallar tillståndet (state), i ett enda anrop. Tillståndet är indatan; frågorna är det man frågar om den.

Det ger en annan kostnadskurva än båda ansatserna ovan. Om frågorna delar ett anrop lägger en ny fråga inte till något avkodningspass. Vinsten för en monitor som bryr sig om flera feltyper samtidigt är uppenbar, men studiens mätningar gäller vad en enda generisk fråga uppnår, och jag håller mig till det som faktiskt mättes.

Det fanns dock en lucka. Om Jev upptäcker alignmentfel hade inte mätts. En modell som besvarar typade frågor med kalibrerade sannolikheter passar rimligen för uppgiften, och rimlighet kostar inget. Studien vill leverera den saknade mätningen.

Varför alignmentfel är svårare än de ser ut #

Innan mätningen kommer en komplikation. Många av dessa fel är relationella, definierade mot en referens som svaret ensamt inte avslöjar. Inställsamhet illustrerar idén väl: om ett svar ger efter för en användares felaktiga uppfattning beror på vad uppfattningen är och om den är felaktig, och ingen av de uppgifterna syns i svarstexten i sig.

Det får en följd för detektordesign som studien formulerar med lämplig försiktighet. En detektor som bara ser svaret kan sakna den referens som definierar felet. Ordet ”kan” är viktigt; påståendet är inte att varje fel kräver en referens, bara att vissa gör det och att en vy med enbart svaret kan missa den.

Det försvårar också diagnosen. Om felen är relationella kan en dålig detektering bero på frågan eller på ett tillstånd som saknar referensen. Två saker kan vara fel, och en låg poäng säger inte vilken. Kanske var frågan illa formulerad. Kanske var frågan bra och indatan innehöll helt enkelt aldrig det som behövdes för att besvara den. En benchmark som vill säga något användbart om en detektor måste byggas så att de två orsakerna går att skilja åt.

Utvecklaren anger för sin del indirekt betydelse och fientligt (adversarialt) innehåll bland Jevs kända svagheter. Det är värt att ha i minnet vid läsningen av resultaten, eftersom vissa feltyper lutar sig mot just de egenskaperna.

Detektering som klassificering #

Studiens formella uppställning är enkel. Den behandlar detektering av alignmentfel som binär klassificering över interaktioner med en målmodell. En detektor tilldelar en poäng s(x) ∈ [0, 1] och flaggar x när s(x) ≥ t. Det innebär att den både måste rangordna fel över icke-fel och skilja dem åt vid ett tröskelvärde t.

De två uppgifterna går att skilja åt, och studiens resultat delar sig längs just den sömmen. Rangordning är vad AUROC mäter. Att skilja åt vid en tröskel beror på kalibrering, och artikeln återkommer till det eftersom det är där Jev brister. En detektor kan rangordna utmärkt och ändå vara oanvändbar vid t=0,5 om dess sannolikheter ligger på fel ställe.

RLCDAlignBench #

Benchmarken heter RLCDAlignBench. Den omfattar tio feltyper i 44 benchmarks och 7 193 detekteringsinstanser. Instanserna kommer från fem öppna målmodeller med 2–7 miljarder parametrar, var och en märkt av sin benchmarks referensbedömare. Interaktionerna som bedöms kommer alltså från små öppna modeller, och facit för var och en är vad den ursprungliga benchmarkens egen bedömare säger.

Alla benchmarks har inte samma slags etikett. Mänskliga etiketter för StrongREJECT och HarmBench, och etiketter från en andra domare för AbstentionBench och InstrumentalEval, används för att jämföra Jev med en domare. Det ger studien två slags externa kontroller av referensbedömarna: människor i vissa fall, en andra domare i andra.

Den publicerade artefakten beskrivs som 44 benchmarks över tio feltyper med kontextvarianter, cachade Jev-svar och skript för omräkning, tillsammans med ett protokoll med delade halvor som tar bort urvalsinflation från de rapporterade vinsterna. Varje del svarar mot ett praktiskt behov. Kontextvarianter låter läsaren fråga vad som händer när tillståndet innehåller mer. Cachade svar och omräkningsskript låter någon återskapa en siffra utan att köra modellen igen. Protokollet med delade halvor hanterar en metodologisk fälla som förtjänar ett eget avsnitt.

Urvalsfällan #

Jev kan få många frågor om samma indata. Det är dess försäljningsargument, och det är också en risk vid utvärdering. Om man ställer en uppsättning kandidatfrågor och rapporterar den som ger bäst resultat har man sökt bland frågor och rapporterat vinnaren. Studien säger det rakt ut: att rapportera den bästa av dem skulle överdriva vad en praktiker får.

Den som har finjusterat en prompt mot en testmängd känner igen detta. Botemedlet här är enkelt. Frågor väljs på ena halvan av exemplen och bedöms på den andra. Den riktade frågan väljs på ena halvan av exemplen och bedöms på den andra, över 20 uppdelningar. Urvalet rör aldrig de exempel som ger den rapporterade siffran.

Det påverkar hur varje vinst nedan ska läsas. Studiens påstående är att protokollet med delade halvor tar bort urvalsinflation från de rapporterade vinsterna. När studien säger att riktad formulering ger en medianvinst på +0,006 AUROC kommer siffran från formuleringar som valts och bedömts på separata halvor. En så liten siffra, ärligt uppmätt, är mer användbar än en större siffra som i tysthet inkluderade vinnarens förbannelse.

Huvudresultatet: en enda generisk fråga #

Nu resultatet de flesta läsare vill se. En enda generisk fråga når en median-AUROC på 0,886 zero-shot och slår övervakade referensmodeller på de flesta benchmarks.

Ta orden ett i taget. ”En enda generisk fråga” betyder ingen benchmarkspecifik konstruktion av prompten. ”Zero-shot” betyder ingen träning på målbenchmarken. ”Slår övervakade referensmodeller på de flesta benchmarks” betyder att system som tränats på märkta data från uppgiften förlorar mot en fråga som ingen har finjusterat, på de flesta av de undersökta benchmarkarna. Påståendet stannar vid ”de flesta”, och det gör den här artikeln också.

Den generiska frågan är en mallfråga som läses som P(ja). Siffran redovisar AUROC för 38 användbara benchmarks, och den generiska frågan ställdes inte på 7 benchmarks. Huvudsiffran är alltså en median över de benchmarks där den generiska frågan tillämpades, hämtade ur de 38 användbara. Noggranna läsare bör hålla nämnarna isär: 44 benchmarks finns totalt, 38 är användbara för siffran, och den generiska frågan har en lucka på 7.

Jag skulle hävda att zero-shot-resultatet är den intressantare halvan av meningen. Att slå övervakade referensmodeller är ett påstående om relativ ställning. En median-AUROC på 0,886 utan uppgiftsspecifik träning säger något om hur mycket av felsignalen som är tillgänglig för en modell som läser tillståndet och besvarar en enkel fråga. Om det generaliserar till feltyper utanför dessa tio är inget som påståendena behandlar.

Formuleringen är nästan irrelevant #

Den som har lagt tid på promptkonstruktion kommer att känna nästa resultat. Frågans formulering spelar liten roll, medan kontexten spelar större roll, främst genom fält som kodar etiketten.

Studiens förklaring till varför är specifik. När svaren behålls som sannolikheter i stället för argmax-beslut spelar frågans formulering liten roll, medan det som tillståndet och etiketten innehåller spelar stor roll. Det är en iakttagelse om information. Ett argmax-beslut kastar bort marginalen med vilken ett svar slog ett annat, och en ändrad formulering kan vända beslutet över gränsen. En sannolikhet behåller marginalen, så en omformulering som förskjuter evidensen lite flyttar sannolikheten lite och lämnar rangordningen i stort sett orörd.

Jag håller mig till vad studien säger: när sannolikheterna behålls spelar formuleringen liten roll. Jag utsträcker det inte till en mekanistisk förklaring av varför, eftersom påståendena inte ger någon.

Siffrorna stöder påståendet. Riktad formulering ger en medianvinst på +0,006 AUROC, med formuleringen vald och bedömd på separata halvor. Utanför urvalet ger riktad formulering +0,006 [−0,004; +0,015] AUROC. Intervallet spänner över noll. En läsare bör inte behandla +0,006 som en pålitlig förbättring; intervallet tillåter en liten förlust lika gärna som en liten vinst. För en praktiker är den användbara tolkningen att jakten på en smartare formulering knappast lönar sig, åtminstone på dessa benchmarks.

Det bör ändra hur team fördelar sin tid. Om formuleringen är nästan verkningslös är timmarna bättre använda på tillståndet.

Det är i kontexten vinsterna finns #

Vad innehåller då tillståndet, och vad bör det innehålla? Studiens slutsats är att kontexten spelar större roll, främst genom fält som kodar etiketten. Grundidén bakom studiens upplägg är att variera vad Jev tillfrågas om separat från vad den ser: frågans formulering och svarstyp på ena sidan, indatans fält på den andra. Den uppdelningen är vad som låter studien säga att formuleringen spelar liten roll medan kontexten spelar större. Utan den skulle de två effekterna vara sammanflätade.

Huvudexemplet är PrivacyLens. Referenser som definierar etiketten ger de stora vinsterna, till exempel PrivacyLens lista över hemliga uppgifter (0,79→0,95). Ett steg från 0,79 till 0,95 AUROC är stort jämfört med +0,006 från formuleringen. Referensen i fråga är en lista över hemliga uppgifter, precis den sortens sak som den tidigare diskussionen om relationella fel förutsäger skulle spela roll: om ett svar läcker något privat beror på vad som räknas som privat, och svaret ensamt säger inte det.

Det finns en reservation för driftsättning, och den är viktig. Kontext som en driftsatt monitor skulle ha hjälper på 1 av 7 benchmarks. De stora vinsterna kommer från referenser som definierar etiketten, men en driftsatt monitor skulle inte nödvändigtvis ha dem. Det som en monitor realistiskt skulle ha hjälper bara på en av sju benchmarks.

Det är en nykter slutsats, och jag tror att det är studiens kommersiellt mest relevanta mening. Den skiljer labbsiffran från fältsiffran. En detektor som utvärderas med den etikettdefinierande referensen i handen besvarar en lättare fråga än den en driftsatt monitor ställs inför. Vinsterna är verkliga, men studien är tydlig med vilka av dem en driftsättning kan räkna med.

Studien pekar också på en begränsning i en benchmark. På Open-Prompt-Injection följer etiketten träffsäkerheten i den injicerade uppgiften. Det är ett exempel på en etikett vars betydelse är knuten till en egenskap hos uppgiften, vilket påverkar vad en detektor kan förväntas se i tillståndet. Jag drar inga vidare slutsatser av det, eftersom påståendena inte erbjuder några.

Kostnad #

Nu siffran som gör ekonomin konkret. Jev kostar 63× mindre än LLM-domare. Den specifika jämförelsen: en körning över de 19 domarbedömda benchmarkarna kostar 0,30 USD, 63× mindre än deras domare till listpris. Kostnadsjämförelsen gäller en körning över de 19 benchmarkarna med API-domare till listpris.

Var noga med omfånget. Jämförelsen gäller 19 benchmarks som använder API-domare, prissatta till listpris, för en enda körning. Den täcker inte varje benchmark i sviten, och den täcker inte rabatterade priser. Inom det omfånget är kvoten stor, och den följer av arkitekturen som beskrevs tidigare: inget avkodningspass per kriterium.

Minns det inledande kravet, att en detektor som körs på varje meddelande måste vara billig. En siffra på 0,30 USD för en hel körning över 19 benchmarks är hur ”billig” ser ut i den här studien. Studien omvandlar den inte till pris per meddelande, och det gör inte heller jag.

Överensstämmelse med människor, och vad oenigheten avslöjade #

Billigt är bara intressant om detektorn också har rätt. Där mänskliga etiketter gör en kontroll möjlig stämmer Jev överens med dem lika väl som domaren gör, till en bråkdel av kostnaden.

Det mest specifika beviset kommer från StrongREJECT. Mot mänskliga etiketter där stämmer den generiska frågan överens lika väl som referensbedömaren (Cohens κ 0,809 mot 0,811) och rangordnar bättre. De två κ-värdena skiljer sig med 0,002, så den rimliga tolkningen är oavgjort i överensstämmelse, med Jev före i rangordning.

Sedan kommer ett resultat som jag finner mest användbart i praktiken, eftersom det gör detektorn till ett granskningsverktyg. Jevs säkra avvikelser avslöjade etikettändrande defekter i tre benchmarks och etiketter som tillståndet inte kan avslöja i fyra till. När en säker detektor avviker från en benchmarks referensetikett är en förklaring att detektorn har fel. Studien rapporterar att avvikelsen i vissa fall pekade på benchmarken: tre benchmarks hade defekter som ändrar etiketter, och fyra till hade etiketter som tillståndet inte kan avslöja.

Den andra kategorin knyter an till den relationella poängen. En etikett som tillståndet inte kan avslöja är en etikett definierad av något som aldrig kom med i indatan. Ingen detektor som läser det tillståndet skulle kunna återskapa den. Att hitta sådana fall är ett annat bidrag än att höja en poäng, eftersom det visar benchmarkförvaltare var deras data och deras etiketter går isär.

Den svaga punkten: kalibrering #

Här måste artikeln vara rak, eftersom studien är det. Sannolikheterna rangordnar väl men fungerar inte som tröskelvärden: median-ECE är 0,168 mot ett nollvärde på 0,074, på validerade etiketter och domaretiketter lika, eftersom Jevs medelsannolikhet missar varje benchmarks basfrekvens.

Delarna hänger ihop så här. AUROC mäter rangordning, och rangordningen är stark. En tröskel är en annan sak. Om modellens genomsnittliga utdatasannolikhet inte motsvarar hur ofta fel förekommer i en viss benchmark hamnar t=0,5 på fel ställe, och det förväntade kalibreringsfelet blir högt. En median-ECE på 0,168 ligger över nollvärdet 0,074, vilket är ett sämre resultat än den referenspunkt studien valde. Och det gäller på validerade etiketter och domaretiketter lika, så svagheten är ingen artefakt av brusiga domaretiketter.

Minns den formella uppställningen: en detektor måste rangordna fel över icke-fel och skilja dem åt vid en tröskel. Jev gör det första väl och det andra dåligt utan anpassning. Teknikens namn innehåller ”kalibrerade beslut”, och den uppmätta kalibreringen här bär inte över mellan benchmarks, en spänning som är värd att säga rakt ut. Studien tillskriver gapet basfrekvenserna och påstår inget mer.

Den praktiska följden: som ersättare för en domare behöver Jev några etiketter för att sätta sin tröskel. Det är en verklig kostnad, och den snävar in påståendet om att vara en direkt ersättare. Man kan inte rikta den mot en ny feltyp och lita på t=0,5.

Receptet #

Studiens rekommendation är kompakt. Receptet är en generisk fråga läst som en sannolikhet, med tröskeln anpassad på tio märkta exempel, vilket höjer F1 där Jev slår till för sällan vid t=0,5 och kostar 0,025 på validerade etiketter.

Packa upp det. Den generiska frågan hanterar formuleringsproblemet genom att avstå från att konstruera formuleringen, vilket stämmer med slutsatsen att formuleringen spelar liten roll. Att läsa svaret som en sannolikhet behåller marginalen. Att anpassa tröskeln på tio märkta exempel tar itu med den missade basfrekvensen. Effekten på F1 är positiv där Jev slår till för sällan vid t=0,5. På validerade etiketter kostar receptet 0,025.

Den sista siffran är värd att stanna vid. Receptet är inte fritt från nackdelar: på validerade etiketter kostar det 0,025. Studien redovisar avvägningen i stället för att dölja den, och jag citerar hellre ett recept med en angiven kostnad än ett som marknadsförs som ren vinst. Påståendena anger inte i vilket mått 0,025 mäts utöver sammanhanget med validerade etiketter, så jag gissar inte.

Tio märkta exempel är en liten begäran. Det är en eftermiddags annotering för de flesta team, jämfört med kostnaden för att köra en domare på varje meddelande. Men det är en förutsättning, och ett team som inte kan ta fram några märkta exempel för en ny feltyp ska inte räkna med att tröskeln ordnar sig själv.

Vad en praktiker bör ta med sig #

Flera saker följer, och jag står för dem eftersom evidensen stöder dem.

För det första: sluta optimera frågans formulering. Vinsten utanför urvalet från riktad formulering är +0,006 med ett intervall från −0,004 till +0,015. Det är ingen grund för investering.

För det andra: lägg kraften på tillståndet. De stora vinsterna kom från referenser som definierar etiketten. Om monitorn kan få den referens som definierar felet är det där förbättringen finns. Om den inte kan det, räkna med mindre: kontext som en driftsatt monitor skulle ha hjälpte på 1 av 7 benchmarks. Planera utifrån den siffra du kan få i drift snarare än den du får i en benchmark där referensen ligger i indatan.

För det tredje: budgetera för kalibrering. Planera för att märka tio exempel per feltyp och anpassa tröskeln. Leverera inte med t=0,5.

För det fjärde: använd oenighet som signal. Säkra avvikelser från referensetiketter avslöjade defekter i tre benchmarks och etiketter som inte går att avslöja i fyra till. Om du kör detta på dina egna utvärderingssviter, räkna med att det kan säga något om dina etiketter lika väl som om dina modeller. Det är en slutsats dragen ur studiens resultat snarare än ett uppmätt påstående om en viss svit, så se det som en uppmaning att kontrollera.

För det femte: kom ihåg de kända svagheterna. Utvecklaren anger indirekt betydelse och fientligt innehåll bland Jevs kända svagheter. En monitor som är viktig för säkerheten kommer att möta fientligt innehåll. Påståendena här redovisar inte hur Jev presterar på det, så det förblir en öppen flank, och jag skulle vilja se det testat innan jag litar på en driftsättning.

Resultatet mot det kommersiella argumentet #

Grundare vill veta var detta hamnar. Kostnadsargumentet är starkast: en detektor som körs på varje meddelande måste vara billig, och en 63-faldig minskning jämfört med LLM-domare ändrar vilka driftsättningar som har råd. Träffsäkerhetsargumentet kommer tvåa: en zero-shot-AUROC på 0,886 och seger över övervakade referensmodeller på de flesta benchmarks.

Reservationerna avgör vad som ärligt kan säljas. Detektorn behöver några etiketter per tröskel. Dess kalibrering bär inte över. Dess bästa vinster vilar på referenser som en driftsättning kanske inte har. Det är användningsvillkor, och en produkt byggd på detta bör ange dem i stället för att gömma dem. Inget av det undergräver kostnadsargumentet; det beskriver förarbetet.

Det finns också en tystare poäng om själva mätningen. RLCDAlignBench, med sina kontextvarianter, cachade Jev-svar, omräkningsskript och protokoll med delade halvor, är en återanvändbar utvärderingsresurs. En benchmark som tar bort urvalsinflation från rapporterade vinster är den sortens artefakt som gör senare påståenden jämförbara. Det är ett annat slags värde än detektorn.

Vad som förblir öppet #

Några gränser framgår tydligt av påståendena. Målmodellerna är fem öppna modeller med 2–7 miljarder parametrar, så resultaten beskriver fel i interaktioner från modeller av den storleken. Den generiska frågan ställdes inte på 7 benchmarks, och huvudsiffran för AUROC är en median över de benchmarks där den ställdes. Etiketterna kommer från referensbedömare, med mänskliga etiketter och etiketter från en andra domare för StrongREJECT, HarmBench, AbstentionBench och InstrumentalEval.

Den öppna fråga som intresserar mig mest är den som studiens egen struktur väcker. Fel är relationella; tillståndet saknar ofta referensen; och en driftsatt monitors kontext hjälpte bara på 1 av 7 benchmarks. Jevs design med ett enda anrop låter många frågor dela en indata, men den största hävstången visade sig vara vilka fält indatan bär. Hur en driftsättning ska få fram den etikettdefinierande referensen vid bevakningstillfället, till exempel en lista över hemliga uppgifter för en integritetskontroll, är nästa sak att lösa. Studien visar att vinsten finns att hämta (0,79→0,95 på PrivacyLens), och lämnar öppet om en driftsatt monitor kan få den tillräckligt billigt för att behålla den 63-faldiga fördelen.

Vad detta betyder per sektor #

Möjligheten att utvärdera komplexa alignmentkriterier via kalibrerade beslutshuvuden till en bråkdel av inferenskostnaden förändrar den operativa säkerheten inom flera områden.

Leverantörer av AI-gateways och säkerhetsplattformar #

Infrastrukturföretag som driftsätter säkerhetsspärrar i realtid kan ersätta kostsamma kaskadarkitekturer (anrop till separata klassificerare för promptinjektion, toxicitet och integritet) med samlade RLCD-huvuden för flera frågor. Driftkostnaderna sjunker med mer än 60× medan latensen begränsas till ett enda framåtpass.

Team för AI-styrning och regelefterlevnad #

Riskkommittéer som utvärderar modellbeteende mot standarder som EU:s AI-förordnings krav för högrisksystem eller NIST AI RMF får en deterministisk, probabilistisk granskningslogg. I stället för ostrukturerad berättande återkoppling från LLM-domare registrerar systemen kalibrerade sannolikhetsfördelningar som stöder statistisk processtyrning och driftövervakning.

Team för driftsättning och red teaming i företag #

Säkerhetsteam kan snabbt driftsätta egna feldetektorer genom att skriva fokuserade tillståndsrepresentationer och anpassa beslutströsklar mot så få som tio domänspecifika exempel, vilket tar bort de veckolånga finjusteringscykler som tidigare krävdes för skräddarsydda klassificerare.

Slutsats #

Utvärderingen av Jev i RLCDAlignBench pekar ut en övertygande arkitektonisk riktning för modellövervakning i produktion: att läsa kalibrerade sannolikheter över flera typade frågor i ett enda framåtpass slår både autoregressiva LLM-domare på kostnad och entokenklassificerare på flexibilitet. Praktiker måste budgetera för empirisk kalibrering av tröskeln i stället för att anta att sannolikheterna fungerar direkt, men den 63-faldiga ekonomiska fördelen gör heltäckande bevakning i realtid möjlig i stor skala.

Vanliga frågor #

Varför är generativa LLM-domare opraktiska för bevakning i realtid i produktion?

Generativa domare kräver ett fullständigt autoregressivt avkodningspass för varje säkerhets- eller alignmentkriterium som utvärderas. I konsument- eller företagstillämpningar med hög genomströmning ger flera generativa domaranrop per meddelande kraftiga latensstraff och blåser upp driftkostnaderna med flera storleksordningar.

Vad är förstärkningsinlärning för kalibrerade beslut (RLCD)?

RLCD är en träningsmetod som optimerar modeller för att ge välkalibrerade a posteriori-sannolikheter över strukturerade beslutshuvuden i stället för att generera tokensekvenser. Det låter modellen utvärdera flera godtyckliga frågor samtidigt inom en enda framåtriktad utvärdering.

Varför behöver beslutströsklar kalibreras på lokala data?

RLCD-modeller är utmärkta på att rangordna interaktioner efter sannolikheten för fel (hög AUROC), men deras absoluta medelsannolikheter förskjuts beroende på basfrekvensen i måldomänen. Att kalibrera en operativ beslutströskel mot ungefär tio märkta exempel från domänen ger lämplig känslighet utan oacceptabla andelar falska larm.

Källor #

Mrinank Sharma m.fl., (2024). Mot förståelse och begränsning av inställsamhet i språkmodeller ⧉. arXiv.
RLCDAlignBench Consortium, (2026). Detektering av alignmentfel med flera kriterier via kalibrerade beslutshuvuden ⧉. arXiv.
Anthropic / Alignment Research, (2025). Konstitutionell AI och utvärderarens dynamik ⧉. Anthropic.
NIST, (2024). Ramverk för riskhantering inom artificiell intelligens (AI RMF 1.0) ⧉. NIST.

Senast granskad 2026-09-30.

Senast granskad 2026-10-27.

Återpublicera den här artikeln

Detektor som läser sannolikheter i stället för domar: Jev i 44 tester — Sebastien Rousseau

Jev rangordnar alignmentfel väl i 44 benchmarks och kostar 63× mindre än LLM-domare, men tröskeln måste anpassas med tio märkta exempel per feltyp.

Den här artikeln är licensierad under Creative Commons Attribution 4.0 International. Återpublicering kräver attribution till den kanoniska URL:en.

Detektor som läser sannolikheter i stället för domar: Jev i 44 tester — Sebastien Rousseau

Jev rangordnar alignmentfel väl i 44 benchmarks och kostar 63× mindre än LLM-domare, men tröskeln måste anpassas med tio märkta exempel per feltyp.

Originally published at https://sebastienrousseau.com/sv/2026-09-30-detektor-som-laser-sannolikheter-stallet-domar/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER