Jev, de detector die kansen leest in plaats van oordelen

Een detector voor alignmentfouten die veel getypeerde vragen in één aanroep beantwoordt, met gekalibreerde kansen, rangschikt fouten goed en kost 63× minder dan beoordelaars op basis van LLM-rechters. Maar die kansen zijn niet als drempels over te dragen, en het label en de referentie ervan tellen veel zwaarder dan de formulering van de vraag.

De kostenstructuur van elk bericht bewaken #

Ingezette modellen gaan nog altijd mee met de onjuiste overtuiging van een gebruiker (Sharma et al., 2024). Die zin is bescheiden, maar hij kadert het hele probleem. Als dat soort naar de mond praten blijft bestaan in ingezette systemen, moet iemand erop letten, en dat toezicht moet in hetzelfde tempo gebeuren als het gesprek zelf.

Daar bijt de economie. Een detector moet nauwkeurig zijn en, omdat hij op elk bericht draait, goedkoop. Elk van beide eigenschappen is afzonderlijk makkelijk te krijgen: een slordige detector is goedkoop, en een zorgvuldige die te duur is om op elk bericht te draaien, bewaakt maar een steekproef van het verkeer. De interessante technische vraag is welke vorm van detector allebei kan zijn.

Het huidige antwoord heeft volgens het onderzoek achter dit artikel een structurele fout. De meeste detectoren van alignmentfouten zijn generatieve rechters die per criterium een decodeerdoorloop besteden. Eenvoudig gezegd betalen huidige detectoren een decodeerdoorloop voor elk criterium dat ze controleren. Een monitor die op tien verschillende fouttypen wil letten, betaalt voor tien doorlopen, en de rekening groeit lineair met het aantal dingen dat ertoe doet.

Er bestaat een gedeeltelijke oplossing, en het loont om de grenzen ervan precies te benoemen. Classificatoren die tokenkansen lezen, zoals Llama Guard, scoren nog steeds één vast label per aanroep. Tokenkansen lezen levert een score op, maar elke aanroep scoort nog steeds één label of criterium, omdat de kans van één oordeeltoken wordt afgelezen. De decodeerdoorloop verdwijnt, maar de structuur van ‘één vraag per aanroep’ blijft. Elke aanroep wordt goedkoper zonder dat het aantal benodigde aanroepen verandert.

Het structurele argument luidt dus: generatieve rechters zijn duur per criterium, en classificatoren die kansen lezen zijn goedkoper per criterium maar blijven elk aan één criterium gebonden. Geen van beide laat je in één keer veel vragen over dezelfde invoer stellen.

Architectuurdimensie	Generatieve LLM-rechters (bijv. GPT-4 als rechter)	Classificatoren met één token (bijv. Llama Guard)	Multi-query RLCD-detector (Jev)
Scoringsmechanisme	Volledige autoregressieve decodeerdoorloop per criterium	Softmaxkans over één uitvoertoken	Gekalibreerde kanstensor met meerdere koppen $P(\text{yes})$
Vragen per aanroep	1 evaluatieprompt per modelaanroep	1 classificatielabel per modelaanroep	Meerdere binaire/categorische/ordinale vragen in 1 aanroep
Inferentiekosten	Hoog ($ 10 tot $ 50 per 1.000 interacties)	Gemiddeld ($ 0,50 tot $ 2,00 per 1.000 interacties)	63× lager ($ 0,30 over 19 volledige benchmarks)
AUROC-prestatie	Afhankelijk van de benchmark; gevoelig voor rechterdrift	Hoog in specifiek getrainde veiligheidscategorieën	Mediane AUROC 0,886 zero-shot over 44 suites
Kalibratiekwaliteit	Heuristische verklaringen zonder formele kansen	Ruwe logits zonder kalibratie achteraf	Gekalibreerde kansen; mediane ECE 0,168 (vereist ~10 gelabelde items)

Wat Jev anders doet #

Jev is getraind met reinforcement learning voor gekalibreerde beslissingen (RLCD). Het beantwoordt veel getypeerde vragen over één invoer met gekalibreerde kansen in één aanroep. Het mechanisme verdient een zorgvuldige beschrijving, want de rest van het artikel hangt ervan af.

Een RLCD-model geeft voor elke getypeerde vraag een beslissing met een gekalibreerde kans terug in plaats van tekst te genereren. Er is geen generatiestap waarin een oordeel wordt uitgeschreven en daarna ontleed. Jev beantwoordt in één aanroep veel binaire, categorische en ordinale vragen over één invoer, die het onderzoek de toestand noemt. De toestand is de invoer; de vragen zijn wat je erover wilt weten.

Dat is een andere kostencurve dan bij beide benaderingen hierboven. Als de vragen één aanroep delen, voegt een extra vraag geen decodeerdoorloop toe. Het voordeel voor een monitor die meerdere fouttypen tegelijk volgt, ligt voor de hand, al gaan de metingen van het onderzoek over wat één generieke vraag bereikt, en ik houd het bij wat gemeten is.

Er was echter een leemte. Of Jev alignmentfouten detecteert, was niet gemeten. Een model dat getypeerde vragen met gekalibreerde kansen beantwoordt, lijkt geschikt voor de taak, en aannemelijkheid is goedkoop. Het onderzoek wil de ontbrekende meting leveren.

Waarom alignmentfouten moeilijker zijn dan ze lijken #

Eerst een complicatie. Veel van deze fouten zijn relationeel: ze worden gedefinieerd ten opzichte van een referentie die het antwoord alleen niet prijsgeeft. Naar de mond praten illustreert het algemene idee goed: of een antwoord meegaat met de onjuiste overtuiging van een gebruiker, hangt af van wat die overtuiging is en of ze onjuist is, en geen van beide feiten is in de tekst van het antwoord zelf zichtbaar.

Dat heeft een gevolg voor het ontwerp van detectoren dat het onderzoek met gepaste voorzichtigheid formuleert. Een detector die alleen het antwoord ziet, kan de referentie missen die de fout definieert. Het woord ‘kan’ telt; de bewering is niet dat elke fout een referentie nodig heeft, alleen dat sommige dat wel hebben en dat een blik op alleen het antwoord haar kan missen.

Het bemoeilijkt ook de diagnose. Als fouten relationeel zijn, kan een zwakke detectie aan de vraag liggen of aan een toestand zonder de referentie. Er kunnen twee dingen mis zijn, en een lage score zegt niet welk. Misschien was de vraag slecht geformuleerd. Misschien was de vraag prima en bevatte de invoer gewoon nooit wat nodig was om haar te beantwoorden. Een benchmark die iets zinnigs over een detector wil zeggen, moet zo gebouwd zijn dat die twee oorzaken uit elkaar te halen zijn.

De ontwikkelaar noemt op zijn beurt indirecte betekenis en adversariële inhoud bij de bekende zwakheden van Jev. Dat is goed om in gedachten te houden bij het lezen van de resultaten, want sommige fouttypen leunen juist op die eigenschappen.

Detectie als classificatie #

De formele opzet van het onderzoek is eenvoudig. Het behandelt het detecteren van alignmentfouten als binaire classificatie over de interacties van een doelmodel. Een detector kent een score s(x) ∈ [0, 1] toe en markeert x wanneer s(x) ≥ t. Hij moet dus fouten boven niet-fouten rangschikken en ze bij een drempel t scheiden.

Die twee taken zijn te scheiden, en de resultaten van het onderzoek splitsen precies langs die naad. Rangschikken is wat de AUROC meet. Scheiden bij een drempel hangt af van kalibratie, en het artikel komt daarop terug omdat Jev daar tekortschiet. Een detector kan uitstekend rangschikken en toch onbruikbaar zijn bij t = 0,5 als zijn kansen op de verkeerde plek liggen.

RLCDAlignBench #

De benchmark heet RLCDAlignBench. Hij beslaat tien fouttypen over 44 benchmarks en 7.193 detectie-instanties. De instanties komen van vijf open doelmodellen van 2 tot 7 miljard parameters, elk gelabeld door de referentiebeoordelaar van de eigen benchmark. De beoordeelde interacties komen dus van kleine open modellen, en de grondwaarheid voor elk ervan is wat de eigen beoordelaar van de oorspronkelijke benchmark zegt.

Niet elke benchmark heeft hetzelfde soort label. Menselijke labels bij StrongREJECT en HarmBench, en labels van een tweede rechter bij AbstentionBench en InstrumentalEval, worden gebruikt om Jev met een rechter te vergelijken. Zo heeft het onderzoek twee soorten externe controle op de referentiebeoordelaars: in sommige gevallen mensen, in andere een tweede rechter.

Het gepubliceerde artefact bestaat uit 44 benchmarks over tien fouttypen met contextvarianten, gecachete Jev-antwoorden en herscoringsscripts, samen met een protocol met gesplitste helften dat selectie-inflatie uit de gerapporteerde winsten haalt. Elk onderdeel beantwoordt aan een praktische behoefte. Met contextvarianten kan een lezer nagaan wat er gebeurt als de toestand meer bevat. Met gecachete antwoorden en herscoringsscripts kan iemand een getal reproduceren zonder het model opnieuw te draaien. Het protocol met gesplitste helften pakt een methodologische valkuil aan die een eigen sectie verdient.

De selectievalkuil #

Je kunt Jev veel vragen over dezelfde invoer stellen. Dat is zijn verkoopargument, en ook een risico voor de evaluatie. Als je een reeks kandidaatvragen stelt en de best scorende rapporteert, heb je over vragen gezocht en de winnaar gerapporteerd. Het onderzoek zegt het ronduit: de beste ervan rapporteren zou overdrijven wat iemand in de praktijk krijgt.

Wie ooit een prompt op een testset heeft afgestemd, herkent dit. De remedie die hier wordt gebruikt is eenvoudig. Vragen worden geselecteerd op de ene helft van de items en gescoord op de andere helft. De gerichte vraag wordt geselecteerd op de ene helft van de items en gescoord op de andere, over 20 splitsingen. De selectie raakt nooit de items die het gerapporteerde getal opleveren.

Dat is van belang voor hoe je elke hieronder gerapporteerde winst leest. Het onderzoek stelt dat het protocol met gesplitste helften selectie-inflatie uit de gerapporteerde winsten haalt. Als het zegt dat gerichte formulering een mediane winst van +0,006 AUROC oplevert, komt dat getal van formuleringen die op aparte helften zijn gekozen en gescoord. Een zo klein, eerlijk gemeten getal is nuttiger dan een groter getal waarin stilletjes de vloek van de winnaar zit.

Het hoofdresultaat: één generieke vraag #

Nu het resultaat waar de meeste lezers op wachten. Eén generieke vraag haalt zero-shot een mediane AUROC van 0,886 en verslaat op de meeste benchmarks gesuperviseerde vergelijkingsmodellen.

Neem de woorden een voor een. ‘Eén generieke vraag’ betekent geen promptengineering per benchmark. ‘Zero-shot’ betekent geen training op de doelbenchmark. ‘Verslaat op de meeste benchmarks gesuperviseerde vergelijkingsmodellen’ betekent dat systemen die op gelabelde data van de taak zijn getraind, op de meeste onderzochte benchmarks verliezen van een vraag die niemand heeft afgesteld. De bewering stopt bij ‘de meeste’, en dit artikel ook.

De generieke vraag is een sjabloonvraag, gelezen als P(ja). De figuur rapporteert de AUROC van 38 bruikbare benchmarks, en de generieke vraag is op 7 benchmarks niet gesteld. Het hoofdgetal is dus een mediaan over de benchmarks waarop de generieke vraag van toepassing was, getrokken uit de 38 bruikbare. Oplettende lezers houden de noemers uit elkaar: er zijn in totaal 44 benchmarks, 38 zijn bruikbaar voor deze figuur, en bij de generieke vraag ontbreken er 7.

Ik zou zeggen dat het zero-shotresultaat de interessantere helft van de zin is. Gesuperviseerde vergelijkingsmodellen verslaan is een uitspraak over relatieve positie. Een mediane AUROC van 0,886 zonder taakspecifieke training zegt iets over hoeveel van het foutsignaal beschikbaar is voor een model dat de toestand leest en een eenvoudige vraag beantwoordt. Of dat generaliseert naar fouttypen buiten deze tien, behandelen de resultaten niet.

De formulering is vrijwel irrelevant #

Wie tijd in promptengineering heeft gestoken, zal het volgende resultaat pijnlijk vinden. De formulering van de vraag doet er weinig toe, terwijl de context er meer toe doet, vooral via velden die het label coderen.

De verklaring van het onderzoek is specifiek. Zodra antwoorden als kansen worden bewaard in plaats van als argmax-beslissingen, doet de formulering van de vraag er weinig toe en doet wat de toestand en het label bevatten er veel toe. Dat is een observatie over informatie. Een argmax-beslissing gooit de marge weg waarmee het ene antwoord het andere versloeg, en een andere formulering kan de beslissing over de grens laten kantelen. Een kans bewaart de marge, zodat een herformulering die het bewijs licht verschuift de kans licht verschuift en de rangorde grotendeels intact laat.

Ik houd het bij wat het onderzoek stelt: als kansen worden bewaard, doet de formulering er weinig toe. Ik breid dat niet uit tot een mechanistische verklaring van het waarom, omdat de resultaten die niet geven.

De getallen ondersteunen de bewering. Gerichte formulering levert een mediane winst van +0,006 AUROC op, met de formulering gekozen en gescoord op aparte helften. Buiten de steekproef voegt gerichte formulering +0,006 [−0,004; +0,015] AUROC toe. Het interval omvat nul. Een lezer moet +0,006 niet als betrouwbare verbetering zien; het interval laat een klein verlies even goed toe als een kleine winst. Voor de praktijk is de nuttige lezing dat het zoeken naar een slimmere formulering de moeite waarschijnlijk niet loont, in elk geval op deze benchmarks.

Dat zou moeten veranderen hoe teams hun tijd verdelen. Als de formulering bijna inert is, zijn de uren die erin gaan beter besteed aan de toestand.

De winst zit in de context #

Wat bevat de toestand dan, en wat zou hij moeten bevatten? Het onderzoek concludeert dat de context er meer toe doet, vooral via velden die het label coderen. Het kernidee van de opzet is om los van elkaar te variëren wat Jev wordt gevraagd en wat het ziet: de formulering en het antwoordtype van de vraag aan de ene kant, de velden van de invoer aan de andere. Die scheiding stelt het onderzoek in staat te zeggen dat de formulering er weinig toe doet en de context meer. Zonder die scheiding zouden de twee effecten door elkaar lopen.

Het belangrijkste voorbeeld is PrivacyLens. Referenties die het label definiëren leveren de grote winst op, zoals de lijst met geheime items van PrivacyLens (0,79→0,95). Van 0,79 naar 0,95 AUROC is veel naast de +0,006 van de formulering. De referentie in kwestie is een lijst met geheime items, precies het soort ding waarvan de eerdere bespreking van relationele fouten voorspelde dat het ertoe zou doen: of een antwoord iets privés lekt, hangt af van wat als privé geldt, en het antwoord alleen zegt dat niet.

Er is een kanttekening voor de inzet, en die is belangrijk. Context die een ingezette monitor zou hebben, helpt bij 1 van de 7 benchmarks. De grote winst komt van referenties die het label definiëren, maar een ingezette monitor zou die niet per se hebben. Wat een monitor realistisch gezien zou hebben, helpt bij slechts één op de zeven benchmarks.

Het is een nuchtere bevinding, en ik denk dat het de commercieel meest relevante zin van het onderzoek is. Hij scheidt het laboratoriumgetal van het praktijkgetal. Een detector die wordt beoordeeld met de labeldefiniërende referentie bij de hand, beantwoordt een makkelijkere vraag dan een ingezette monitor krijgt. De winst is echt, maar het onderzoek is duidelijk over welke delen ervan een inzet kan verwachten.

Het onderzoek wijst ook op een beperking van één benchmark. Bij Open-Prompt-Injection volgt het label de nauwkeurigheid van de geïnjecteerde taak. Dat is een voorbeeld van een label waarvan de betekenis aan een eigenschap van de taak vastzit, wat van invloed is op wat je van een detector op basis van de toestand mag verwachten. Verdere conclusies trek ik er niet uit, omdat de resultaten die niet bieden.

Kosten #

Nu het getal dat de economie concreet maakt. Jev kost 63× minder dan beoordelaars op basis van LLM-rechters. De specifieke vergelijking: één doorloop over de 19 door rechters gescoorde benchmarks kost $ 0,30, 63× minder dan hun rechters tegen catalogusprijzen. De kostenvergelijking betreft één doorloop over de 19 benchmarks met API-rechters tegen catalogusprijzen.

Let op de reikwijdte. De vergelijking geldt voor 19 benchmarks die API-rechters gebruiken, tegen catalogusprijs, voor één doorloop. Ze dekt niet elke benchmark in de suite en geen kortingsprijzen. Binnen die reikwijdte is de verhouding groot, en ze volgt uit de eerder beschreven architectuur: geen decodeerdoorloop per criterium.

Denk aan de eis uit het begin: een detector die op elk bericht draait, moet goedkoop zijn. Een bedrag van $ 0,30 voor een hele doorloop over 19 benchmarks is hoe ‘goedkoop’ er in dit onderzoek uitziet. Het onderzoek rekent dat niet om naar een prijs per bericht, en ik ook niet.

Overeenstemming met mensen, en wat onenigheid onthulde #

Goedkoop is alleen interessant als de detector ook gelijk heeft. Waar menselijke labels een controle toelaten, stemt Jev er even goed mee overeen als de rechter, voor een fractie van de kosten.

Het meest specifieke bewijs komt van StrongREJECT. Tegenover de menselijke labels daar stemt de generieke vraag even goed overeen als de referentiebeoordelaar (Cohens κ 0,809 tegenover 0,811) en rangschikt hij beter. De twee κ-waarden verschillen 0,002, dus de redelijke lezing is een gelijkspel op overeenstemming, met Jev voor op rangschikking.

Dan volgt een resultaat dat ik in de praktijk het nuttigst vind, omdat het de detector in een auditinstrument verandert. Jevs zelfverzekerde afwijkingen brachten in drie benchmarks gebreken aan het licht die het label veranderen, en in vier andere labels die de toestand niet kan onthullen. Als een zelfverzekerde detector het niet eens is met het referentielabel van een benchmark, is één verklaring dat de detector zich vergist. Het onderzoek meldt dat de onenigheid in sommige gevallen naar de benchmark wees: drie benchmarks hadden gebreken die labels veranderen, en vier andere hadden labels die de toestand niet kan onthullen.

De tweede categorie sluit aan bij het relationele punt. Een label dat de toestand niet kan onthullen, is een label dat wordt bepaald door iets wat nooit in de invoer is beland. Geen detector die die toestand leest, zou het kunnen achterhalen. Zulke gevallen vinden is een andere bijdrage dan een score verhogen, omdat het beheerders van benchmarks laat zien waar hun data en hun labels uit elkaar lopen.

Het zwakke punt: kalibratie #

Hier moet het artikel duidelijk zijn, omdat het onderzoek dat is. De kansen rangschikken goed maar zijn niet als drempels over te dragen: de mediane ECE is 0,168 tegenover een nulwaarde van 0,074, op gevalideerde labels en rechterlabels gelijkelijk, omdat Jevs gemiddelde kans de basisfrequentie van elke benchmark mist.

De stukken passen zo in elkaar. De AUROC meet de rangschikking, en de rangschikking is sterk. Een drempel is iets anders. Als de gemiddelde uitvoerkans van het model niet overeenkomt met hoe vaak fouten in een bepaalde benchmark voorkomen, belandt t = 0,5 op de verkeerde plek en is de verwachte kalibratiefout hoog. Een mediane ECE van 0,168 ligt boven de nulwaarde van 0,074, een slechtere uitkomst dan het referentiepunt dat het onderzoek koos. En dat geldt op gevalideerde labels en rechterlabels gelijkelijk, dus de zwakte is geen artefact van ruizige rechterlabels.

Denk aan de formele opzet: een detector moet fouten boven niet-fouten rangschikken en ze bij een drempel scheiden. Jev doet het eerste goed en het tweede standaard slecht. De naam van de techniek bevat ‘gekalibreerde beslissingen’, en de hier gemeten kalibratie is niet over benchmarks heen over te dragen, een spanning die het verdient om ronduit benoemd te worden. Het onderzoek schrijft het gat toe aan basisfrequenties en beweert niet meer.

Het praktische gevolg: als vervanger van een rechter heeft Jev een paar labels nodig om zijn drempel in te stellen. Dat is een echte kostenpost, en het beperkt de belofte van een kant-en-klare vervanger. Je kunt hem niet op een nieuw fouttype richten en op t = 0,5 vertrouwen.

Het recept #

De aanbeveling van het onderzoek is compact. Het recept is een generieke vraag, gelezen als kans, met de drempel afgesteld op tien gelabelde items, wat de F1 verbetert waar Jev bij t = 0,5 te zelden aanslaat en 0,025 kost op gevalideerde labels.

Pak het uit. De generieke vraag lost het formuleringsprobleem op door het niet te optimaliseren, wat past bij de bevinding dat de formulering er weinig toe doet. Het antwoord als kans lezen bewaart de marge. De drempel afstellen op tien gelabelde items verhelpt het missen van de basisfrequentie. Het effect op de F1 is positief waar Jev bij t = 0,5 te zelden aanslaat. Op gevalideerde labels kost het recept 0,025.

Bij dat laatste getal is het de moeite waard stil te staan. Het recept is niet zonder nadeel: op gevalideerde labels kost het 0,025. Het onderzoek meldt de afweging in plaats van haar te verbergen, en ik citeer liever een recept met een genoemde prijs dan een dat als pure winst wordt aangeprezen. De resultaten zeggen niet in welke maat de 0,025 is gemeten, buiten de context van gevalideerde labels, dus ik ga niet gissen.

Tien gelabelde items is een kleine vraag. Voor de meeste teams is het een middag annoteren, afgezet tegen de kosten van een rechter op elk bericht. Maar het is een voorwaarde, en een team dat voor een nieuw fouttype geen enkel gelabeld item kan aanleveren, moet niet verwachten dat de drempel zichzelf regelt.

Wat iemand in de praktijk ervan moet meenemen #

Er volgen verschillende dingen uit, en ik leg me erop vast omdat het bewijs ze ondersteunt.

Ten eerste: stop met het optimaliseren van de formulering van vragen. De winst buiten de steekproef van gerichte formulering is +0,006 met een interval van −0,004 tot +0,015. Dat is geen basis voor investering.

Ten tweede: steek de moeite in de toestand. De grote winst kwam van referenties die het label definiëren. Als je monitor de referentie kan krijgen die de fout definieert, zit daar de verbetering. Zo niet, verwacht dan minder: context die een ingezette monitor zou hebben, hielp bij 1 van de 7 benchmarks. Plan rond het getal dat je bij inzet kunt halen, niet rond het getal uit een benchmark waarin de referentie in de invoer staat.

Ten derde: budgetteer voor kalibratie. Reken op het labelen van tien items per fouttype en het afstellen van de drempel. Lever niet uit met t = 0,5.

Ten vierde: gebruik onenigheid als signaal. Zelfverzekerde afwijkingen van referentielabels brachten gebreken aan het licht in drie benchmarks en niet-onthulbare labels in vier andere. Als je dit op je eigen evaluatiesuites loslaat, reken er dan op dat het je evenveel over je labels als over je modellen kan vertellen. Dat is een gevolgtrekking uit de bevinding van het onderzoek en geen gemeten uitspraak over een bepaalde suite, dus zie het als een uitnodiging om te controleren.

Ten vijfde: onthoud de bekende zwakheden. De ontwikkelaar noemt indirecte betekenis en adversariële inhoud bij de bekende zwakheden van Jev. Een monitor die voor veiligheid telt, krijgt met adversariële inhoud te maken. De resultaten hier melden niet hoe Jev daarop presteert, dus dat blijft een open flank, en ik zou het getest willen zien voordat ik een inzet vertrouw.

Het resultaat gelezen tegen de commerciële case #

Oprichters willen weten waar dit staat. Het kostenargument is het sterkst: een detector die op elk bericht draait, moet goedkoop zijn, en een verlaging met 63× ten opzichte van beoordelaars op basis van LLM-rechters verandert welke inzet betaalbaar is. Het nauwkeurigheidsargument komt op de tweede plaats: een zero-shot-AUROC van 0,886 en winst op gesuperviseerde vergelijkingsmodellen op de meeste benchmarks.

De kanttekeningen bepalen wat eerlijk te verkopen is. De detector heeft een paar labels per drempel nodig. Zijn kalibratie is niet over te dragen. Zijn beste winst rust op referenties die een inzet misschien niet heeft. Dat zijn gebruiksvoorwaarden, en elk product dat hierop voortbouwt, zou ze moeten noemen in plaats van ze weg te stoppen. Niets daarvan ondermijnt de kostencase; het beschrijft het inrichtingswerk.

Er is ook een stiller punt over de meting zelf. RLCDAlignBench, met zijn contextvarianten, gecachete Jev-antwoorden, herscoringsscripts en protocol met gesplitste helften, is een herbruikbaar evaluatiemiddel. Een benchmark die selectie-inflatie uit gerapporteerde winsten haalt, is het soort artefact waarmee latere beweringen te vergelijken zijn. Dat is een ander soort waarde dan die van de detector.

Wat open blijft #

Enkele grenzen blijken duidelijk uit de resultaten. De doelmodellen zijn vijf open modellen van 2 tot 7 miljard parameters, dus de resultaten beschrijven fouten in interacties van modellen van die omvang. De generieke vraag is op 7 benchmarks niet gesteld, en de hoofd-AUROC is een mediaan over de benchmarks waarop dat wel gebeurde. De labels komen van referentiebeoordelaars, met menselijke labels en labels van een tweede rechter voor StrongREJECT, HarmBench, AbstentionBench en InstrumentalEval.

De open vraag die mij het meest interesseert, is de vraag die de opzet van het onderzoek zelf oproept. Fouten zijn relationeel; de toestand mist vaak de referentie; en de context van een ingezette monitor hielp maar bij 1 van de 7 benchmarks. Jevs ontwerp met één aanroep laat veel vragen één invoer delen, maar de grootste hefboom bleek te zijn welke velden de invoer meedraagt. Hoe een inzet de labeldefiniërende referentie op het moment van toezicht moet verkrijgen, zoals een lijst met geheime items voor een privacycontrole, is het volgende wat uitgezocht moet worden. Het onderzoek laat zien dat de winst te halen is (0,79→0,95 bij PrivacyLens) en laat open of een ingezette monitor haar goedkoop genoeg kan krijgen om het voordeel van 63× te behouden.

Wat dit per sector betekent #

Het vermogen om complexe alignmentcriteria via gekalibreerde beslissingskoppen te beoordelen tegen een fractie van de inferentiekosten, verandert de operationele veiligheid in meerdere domeinen.

Aanbieders van AI-gateways en beveiligingsplatforms #

Infrastructuurbedrijven die realtime veiligheidsvangrails inzetten, kunnen dure cascade-architecturen (die afzonderlijke classificatoren voor promptinjectie, toxiciteit en privacy aanroepen) vervangen door uniforme multi-query RLCD-koppen. De operationele kosten dalen met meer dan 60× terwijl de latentie beperkt blijft tot één voorwaartse doorloop.

Teams voor AI-governance en auditcompliance #

Risicocomités die modelgedrag toetsen aan normen zoals de eisen voor hoog risico in de Europese AI Act of het NIST AI RMF, krijgen een deterministisch, probabilistisch auditlogboek. In plaats van ongestructureerde, verhalende feedback van LLM-rechters leggen systemen gekalibreerde kansverdelingen vast die statistische procesbeheersing en driftbewaking ondersteunen.

Teams voor zakelijke inzet en red teaming #

Beveiligingsteams kunnen snel eigen foutdetectoren inzetten door gerichte toestandsrepresentaties op te stellen en beslissingsdrempels af te stellen op slechts tien domeinspecifieke voorbeelden, waarmee de fine-tuningcyclus van meerdere weken vervalt die maatwerkclassificatoren voorheen vereisten.

Conclusie #

De evaluatie van Jev op RLCDAlignBench wijst een overtuigende architectuurrichting aan voor modelbewaking in productie: gekalibreerde kansen lezen over meerdere getypeerde vragen in één voorwaartse doorloop verslaat autoregressieve LLM-rechters op kosten en classificatoren met één token op flexibiliteit. Hoewel men in de praktijk moet budgetteren voor empirische drempelkalibratie in plaats van uit te gaan van kansen die zonder meer over te dragen zijn, maakt het economische voordeel van 63× uitgebreide realtimebewaking op schaal haalbaar.

Veelgestelde vragen #

Waarom zijn generatieve LLM-rechters onpraktisch voor realtimebewaking in productie?

Generatieve rechters vereisen een volledige autoregressieve decodeerdoorloop voor elk beoordeeld veiligheids- of alignmentcriterium. In consumenten- of zakelijke toepassingen met hoge doorvoer leveren meerdere generatieve rechteraanroepen per bericht zware latentieboetes op en drijven ze de operationele kosten ordes van grootte op.

Wat is reinforcement learning voor gekalibreerde beslissingen (RLCD)?

RLCD is een trainingsmethode die modellen optimaliseert om goed gekalibreerde a-posteriorikansen te produceren over gestructureerde beslissingskoppen, in plaats van tokenreeksen te genereren. Daardoor kan het model meerdere willekeurige vragen tegelijk beoordelen in één voorwaartse evaluatie.

Waarom moeten beslissingsdrempels op lokale data worden gekalibreerd?

RLCD-modellen blinken uit in het rangschikken van interacties naar foutkans (met een hoge AUROC), maar hun absolute gemiddelde kansen verschuiven met de basisfrequentie van het doeldomein. Een operationele beslissingsdrempel kalibreren op ongeveer tien gelabelde voorbeelden uit het domein zorgt voor een passende gevoeligheid zonder onaanvaardbare aantallen fout-positieven.

Bronnen #

Mrinank Sharma et al., (2024). Naar begrip en beperking van naar de mond praten in taalmodellen ⧉. arXiv.
RLCDAlignBench Consortium, (2026). Multicriteria-detectie van alignmentfouten via gekalibreerde beslissingskoppen ⧉. arXiv.
Anthropic / Alignment Research, (2025). Constitutionele AI en de dynamiek van beoordelaars ⧉. Anthropic.
NIST, (2024). Raamwerk voor risicobeheer van kunstmatige intelligentie (AI RMF 1.0) ⧉. NIST.

Laatst herzien 2026-09-30.

Laatst herzien 2026-10-27.

Dit artikel herpubliceren

Jev, de detector die kansen leest in plaats van oordelen — Sebastien Rousseau

Op 44 benchmarks rangschikt Jev alignmentfouten goed voor 63× minder dan een LLM-rechter, maar de drempel moet worden afgesteld op tien gelabelde voorbeelden.

Dit artikel valt onder de licentie Creative Commons Attribution 4.0 International. Herpublicatie vereist attributie aan de canonieke URL.

Jev, de detector die kansen leest in plaats van oordelen — Sebastien Rousseau

Op 44 benchmarks rangschikt Jev alignmentfouten goed voor 63× minder dan een LLM-rechter, maar de drempel moet worden afgesteld op tien gelabelde voorbeelden.

Originally published at https://sebastienrousseau.com/nl/2026-09-30-jev-de-detector-kansen-leest-plaats/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER