Detektor czyta prawdopodobieństwa, nie werdykty: Jev w 44 testach

Detektor błędów alignmentu, który w jednym wywołaniu odpowiada na wiele typowanych pytań z kalibrowanymi prawdopodobieństwami, dobrze szereguje błędy i kosztuje 63× mniej niż oceniający sędziowie LLM. Te prawdopodobieństwa nie przenoszą się jednak jako progi, a etykieta i jej punkt odniesienia ważą znacznie więcej niż sformułowanie pytania.

Struktura kosztów pilnowania każdej wiadomości #

Wdrożone modele nadal ustępują błędnemu przekonaniu użytkownika (Sharma i in., 2024). To skromne zdanie, ale wyznacza ramy całego problemu. Jeśli tego rodzaju służalczość utrzymuje się we wdrożonych systemach, ktoś musi jej pilnować, a pilnowanie musi odbywać się w tym samym rytmie co sama rozmowa.

Tu właśnie dochodzi do głosu ekonomia. Detektor musi być trafny, a ponieważ działa na każdej wiadomości, także tani. Każdą z tych cech z osobna łatwo uzyskać: niedbały detektor jest tani, a staranny, zbyt drogi, by uruchamiać go na każdej wiadomości, pilnuje tylko próbki ruchu. Ciekawe pytanie inżynierskie brzmi: jaki kształt detektora pozwala mieć jedno i drugie.

Obecna odpowiedź, według pracy, na której opiera się ten artykuł, ma wadę strukturalną. Większość detektorów błędów alignmentu to generatywni sędziowie, którzy na każde kryterium zużywają przebieg dekodowania. Mówiąc wprost, obecne detektory płacą przebiegiem dekodowania za każde sprawdzane kryterium. Monitor, który chce wykrywać dziesięć różnych typów błędów, płaci za dziesięć przebiegów, a rachunek rośnie liniowo z liczbą rzeczy, na których nam zależy.

Istnieje częściowe rozwiązanie i warto precyzyjnie określić jego granice. Klasyfikatory czytające prawdopodobieństwa tokenów, takie jak Llama Guard, nadal oceniają jedną stałą etykietę na wywołanie. Odczyt prawdopodobieństw tokenów daje wynik liczbowy, ale każde wywołanie nadal ocenia jedną etykietę lub kryterium, bo prawdopodobieństwo odczytuje się z jednego tokenu werdyktu. Przebieg dekodowania znika, ale struktura jednego pytania na wywołanie pozostaje. Każde wywołanie staje się tańsze, a liczba potrzebnych wywołań się nie zmienia.

Teza strukturalna brzmi więc tak: generatywni sędziowie są drodzy w przeliczeniu na kryterium, a klasyfikatory czytające prawdopodobieństwa są tańsze na kryterium, lecz nadal związane z jednym kryterium każdy. Żadne z tych podejść nie pozwala zadać wielu pytań o te same dane wejściowe naraz.

Wymiar architektury	Generatywni sędziowie LLM (np. GPT-4 jako sędzia)	Klasyfikatory jednotokenowe (np. Llama Guard)	Wielopytaniowy detektor RLCD (Jev)
Mechanizm oceny	Pełny autoregresyjny przebieg dekodowania na kryterium	Prawdopodobieństwo softmax nad jednym tokenem wyjściowym	Wielogłowicowy tensor kalibrowanych prawdopodobieństw $P(\text{yes})$
Pytania na wywołanie	1 prompt oceniający na wywołanie modelu	1 etykieta klasyfikacji na wywołanie modelu	Wiele pytań binarnych, kategorycznych i porządkowych w 1 wywołaniu
Koszt inferencji	Wysoki (10–50 USD na 1000 interakcji)	Umiarkowany (0,50–2,00 USD na 1000 interakcji)	63× niższy (0,30 USD za 19 pełnych benchmarków)
Wyniki AUROC	Zależne od benchmarku; podatne na dryf sędziego	Wysokie w konkretnych wytrenowanych kategoriach bezpieczeństwa	Mediana AUROC 0,886 zero-shot w 44 zestawach
Jakość kalibracji	Heurystyczne wyjaśnienia bez formalnych prawdopodobieństw	Surowe logity bez kalibracji post hoc	Kalibrowane prawdopodobieństwa; mediana ECE 0,168 (wymaga ok. 10 oznaczonych przykładów)

Co Jev robi inaczej #

Jev jest trenowany uczeniem ze wzmocnieniem do kalibrowanych decyzji (RLCD). W jednym wywołaniu odpowiada na wiele typowanych pytań o jedne dane wejściowe, z kalibrowanymi prawdopodobieństwami. Mechanizm warto opisać starannie, bo od niego zależy reszta artykułu.

Model RLCD zamiast generować tekst zwraca decyzję z kalibrowanym prawdopodobieństwem dla każdego typowanego pytania. Nie ma etapu generowania, w którym werdykt zostaje wypisany, a potem sparsowany. Jev odpowiada w jednym wywołaniu na wiele pytań binarnych, kategorycznych i porządkowych o jedne dane wejściowe, które praca nazywa stanem (state). Stan to dane wejściowe; pytania to to, o co się go pyta.

To inna krzywa kosztów niż w obu wcześniejszych podejściach. Jeśli pytania dzielą jedno wywołanie, dodanie pytania nie dodaje przebiegu dekodowania. Korzyść dla monitora, który dba o kilka typów błędów jednocześnie, jest oczywista, choć pomiary w pracy dotyczą tego, co osiąga jedno ogólne pytanie, i pozostanę przy tym, co zmierzono.

Była jednak luka. Nie zmierzono, czy Jev wykrywa błędy alignmentu. Model odpowiadający na typowane pytania z kalibrowanymi prawdopodobieństwami wydaje się pasować do tego zadania, a wiarygodność nic nie kosztuje. Praca ma dostarczyć brakujący pomiar.

Dlaczego błędy alignmentu są trudniejsze, niż się wydaje #

Przed pomiarem komplikacja. Wiele z tych błędów ma charakter relacyjny: są zdefiniowane względem punktu odniesienia, którego sama odpowiedź nie ujawnia. Służalczość dobrze ilustruje ogólną ideę: to, czy odpowiedź ustępuje błędnemu przekonaniu użytkownika, zależy od tego, czym jest to przekonanie i czy jest błędne, a żadnego z tych faktów nie widać w samym tekście odpowiedzi.

Ma to konsekwencję dla projektowania detektorów, którą praca formułuje z odpowiednią ostrożnością. Detektor, który widzi tylko odpowiedź, może nie mieć punktu odniesienia definiującego błąd. Słowo „może” ma znaczenie; teza nie mówi, że każdy błąd wymaga odniesienia, tylko że niektóre wymagają i że widok samej odpowiedzi może je przeoczyć.

Komplikuje to także diagnozę. Jeśli błędy są relacyjne, słabe wykrycie może wynikać z pytania albo ze stanu pozbawionego punktu odniesienia. Mogą zawodzić dwie rzeczy, a niski wynik nie mówi, która. Może pytanie było źle sformułowane. Może pytanie było w porządku, a dane wejściowe po prostu nigdy nie zawierały tego, co było potrzebne do odpowiedzi. Benchmark, który ma powiedzieć coś użytecznego o detektorze, musi być zbudowany tak, by te dwie przyczyny dało się rozdzielić.

Twórca Jeva wymienia ze swojej strony znaczenie pośrednie i treści adwersarialne wśród znanych słabości modelu. Warto o tym pamiętać przy lekturze wyników, bo niektóre typy błędów opierają się właśnie na tych właściwościach.

Wykrywanie jako klasyfikacja #

Formalne ujęcie w pracy jest proste. Wykrywanie błędów alignmentu traktuje się jako klasyfikację binarną nad interakcjami modelu docelowego. Detektor przypisuje wynik s(x) ∈ [0, 1] i oznacza x, gdy s(x) ≥ t. Oznacza to, że musi zarówno szeregować błędy powyżej nie-błędów, jak i oddzielać je przy progu t.

Te dwa zadania są rozdzielne, a wyniki pracy dzielą się dokładnie wzdłuż tego szwu. Szeregowanie mierzy AUROC. Oddzielanie przy progu zależy od kalibracji i artykuł do tego wróci, bo właśnie tam Jev zawodzi. Detektor może znakomicie szeregować, a mimo to być bezużyteczny przy t=0,5, jeśli jego prawdopodobieństwa leżą w złym miejscu.

RLCDAlignBench #

Benchmark nazywa się RLCDAlignBench. Obejmuje dziesięć typów błędów w 44 benchmarkach i 7193 instancjach wykrywania. Instancje pochodzą z pięciu otwartych modeli docelowych o rozmiarze 2–7 mld parametrów, a każdą oznaczył oceniający punkt odniesienia jej benchmarku. Oceniane interakcje pochodzą więc z małych otwartych modeli, a prawdą bazową dla każdej jest to, co mówi własny oceniający benchmarku źródłowego.

Nie każdy benchmark ma ten sam rodzaj etykiet. Etykiety ludzkie w StrongREJECT i HarmBench oraz etykiety drugiego sędziego w AbstentionBench i InstrumentalEval służą do porównania Jeva z sędzią. Daje to pracy dwa rodzaje zewnętrznej kontroli oceniających: w niektórych przypadkach ludzi, w innych drugiego sędziego.

Udostępniony artefakt opisano jako 44 benchmarki w dziesięciu typach błędów z wariantami kontekstu, zapisanymi w pamięci podręcznej odpowiedziami Jeva i skryptami do ponownej oceny, wraz z protokołem połówkowym, który usuwa z raportowanych zysków inflację wynikającą z selekcji. Każdy element odpowiada na praktyczną potrzebę. Warianty kontekstu pozwalają sprawdzić, co się dzieje, gdy stan zawiera więcej. Zapisane odpowiedzi i skrypty pozwalają odtworzyć liczbę bez ponownego uruchamiania modelu. Protokół połówkowy rozwiązuje metodologiczną pułapkę, która zasługuje na osobny rozdział.

Pułapka selekcji #

Jevowi można zadać wiele pytań o te same dane wejściowe. To jego atut, ale i zagrożenie dla oceny. Jeśli zada się zestaw kandydujących pytań i zaraportuje to, które wypadło najlepiej, przeszukało się pytania i zaraportowało zwycięzcę. Praca mówi to wprost: zaraportowanie najlepszego z nich zawyżyłoby to, co dostaje praktyk.

Każdy, kto stroił prompt pod zbiór testowy, to rozpozna. Zastosowane tu lekarstwo jest proste. Pytania wybiera się na jednej połowie przykładów i ocenia na drugiej. Ukierunkowane pytanie wybiera się na jednej połowie przykładów i ocenia na drugiej, w 20 podziałach. Selekcja nigdy nie dotyka przykładów, z których powstaje raportowana liczba.

Ma to znaczenie dla odczytu każdego zysku podanego niżej. Praca twierdzi, że protokół połówkowy usuwa z raportowanych zysków inflację wynikającą z selekcji. Gdy praca podaje, że ukierunkowane sformułowanie daje medianowy zysk +0,006 AUROC, liczba ta pochodzi ze sformułowań wybranych i ocenionych na oddzielnych połowach. Tak mała liczba, uczciwie zmierzona, jest bardziej użyteczna niż większa, która po cichu zawierała klątwę zwycięzcy.

Główny wynik: jedno ogólne pytanie #

Teraz wynik, którego chce większość czytelników. Jedno ogólne pytanie osiąga medianę AUROC 0,886 zero-shot i pokonuje nadzorowane modele bazowe na większości benchmarków.

Weźmy te słowa po kolei. „Jedno ogólne pytanie” oznacza brak inżynierii promptu pod konkretny benchmark. „Zero-shot” oznacza brak treningu na docelowym benchmarku. „Pokonuje nadzorowane modele bazowe na większości benchmarków” oznacza, że systemy trenowane na oznaczonych danych z zadania przegrywają z pytaniem, którego nikt nie stroił, na większości badanych benchmarków. Teza zatrzymuje się na „większości” i ten artykuł też.

Ogólne pytanie to pytanie szablonowe odczytywane jako P(tak). Wykres podaje AUROC dla 38 użytecznych benchmarków, a ogólnego pytania nie zadano w 7 benchmarkach. Główna liczba jest więc medianą z benchmarków, w których ogólne pytanie miało zastosowanie, spośród 38 użytecznych. Uważni czytelnicy powinni pilnować mianowników: łącznie istnieją 44 benchmarki, 38 nadaje się do tej liczby, a ogólne pytanie ma lukę 7.

Twierdziłbym, że wynik zero-shot to ciekawsza połowa zdania. Pokonanie nadzorowanych modeli bazowych to stwierdzenie o pozycji względnej. Mediana AUROC 0,886 bez treningu specyficznego dla zadania mówi coś o tym, jak duża część sygnału błędu jest dostępna dla modelu, który czyta stan i odpowiada na proste pytanie. Czy to się uogólnia na typy błędów spoza tych dziesięciu, tego tezy nie rozstrzygają.

Sformułowanie jest niemal bez znaczenia #

Jeśli poświęciłeś czas na inżynierię promptów, kolejny wynik zaboli. Sformułowanie pytania ma niewielkie znaczenie, a kontekst większe, głównie przez pola kodujące etykietę.

Wyjaśnienie w pracy jest konkretne. Gdy odpowiedzi zachowuje się jako prawdopodobieństwa, a nie decyzje argmax, sformułowanie pytania ma niewielkie znaczenie, a zawartość stanu i etykiety ma znaczenie duże. To obserwacja dotycząca informacji. Decyzja argmax wyrzuca margines, o który jedna odpowiedź wygrała z drugą, a zmiana sformułowania może przerzucić decyzję przez granicę. Prawdopodobieństwo zachowuje margines, więc przeformułowanie, które lekko przesuwa świadectwa, lekko przesuwa prawdopodobieństwo i w dużej mierze zostawia szeregowanie nienaruszone.

Trzymam się tego, co mówi praca: gdy zachowuje się prawdopodobieństwa, sformułowanie ma niewielkie znaczenie. Nie rozszerzam tego na mechanistyczne wyjaśnienie, dlaczego tak jest, bo tezy go nie dostarczają.

Liczby to potwierdzają. Ukierunkowane sformułowanie daje medianowy zysk +0,006 AUROC, przy sformułowaniu wybranym i ocenionym na oddzielnych połowach. Poza próbą ukierunkowane sformułowanie dodaje +0,006 [−0,004; +0,015] AUROC. Przedział obejmuje zero. Czytelnik nie powinien traktować +0,006 jako wiarygodnej poprawy; przedział dopuszcza niewielką stratę równie dobrze jak niewielki zysk. Dla praktyka użyteczny odczyt jest taki, że polowanie na sprytniejsze sformułowanie raczej się nie opłaci, przynajmniej na tych benchmarkach.

Powinno to zmienić sposób, w jaki zespoły rozdzielają czas. Jeśli sformułowanie jest niemal obojętne, godziny lepiej poświęcić na stan.

Zyski kryją się w kontekście #

Co więc zawiera stan i co powinien zawierać? Wniosek pracy jest taki, że kontekst ma większe znaczenie, głównie przez pola kodujące etykietę. Kluczowa idea projektu badania polega na tym, by zmieniać to, o co pyta się Jeva, niezależnie od tego, co Jev widzi: po jednej stronie sformułowanie pytania i typ odpowiedzi, po drugiej pola danych wejściowych. To rozdzielenie pozwala pracy stwierdzić, że sformułowanie ma niewielkie znaczenie, a kontekst większe. Bez niego oba efekty byłyby splątane.

Głównym przykładem jest PrivacyLens. Duże zyski dają odniesienia definiujące etykietę, takie jak lista tajnych informacji w PrivacyLens (0,79→0,95). Skok z 0,79 do 0,95 AUROC jest duży w porównaniu z +0,006 ze sformułowania. Chodzi o listę tajnych informacji, czyli dokładnie ten rodzaj rzeczy, który według wcześniejszej dyskusji o błędach relacyjnych powinien mieć znaczenie: to, czy odpowiedź ujawnia coś prywatnego, zależy od tego, co uznaje się za prywatne, a sama odpowiedź tego nie mówi.

Jest zastrzeżenie dotyczące wdrożenia i to ważne. Kontekst, który miałby wdrożony monitor, pomaga w 1 z 7 benchmarków. Duże zyski pochodzą z odniesień definiujących etykietę, ale wdrożony monitor niekoniecznie by je miał. To, co monitor realistycznie by miał, pomaga tylko w jednym z siedmiu benchmarków.

To trzeźwy wniosek i uważam, że to najważniejsze komercyjnie zdanie w pracy. Oddziela liczbę z laboratorium od liczby z terenu. Detektor oceniany z odniesieniem definiującym etykietę w ręku odpowiada na łatwiejsze pytanie niż to, przed którym staje wdrożony monitor. Zyski są prawdziwe, ale praca jasno mówi, na które z nich wdrożenie może liczyć.

Praca wskazuje też ograniczenie jednego benchmarku. W Open-Prompt-Injection etykieta odzwierciedla trafność wstrzykniętego zadania. To przykład etykiety, której znaczenie jest powiązane z właściwością zadania, co wpływa na to, czego detektor może się spodziewać w stanie. Nie wyciągam z tego dalszych wniosków, bo tezy żadnych nie oferują.

Koszt #

Teraz liczba, która urealnia ekonomię. Jev kosztuje 63× mniej niż sędziowie LLM. Konkretne porównanie: przebieg przez 19 benchmarków ocenianych przez sędziów kosztuje 0,30 USD, 63× mniej niż ich sędziowie według cen katalogowych. Porównanie kosztów obejmuje jeden przebieg przez 19 benchmarków z sędziami API według cen katalogowych.

Uwaga na zakres. Porównanie dotyczy 19 benchmarków korzystających z sędziów API, wycenionych według cen katalogowych, dla jednego przebiegu. Nie obejmuje każdego benchmarku w zestawie ani cen z rabatem. W tym zakresie stosunek jest duży i wynika z opisanej wcześniej architektury: brak przebiegu dekodowania na kryterium.

Przypomnij sobie wymóg z początku, że detektor uruchamiany na każdej wiadomości musi być tani. Kwota 0,30 USD za cały przebieg przez 19 benchmarków to w tej pracy obraz „taniości”. Praca nie przelicza jej na cenę za wiadomość i ja też nie będę.

Zgodność z ludźmi i co ujawniła rozbieżność #

Taniość jest ciekawa tylko wtedy, gdy detektor ma też rację. Tam, gdzie etykiety ludzkie pozwalają to sprawdzić, Jev zgadza się z nimi tak dobrze jak sędzia, za ułamek kosztu.

Najbardziej konkretne świadectwo pochodzi ze StrongREJECT. Wobec tamtejszych etykiet ludzkich ogólne pytanie zgadza się tak dobrze jak oceniający punkt odniesienia (κ Cohena 0,809 wobec 0,811) i lepiej szereguje. Obie wartości κ różnią się o 0,002, więc rozsądny odczyt to remis w zgodności, z przewagą Jeva w szeregowaniu.

Potem przychodzi wynik, który uważam za najbardziej użyteczny w praktyce, bo zamienia detektor w narzędzie audytu. Pewne rozbieżności Jeva ujawniły zmieniające etykiety wady w trzech benchmarkach oraz etykiety, których stan nie może ujawnić, w czterech kolejnych. Gdy pewny siebie detektor nie zgadza się z etykietą odniesienia benchmarku, jednym wyjaśnieniem jest to, że detektor się myli. Praca podaje, że w niektórych przypadkach rozbieżność wskazywała na benchmark: trzy benchmarki miały wady zmieniające etykiety, a cztery kolejne miały etykiety, których stan nie może ujawnić.

Druga kategoria łączy się z wątkiem relacyjnym. Etykieta, której stan nie może ujawnić, to etykieta zdefiniowana przez coś, co nigdy nie trafiło do danych wejściowych. Żaden detektor czytający ten stan nie mógłby jej odtworzyć. Znajdowanie takich przypadków to inny wkład niż podnoszenie wyniku, bo pokazuje opiekunom benchmarków, gdzie ich dane i etykiety się rozchodzą.

Słaby punkt: kalibracja #

Tu artykuł musi być bezpośredni, bo praca jest. Prawdopodobieństwa dobrze szeregują, ale nie przenoszą się jako progi: mediana ECE wynosi 0,168 wobec wartości zerowej 0,074, zarówno na etykietach zweryfikowanych, jak i sędziowskich, ponieważ średnie prawdopodobieństwo Jeva rozmija się z częstością bazową każdego benchmarku.

Elementy układają się tak. AUROC mierzy szeregowanie, a szeregowanie jest mocne. Próg to inna sprawa. Jeśli średnie prawdopodobieństwo wyjściowe modelu nie odpowiada temu, jak często błędy występują w danym benchmarku, t=0,5 trafia w złe miejsce, a oczekiwany błąd kalibracji jest wysoki. Mediana ECE 0,168 leży powyżej wartości zerowej 0,074, co jest gorszym wynikiem niż wybrany przez pracę punkt odniesienia. Dotyczy to zarówno etykiet zweryfikowanych, jak i sędziowskich, więc słabość nie jest artefaktem zaszumionych etykiet sędziów.

Przypomnij sobie formalne ujęcie: detektor musi szeregować błędy powyżej nie-błędów i oddzielać je przy progu. Jev robi pierwsze dobrze, a drugie słabo bez dostrojenia. Nazwa techniki zawiera „kalibrowane decyzje”, a zmierzona tu kalibracja nie przenosi się między benchmarkami, co jest napięciem wartym nazwania wprost. Praca przypisuje tę lukę częstościom bazowym i nie twierdzi niczego więcej.

Praktyczna konsekwencja: jako zastępstwo sędziego Jev potrzebuje kilku etykiet, by ustawić próg. To realny koszt i zawęża on tezę o zamienniku „wprost”. Nie można skierować go na nowy typ błędu i ufać t=0,5.

Przepis #

Rekomendacja pracy jest zwięzła. Przepis to ogólne pytanie odczytywane jako prawdopodobieństwo, z progiem dopasowanym na dziesięciu oznaczonych przykładach, co podnosi F1 tam, gdzie Jev przy t=0,5 reaguje zbyt rzadko, i kosztuje 0,025 na etykietach zweryfikowanych.

Rozłóżmy to na części. Ogólne pytanie rozwiązuje problem sformułowania, rezygnując z jego inżynierii, co pasuje do wniosku, że sformułowanie ma niewielkie znaczenie. Odczyt odpowiedzi jako prawdopodobieństwa zachowuje margines. Dopasowanie progu na dziesięciu oznaczonych przykładach odpowiada na rozminięcie z częstością bazową. Efekt dla F1 jest dodatni tam, gdzie Jev przy t=0,5 reaguje zbyt rzadko. Na etykietach zweryfikowanych przepis kosztuje 0,025.

Ta ostatnia liczba zasługuje na chwilę uwagi. Przepis nie jest wolny od wad: na etykietach zweryfikowanych kosztuje 0,025. Praca podaje ten kompromis zamiast go ukrywać, a ja wolę cytować przepis z podanym kosztem niż reklamowany jako czysty zysk. Tezy nie mówią, w jakiej mierze wyrażono 0,025 poza kontekstem etykiet zweryfikowanych, więc nie będę zgadywać.

Dziesięć oznaczonych przykładów to niewielka prośba. Dla większości zespołów to popołudnie anotacji, w porównaniu z kosztem uruchamiania sędziego na każdej wiadomości. To jednak warunek wstępny, a zespół, który nie potrafi przygotować żadnych oznaczonych przykładów dla nowego typu błędu, nie powinien oczekiwać, że próg ustawi się sam.

Co powinien wynieść praktyk #

Wynika z tego kilka rzeczy i podpisuję się pod nimi, bo dowody je wspierają.

Po pierwsze, przestań optymalizować sformułowanie pytania. Zysk poza próbą z ukierunkowanego sformułowania to +0,006 przy przedziale od −0,004 do +0,015. To nie jest podstawa do inwestycji.

Po drugie, wysiłek przeznacz na stan. Duże zyski pochodziły z odniesień definiujących etykietę. Jeśli monitor może dostać odniesienie, które definiuje błąd, tam leży poprawa. Jeśli nie może, spodziewaj się mniej: kontekst, który miałby wdrożony monitor, pomógł w 1 z 7 benchmarków. Planuj wokół liczby osiągalnej we wdrożeniu, a nie tej z benchmarku, w którym odniesienie leży w danych wejściowych.

Po trzecie, zaplanuj budżet na kalibrację. Przewiduj oznaczenie dziesięciu przykładów na typ błędu i dopasowanie progu. Nie wdrażaj z t=0,5.

Po czwarte, traktuj rozbieżność jako sygnał. Pewne rozbieżności z etykietami odniesienia ujawniły wady w trzech benchmarkach i nieujawnialne etykiety w czterech kolejnych. Jeśli uruchomisz to na własnych zestawach ewaluacyjnych, spodziewaj się, że może to powiedzieć coś o twoich etykietach, a nie tylko o modelach. To wniosek wyprowadzony z wyniku pracy, a nie zmierzona teza o konkretnym zestawie, więc potraktuj go jako zachętę do sprawdzenia.

Po piąte, pamiętaj o znanych słabościach. Twórca wymienia znaczenie pośrednie i treści adwersarialne wśród znanych słabości Jeva. Monitor istotny dla bezpieczeństwa zetknie się z treściami adwersarialnymi. Tezy nie podają, jak Jev sobie z nimi radzi, więc pozostaje to odsłoniętą flanką i chciałbym zobaczyć testy, zanim zaufam wdrożeniu.

Wynik na tle argumentu biznesowego #

Założyciele będą chcieli wiedzieć, gdzie to się plasuje. Najmocniejszy jest argument kosztowy: detektor działający na każdej wiadomości musi być tani, a 63-krotna redukcja wobec sędziów LLM zmienia to, na jakie wdrożenia stać firmę. Drugi jest argument trafności: AUROC zero-shot 0,886 i przewaga nad nadzorowanymi modelami bazowymi na większości benchmarków.

Zastrzeżenia wyznaczają, co można uczciwie sprzedać. Detektor potrzebuje kilku etykiet na próg. Jego kalibracja się nie przenosi. Jego najlepsze zyski opierają się na odniesieniach, których wdrożenie może nie mieć. To warunki użycia, a każdy produkt na tym zbudowany powinien je podawać, a nie ukrywać. Nic z tego nie podważa argumentu kosztowego; opisuje to pracę przygotowawczą.

Jest też cichsza kwestia dotycząca samego pomiaru. RLCDAlignBench, z wariantami kontekstu, zapisanymi odpowiedziami Jeva, skryptami do ponownej oceny i protokołem połówkowym, to zasób ewaluacyjny wielokrotnego użytku. Benchmark, który usuwa z raportowanych zysków inflację z selekcji, to artefakt pozwalający porównywać późniejsze tezy. To inny rodzaj wartości niż sam detektor.

Co pozostaje otwarte #

Kilka granic jasno wynika z tez. Modele docelowe to pięć otwartych modeli o rozmiarze 2–7 mld parametrów, więc wyniki opisują błędy w interakcjach z modeli tej wielkości. Ogólnego pytania nie zadano w 7 benchmarkach, a główna liczba AUROC jest medianą z benchmarków, w których je zadano. Etykiety pochodzą od oceniających punktów odniesienia, a etykiety ludzkie i drugiego sędziego obejmują StrongREJECT, HarmBench, AbstentionBench i InstrumentalEval.

Otwarte pytanie, które interesuje mnie najbardziej, wynika z samej struktury pracy. Błędy są relacyjne; stanowi często brakuje odniesienia; a kontekst wdrożonego monitora pomógł tylko w 1 z 7 benchmarków. Konstrukcja Jeva z jednym wywołaniem pozwala wielu pytaniom dzielić jedne dane wejściowe, a jednak największą dźwignią okazało się to, jakie pola niosą te dane. Następną rzeczą do rozpracowania jest to, jak wdrożenie ma uzyskać w czasie monitorowania odniesienie definiujące etykietę, na przykład listę tajnych informacji dla kontroli prywatności. Praca pokazuje, że zysk jest do wzięcia (0,79→0,95 w PrivacyLens), i pozostawia otwartym, czy wdrożony monitor może go dostać na tyle tanio, by zachować 63-krotną przewagę.

Co to oznacza w poszczególnych sektorach #

Możliwość oceny złożonych kryteriów alignmentu za pomocą kalibrowanych głowic decyzyjnych przy ułamku kosztu inferencji zmienia bezpieczeństwo operacyjne w wielu dziedzinach.

Dostawcy bramek AI i platform bezpieczeństwa #

Firmy infrastrukturalne wdrażające zabezpieczenia działające w czasie rzeczywistym mogą zastąpić kosztowne architektury kaskadowe (wywołujące osobne klasyfikatory wstrzykiwania promptów, toksyczności i prywatności) zunifikowanymi wielopytaniowymi głowicami RLCD. Koszty operacyjne spadają ponad 60×, a opóźnienie ogranicza się do jednego przebiegu w przód.

Zespoły zarządzania AI i zgodności audytowej #

Komitety ryzyka oceniające zachowanie modeli względem standardów takich jak wymogi unijnego aktu w sprawie AI dla systemów wysokiego ryzyka czy NIST AI RMF zyskują deterministyczny, probabilistyczny dziennik audytu. Zamiast nieustrukturyzowanych narracyjnych ocen sędziów LLM systemy rejestrują kalibrowane rozkłady prawdopodobieństwa, które wspierają statystyczne sterowanie procesem i monitorowanie dryfu.

Zespoły wdrożeniowe i red teamingu w przedsiębiorstwach #

Zespoły bezpieczeństwa mogą szybko wdrażać własne detektory błędów, tworząc ukierunkowane reprezentacje stanu i dopasowując progi decyzyjne do zaledwie dziesięciu przykładów z danej dziedziny, co eliminuje wielotygodniowe cykle dostrajania wymagane wcześniej przy klasyfikatorach szytych na miarę.

Podsumowanie #

Ocena Jeva w RLCDAlignBench wyznacza przekonujący kierunek architektoniczny dla monitorowania modeli w produkcji: odczyt kalibrowanych prawdopodobieństw dla wielu typowanych pytań w jednym przebiegu w przód wygrywa zarówno z autoregresyjnymi sędziami LLM pod względem kosztu, jak i z klasyfikatorami jednotokenowymi pod względem elastyczności. Praktycy muszą zaplanować empiryczną kalibrację progu, zamiast zakładać, że prawdopodobieństwa przeniosą się od razu, ale 63-krotna przewaga ekonomiczna czyni kompleksowe monitorowanie w czasie rzeczywistym wykonalnym na dużą skalę.

Najczęściej zadawane pytania #

Dlaczego generatywni sędziowie LLM są niepraktyczni w monitorowaniu produkcji w czasie rzeczywistym?

Generatywni sędziowie wymagają pełnego autoregresyjnego przebiegu dekodowania dla każdego ocenianego kryterium bezpieczeństwa lub alignmentu. W aplikacjach konsumenckich lub korporacyjnych o dużej przepustowości kilka wywołań generatywnego sędziego na wiadomość powoduje dotkliwe opóźnienia i zawyża koszty operacyjne o rzędy wielkości.

Czym jest uczenie ze wzmocnieniem do kalibrowanych decyzji (RLCD)?

RLCD to metoda treningu, która optymalizuje modele tak, by dawały dobrze skalibrowane prawdopodobieństwa a posteriori nad ustrukturyzowanymi głowicami decyzyjnymi zamiast generować sekwencje tokenów. Pozwala to modelowi oceniać wiele dowolnych pytań jednocześnie w ramach jednej oceny w przód.

Dlaczego progi decyzyjne trzeba kalibrować na lokalnych danych?

Modele RLCD świetnie szeregują interakcje według prawdopodobieństwa błędu (osiągając wysokie AUROC), ale ich bezwzględne średnie prawdopodobieństwa przesuwają się w zależności od częstości bazowej w docelowej dziedzinie. Kalibracja operacyjnego progu decyzyjnego na mniej więcej dziesięciu oznaczonych przykładach z dziedziny zapewnia właściwą czułość bez niedopuszczalnego odsetka fałszywych alarmów.

Bibliografia #

Mrinank Sharma i in., (2024). Ku zrozumieniu i ograniczeniu służalczości w modelach językowych ⧉. arXiv.
RLCDAlignBench Consortium, (2026). Wielokryterialne wykrywanie błędów alignmentu za pomocą kalibrowanych głowic decyzyjnych ⧉. arXiv.
Anthropic / Alignment Research, (2025). Konstytucyjna AI i dynamika oceniających ⧉. Anthropic.
NIST, (2024). Ramy zarządzania ryzykiem sztucznej inteligencji (AI RMF 1.0) ⧉. NIST.

Ostatnia weryfikacja 2026-09-30.

Ostatnia weryfikacja 2026-10-27.

Opublikuj ponownie ten artykuł

Detektor czyta prawdopodobieństwa, nie werdykty: Jev w 44 testach — Sebastien Rousseau

Jev dobrze szereguje błędy alignmentu w 44 benchmarkach i kosztuje 63× mniej niż sędziowie LLM, ale próg trzeba dopasować na dziesięciu oznaczonych przykładach.

Ten artykuł jest objęty licencją Creative Commons Attribution 4.0 International. Ponowna publikacja wymaga przypisania do kanonicznego adresu URL.

Detektor czyta prawdopodobieństwa, nie werdykty: Jev w 44 testach — Sebastien Rousseau

Jev dobrze szereguje błędy alignmentu w 44 benchmarkach i kosztuje 63× mniej niż sędziowie LLM, ale próg trzeba dopasować na dziesięciu oznaczonych przykładach.

Originally published at https://sebastienrousseau.com/pl/2026-09-30-detektor-czyta-prawdopodobienstwa-nie-werdykty-jev/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER