Hüküm yazmak yerine olasılık okuyan dedektör: 44 kıyaslamada Jev

Hizalama hatalarını yakalayan bir dedektör, tek çağrıda birçok tipli soruyu kalibre edilmiş olasılıklarla yanıtlıyor, hataları iyi sıralıyor ve LLM yargıç puanlayıcılarından 63 kat ucuza mal oluyor. Ancak bu olasılıklar eşik olarak aktarılamıyor ve etiketle onun referansı, sorunun ifadesinden çok daha fazla önem taşıyor.

Her mesajı izlemenin maliyet yapısı #

Kullanıma alınmış modeller hâlâ kullanıcının yanlış inancına boyun eğiyor (Sharma et al., 2024). Bu mütevazı bir cümle, ama sorunun tamamını çerçeveliyor. Bu tür bir dalkavukluk kullanımdaki sistemlerde sürüyorsa, birinin onu izlemesi gerekir ve bu izleme konuşmanın kendisiyle aynı tempoda yapılmalıdır.

Ekonomi tam burada devreye giriyor. Bir dedektörün doğru olması ve her mesajda çalıştığı için ucuz olması gerekir. Bu özelliklerden yalnızca birini elde etmek kolaydır: özensiz bir dedektör ucuzdur, her mesajda çalıştırılamayacak kadar pahalı olan dikkatli bir dedektör ise trafiğin yalnızca bir örneğini izler. İlginç mühendislik sorusu, hangi biçimdeki bir dedektörün ikisini birden sağlayabileceğidir.

Bu yazının dayandığı makaleye göre mevcut yanıtın yapısal bir kusuru var. Hizalama hatası dedektörlerinin çoğu, her ölçüt için bir kod çözme geçişi harcayan üretken yargıçlardır. Açıkçası, mevcut dedektörler denetledikleri her ölçüt için bir kod çözme geçişinin bedelini ödüyor. On farklı hata türünü denetlemek isteyen bir izleyici on geçişin bedelini öder ve fatura, önemsediğiniz şeylerin sayısıyla doğrusal olarak büyür.

Kısmi bir çözüm var ve sınırlarını tam olarak belirtmek gerekiyor. Llama Guard gibi token olasılıklarını okuyan sınıflandırıcılar, hâlâ çağrı başına sabit bir etiket puanlıyor. Token olasılıklarını okumak bir puan verir, ancak olasılık tek bir hüküm tokenından okunduğu için her çağrı yine tek bir etiketi ya da ölçütü puanlar. Kod çözme geçişi ortadan kalkar, ama çağrı başına tek soru yapısı kalır. Her çağrıyı ucuzlatmış olursunuz, ama ihtiyaç duyduğunuz çağrı sayısı değişmez.

Yani yapısal iddia şöyle: üretken yargıçlar ölçüt başına pahalı, olasılık okuyan sınıflandırıcılar ise ölçüt başına daha ucuz ama her biri yine tek bir ölçüte bağlı. Hiçbiri aynı girdi hakkında aynı anda çok sayıda soru sormanıza izin vermiyor.

Mimari Boyut	Üretken LLM Yargıçlar (örn. yargıç olarak GPT-4)	Tek Tokenlı Sınıflandırıcılar (örn. Llama Guard)	Çok Sorgulu RLCD Dedektörü (Jev)
Puanlama Mekanizması	Her ölçüt için tam otoregresif kod çözme geçişi	Tek çıktı tokenı üzerinde softmax olasılığı	Çok başlı kalibre olasılık tensörü $P(\text{yes})$
Çağrı Başına Soru	Model çağrısı başına 1 değerlendirme istemi	Model çağrısı başına 1 sınıflandırma etiketi	1 çağrıda birden çok ikili/kategorik/sıralı soru
Çıkarım Maliyeti	Yüksek (1.000 etkileşim başına $10–$50)	Orta (1.000 etkileşim başına $0,50–$2,00)	63 kat daha düşük (19 tam kıyaslama için $0,30)
AUROC Performansı	Kıyaslamaya bağlı; yargıç kaymasına açık	Eğitilmiş belirli güvenlik kategorilerinde yüksek	44 sette sıfır atışta medyan AUROC 0,886
Kalibrasyon Kalitesi	Biçimsel olasılık içermeyen sezgisel açıklamalar	Sonradan kalibrasyonu olmayan kaba logitler	Kalibre olasılıklar; medyan ECE 0,168 (yaklaşık 10 etiketli örnek gerekir)

Jev'i farklı kılan ne #

Jev, kalibre edilmiş kararlar için pekiştirmeli öğrenmeyle (RLCD) eğitiliyor. Tek bir girdi hakkındaki birçok tipli soruyu tek çağrıda kalibre edilmiş olasılıklarla yanıtlıyor. Mekanizmayı dikkatle anlatmak gerekiyor, çünkü yazının geri kalanı ona dayanıyor.

Bir RLCD modeli, metin üretmek yerine her tipli soru için kalibre edilmiş bir olasılıkla birlikte bir karar döndürür. Bir hükmün yazılıp sonra ayrıştırıldığı bir üretim adımı yoktur. Jev, makalenin durum adını verdiği tek bir girdi hakkındaki birçok ikili, kategorik ve sıralı soruyu tek çağrıda yanıtlar. Durum girdidir; sorular da onun hakkında sorduğunuz şeylerdir.

Bu, yukarıdaki iki yaklaşımdan da farklı bir maliyet eğrisi demek. Sorular tek bir çağrıyı paylaşıyorsa, yeni bir soru eklemek bir kod çözme geçişi eklemez. Aynı anda birkaç hata türünü önemseyen bir izleyici için kazanç açık, ancak makalenin ölçümleri tek bir genel sorunun neye ulaştığıyla ilgili ve ben de ölçülenle sınırlı kalacağım.

Yine de bir boşluk vardı. Jev'in hizalama hatalarını yakalayıp yakalamadığı ölçülmemişti. Tipli soruları kalibre olasılıklarla yanıtlayan bir model bu iş için akla yatkın bir aday, ama akla yatkınlık ucuzdur. Makale eksik ölçümü sağlamaya girişiyor.

Hizalama hataları neden göründüğünden zor #

Ölçümden önce bir güçlük. Bu hataların çoğu ilişkiseldir; yanıtın tek başına ortaya koymadığı bir referansa göre tanımlanır. Dalkavukluk genel fikri iyi örnekler: bir yanıtın kullanıcının yanlış inancına boyun eğip eğmediği, inancın ne olduğuna ve yanlış olup olmadığına bağlıdır ve bu iki olgudan hiçbiri yanıt metninde tek başına görünmez.

Bunun dedektör tasarımı için makalenin uygun bir ihtiyatla dile getirdiği bir sonucu var. Yalnızca yanıtı gören bir dedektörde hatayı tanımlayan referans eksik olabilir. Buradaki “olabilir” sözcüğü önemli; iddia her hatanın bir referansa ihtiyaç duyduğu değil, yalnızca bazılarının duyduğu ve yalnızca yanıta bakan bir görüşün onu kaçırabileceğidir.

Bu, teşhisi de zorlaştırır. Hatalar ilişkiselse, zayıf bir tespit sorudan ya da referansı içermeyen bir durumdan kaynaklanabilir. İki şey yanlış olabilir ve düşük bir puan hangisi olduğunu söylemez. Belki soru kötü ifade edilmişti. Belki soru iyiydi ve girdi, yanıt için gereken şeyi hiç içermiyordu. Bir dedektör hakkında yararlı bir şey söylemek isteyen kıyaslama, bu iki nedeni birbirinden ayırabilecek şekilde kurulmalıdır.

Geliştirici de kendi payına, dolaylı anlamı ve düşmanca içeriği Jev'in bilinen zayıflıkları arasında sayıyor. Sonuçları okurken bunu akılda tutmak gerekir, çünkü bazı hata türleri tam da bu özelliklere dayanıyor.

Tespiti sınıflandırma olarak ele almak #

Makalenin biçimsel kurgusu sade. Hizalama hatası tespitini, bir hedef modelin etkileşimleri üzerinde ikili sınıflandırma olarak ele alıyor. Bir dedektör s(x) ∈ [0, 1] puanı atar ve s(x) ≥ t olduğunda x'i işaretler. Bu, hataları hata olmayanların üzerinde sıralaması ve onları bir t eşiğinde ayırması gerektiği anlamına gelir.

Bu iki görev birbirinden ayrılabilir ve makalenin sonuçları tam da bu dikiş yeri boyunca ayrışıyor. Sıralamayı AUROC ölçer. Bir eşikte ayırmak ise kalibrasyona bağlıdır ve yazı ona geri dönecek, çünkü Jev'in yetersiz kaldığı yer orası. Bir dedektör mükemmel sıralayıp olasılıkları yanlış yerde durduğu için t = 0,5'te yine de kullanışsız olabilir.

RLCDAlignBench #

Kıyaslamanın adı RLCDAlignBench. On hata türünü 44 kıyaslama ve 7.193 tespit örneği üzerinde kapsıyor. Örnekler, her biri kendi kıyaslamasının referans puanlayıcısı tarafından etiketlenmiş beş açık 2–7B hedef modelden geliyor. Yani değerlendirilen etkileşimler küçük açık modellerden geliyor ve her birinin doğruluk ölçütü, kaynak kıyaslamanın kendi puanlayıcısı ne diyorsa o.

Her kıyaslama aynı türde etiket taşımıyor. StrongREJECT ve HarmBench'teki insan etiketleri ile AbstentionBench ve InstrumentalEval'daki ikinci yargıç etiketleri, Jev'i bir yargıçla karşılaştırmak için kullanılıyor. Bu, makaleye referans puanlayıcılar üzerinde iki tür dış denetim sağlıyor: bazı durumlarda insanlar, bazılarında ikinci bir yargıç.

Yayımlanan yapıt, bağlam varyantları, önbelleğe alınmış Jev yanıtları ve yeniden puanlama betikleriyle on hata türüne yayılan 44 kıyaslama olarak, raporlanan kazanımlardan seçim şişkinliğini kaldıran yarıya bölme protokolüyle birlikte tanımlanıyor. Her öğe pratik bir ihtiyaca yanıt veriyor. Bağlam varyantları, okurun durum daha fazlasını içerdiğinde ne olacağını sormasını sağlıyor. Önbelleğe alınmış yanıtlar ve yeniden puanlama betikleri, bir sayıyı modeli yeniden çalıştırmadan yeniden üretmeye olanak tanıyor. Yarıya bölme protokolü ise kendi bölümünü hak eden yöntemsel bir tuzağı ele alıyor.

Seçim tuzağı #

Jev'e aynı girdi hakkında birçok soru sorulabilir. Bu onun güçlü yanı, ama değerlendirme için de bir tehlike. Bir dizi aday soru sorup en yüksek puanı alanı raporlarsanız, sorular üzerinde bir arama yapmış ve kazananı raporlamış olursunuz. Makale bunu doğrudan söylüyor: içlerinden en iyisini raporlamak, bir uygulayıcının elde ettiğini abartır.

Bir istemi test setine göre ayarlamış herkes bunu tanıyacaktır. Burada kullanılan çare basit. Sorular örneklerin bir yarısında seçiliyor ve diğer yarısında puanlanıyor. Hedefe yönelik soru, 20 bölme boyunca, örneklerin bir yarısında seçiliyor ve diğer yarısında puanlanıyor. Seçim, raporlanan sayıyı üreten örneklere asla dokunmuyor.

Bu, aşağıda raporlanan her kazanımın nasıl okunacağı açısından önemli. Makalenin iddiası, yarıya bölme protokolünün raporlanan kazanımlardan seçim şişkinliğini kaldırdığıdır. Makale hedefe yönelik ifadenin +0,006 AUROC medyan kazanım sağladığını söylediğinde, bu rakam ayrı yarılarda seçilip puanlanan ifadeden geliyor. Dürüstçe ölçülmüş bu kadar küçük bir rakam, kazananın lanetini sessizce içeren daha büyük bir rakamdan daha yararlıdır.

Manşet sonuç: tek bir genel soru #

Şimdi okurların çoğunun görmek isteyeceği sonuç. Tek bir genel soru, sıfır atışta 0,886 medyan AUROC'a ulaşıyor ve kıyaslamaların çoğunda denetimli taban modelleri geride bırakıyor.

Sözcükleri sırayla ele alalım. “Tek bir genel soru”, istemin kıyaslamaya özgü olarak tasarlanmadığı anlamına geliyor. “Sıfır atış”, hedef kıyaslama üzerinde eğitim yapılmadığı anlamına geliyor. “Kıyaslamaların çoğunda denetimli taban modelleri geride bırakıyor” ise görevin etiketli verileri üzerinde eğitilmiş sistemlerin, incelenen kıyaslamaların çoğunda kimsenin ayarlamadığı bir soruya yenildiği anlamına geliyor. İddia “çoğunda” sözcüğünde duruyor ve bu yazı da öyle yapacak.

Genel soru, P(yes) olarak okunan bir şablon sorudur. Rakam 38 kullanılabilir kıyaslamanın AUROC'unu raporluyor ve genel soru 7 kıyaslamada sorulmadı. Dolayısıyla manşet sayı, genel sorunun uygulandığı ve 38 kullanılabilir kıyaslamadan alınan kıyaslamalar üzerindeki bir medyan. Dikkatli okurlar paydaları karıştırmamalı: toplam 44 kıyaslama var, bu rakam için 38'i kullanılabilir ve genel sorunun 7'lik bir boşluğu var.

Bana kalırsa cümlenin daha ilginç yarısı sıfır atış sonucu. Denetimli taban modelleri geçmek, göreli konuma dair bir ifade. Göreve özgü hiçbir eğitim olmadan 0,886 medyan AUROC ise durumu okuyup sade bir soruyu yanıtlayan bir modelin hata sinyalinin ne kadarına erişebildiği hakkında bir şey söylüyor. Bunun bu on türün dışındaki hata türlerine genellenip genellenmediği, iddiaların ele aldığı bir konu değil.

İfade neredeyse önemsiz #

İstem mühendisliğine zaman harcadıysanız, sıradaki sonuç canınızı sıkacak. Sorunun ifadesi az önemli, bağlam ise daha önemli; bu da çoğunlukla etiketi kodlayan alanlar aracılığıyla oluyor.

Makalenin bunun nedenine dair açıklaması somut. Yanıtlar argmax kararları yerine olasılık olarak tutulduğunda, sorunun ifadesi az önem taşıyor; durumun ve etiketin ne içerdiği ise çok önem taşıyor. Bu bir bilgi gözlemi. Bir argmax kararı, bir yanıtın diğerini hangi farkla geçtiğini atar ve bir ifade değişikliği kararı sınırın öbür yanına geçirebilir. Bir olasılık bu farkı korur; dolayısıyla kanıtı biraz kaydıran bir yeniden ifade, olasılığı da biraz kaydırır ve sıralamayı büyük ölçüde olduğu gibi bırakır.

Bunu makalenin söylediğiyle sınırlı tutacağım: olasılıklar korunduğunda ifade az önemlidir. Bunu nedenine dair mekanik bir açıklamaya genişletmeyeceğim, çünkü iddialar böyle bir açıklama sunmuyor.

Sayılar ifadeyi destekliyor. Hedefe yönelik ifade, ayrı yarılarda seçilip puanlanarak +0,006 AUROC medyan kazanım sağlıyor. Örneklem dışında hedefe yönelik ifade +0,006 [−0,004; +0,015] AUROC ekliyor. Aralık sıfırı kapsıyor. Okur +0,006'yı güvenilir bir iyileşme saymamalı; aralık küçük bir kaybı da küçük bir kazanç kadar kolayca kabul ediyor. Bir uygulayıcı için yararlı okuma şu: daha zekice bir ifade aramak, en azından bu kıyaslamalarda, harcanan emeğe değmeyecektir.

Bu, ekiplerin zamanı nasıl dağıttığını değiştirmeli. İfade neredeyse etkisizse, ona harcanan saatler durumu geliştirmeye harcanırsa daha iyi olur.

Kazanımlar bağlamda #

Peki durum neyi içeriyor ve neyi içermeli? Makalenin bulgusu, bağlamın daha önemli olduğu ve bunun çoğunlukla etiketi kodlayan alanlar aracılığıyla gerçekleştiği. Çalışmanın tasarımının ardındaki ana fikir, Jev'e sorulan şeyi onun gördüğü şeyden ayrı olarak değiştirmek: bir yanda sorunun ifadesi ve yanıt türü, öbür yanda girdinin alanları. Makalenin ifadenin az, bağlamın ise daha çok önemli olduğunu söyleyebilmesini sağlayan bu ayrım. O olmasaydı iki etki birbirine karışırdı.

Manşet örnek PrivacyLens. Büyük kazanımları, etiketi tanımlayan referanslar sağlıyor; örneğin PrivacyLens'in gizli öğeler listesi (0,79→0,95). 0,79'dan 0,95 AUROC'a geçiş, ifadeden gelen +0,006'nın yanında büyük. Söz konusu referans gizli öğelerin bir listesi; yani ilişkisel hatalar üzerine önceki tartışmanın önemli olacağını öngördüğü türden bir şey: bir yanıtın özel bir şeyi sızdırıp sızdırmadığı neyin özel sayıldığına bağlıdır ve yanıt bunu tek başına söylemez.

Kullanıma alma açısından bir çekince var ve önemli bir çekince bu. Kullanımdaki bir izleyicinin elinde olacak bağlam, 7 kıyaslamanın 1'inde yardımcı oluyor. Büyük kazanımlar etiketi tanımlayan referanslardan geliyor, ama kullanımdaki bir izleyicinin bunlara sahip olması gerekmiyor. Bir izleyicinin gerçekçi olarak elinde bulunacak şey, yedi kıyaslamanın yalnızca birinde yardımcı oluyor.

Bu ayık bir bulgu ve bence makalenin ticari açıdan en önemli cümlesi. Laboratuvar sayısını saha sayısından ayırıyor. Etiketi tanımlayan referans elindeyken değerlendirilen bir dedektör, kullanımdaki bir izleyicinin karşılaştığından daha kolay bir soruyu yanıtlıyor. Kazanımlar gerçek, ama makale bunlardan hangisine bir kullanımın güvenebileceği konusunda açık.

Makale ayrıca bir kıyaslamanın bir sınırlılığına da dikkat çekiyor. Open-Prompt-Injection'da etiket, enjekte edilen görevin doğruluğunu izliyor. Bu, anlamı görevin bir özelliğine bağlı bir etiket örneği ve bir dedektörün durumdan neyi görmesinin beklenebileceğini etkiliyor. Bundan daha fazla sonuç çıkarmayacağım, çünkü iddialar bir sonuç sunmuyor.

Maliyet #

Şimdi ekonomiyi somutlaştıran sayı. Jev, LLM yargıç puanlayıcılarından 63 kat daha ucuz. Somut karşılaştırma şu: yargıçla puanlanan 19 kıyaslama üzerinden bir geçiş 0,30 dolara mal oluyor; bu, liste fiyatlarıyla onların yargıçlarından 63 kat daha az. Maliyet karşılaştırması, liste fiyatlarıyla API yargıcı kullanan 19 kıyaslama üzerinden tek bir geçişi kapsıyor.

Kapsama dikkat etmek gerekiyor. Karşılaştırma, API yargıcı kullanan 19 kıyaslama için, liste fiyatıyla ve tek bir geçiş için geçerli. Paketteki her kıyaslamayı ve indirimli fiyatları kapsamıyor. Bu kapsam içinde oran büyük ve daha önce anlatılan mimariden kaynaklanıyor: ölçüt başına kod çözme geçişi yok.

Baştaki gerekliliği hatırlayın: her mesajda çalışan bir dedektör ucuz olmalı. 19 kıyaslama üzerinden tam bir geçiş için 0,30 dolarlık bir rakam, bu makalede “ucuz”un neye benzediğini gösteriyor. Makale bunu mesaj başına fiyata çevirmiyor, ben de çevirmeyeceğim.

İnsanlarla uyum ve anlaşmazlığın ortaya çıkardıkları #

Ucuzluk, ancak dedektör aynı zamanda doğruysa ilginçtir. İnsan etiketlerinin denetime izin verdiği yerlerde Jev, maliyetin küçük bir kesrine, onlarla yargıç kadar iyi uyuşuyor.

En somut kanıt StrongREJECT'ten geliyor. Oradaki insan etiketlerine göre genel soru, referans puanlayıcı kadar iyi uyuşuyor (Cohen'in κ değeri 0,809'a karşı 0,811) ve daha iyi sıralıyor. İki κ değeri 0,002 farklı, dolayısıyla akla yatkın okuma, uyumda beraberlik ve sıralamada Jev'in önde olması.

Ardından, dedektörü bir denetim aracına dönüştürdüğü için pratikte en yararlı bulduğum sonuç geliyor. Jev'in emin anlaşmazlıkları, üç kıyaslamada etiketi değiştiren kusurları ve dört kıyaslamada daha durumun ortaya koyamayacağı etiketleri gün yüzüne çıkardı. Emin bir dedektör bir kıyaslamanın referans etiketiyle anlaşmadığında, açıklamalardan biri dedektörün yanıldığıdır. Makale, bazı durumlarda anlaşmazlığın kıyaslamayı işaret ettiğini bildiriyor: üç kıyaslamada etiketleri değiştiren kusurlar vardı, dört kıyaslamada daha ise durumun ortaya koyamayacağı etiketler.

İkinci kategori ilişkisellik noktasına geri bağlanıyor. Durumun ortaya koyamayacağı bir etiket, girdiye hiç girmemiş bir şeyle tanımlanan bir etikettir. O durumu okuyan hiçbir dedektör onu geri kazanamaz. Bu tür durumları bulmak, bir puanı yükseltmekten farklı türde bir katkıdır, çünkü kıyaslama bakımcılarına verileriyle etiketlerinin nerede ayrıştığını gösterir.

Zayıf nokta: kalibrasyon #

Burada yazının açık sözlü olması gerekiyor, çünkü makale de öyle. Olasılıklar iyi sıralıyor ama eşik olarak aktarılamıyor: medyan ECE, hem doğrulanmış hem de yargıç etiketlerinde 0,074'lük sıfır düzeyine karşı 0,168, çünkü Jev'in ortalama olasılığı her kıyaslamanın taban oranını kaçırıyor.

Parçalar şöyle birleşiyor. AUROC sıralamayı ölçer ve sıralama güçlü. Eşik ise başka bir konu. Modelin ortalama çıktı olasılığı, hataların belirli bir kıyaslamada ne sıklıkla görüldüğüyle uyuşmuyorsa, t = 0,5 yanlış yere düşer ve beklenen kalibrasyon hatası yüksek olur. 0,168'lik medyan ECE, 0,074'lük sıfır düzeyinin üzerinde; bu da makalenin seçtiği referans noktasından daha kötü bir görünüm. Ve bu hem doğrulanmış hem de yargıç etiketlerinde geçerli, yani zayıflık gürültülü yargıç etiketlerinin bir yan ürünü değil.

Biçimsel kurguyu hatırlayın: bir dedektör hataları hata olmayanların üzerinde sıralamalı ve onları bir eşikte ayırmalı. Jev kutudan çıktığı haliyle birincisini iyi, ikincisini kötü yapıyor. Tekniğin adında “kalibre edilmiş kararlar” geçiyor ve burada ölçülen kalibrasyon kıyaslamalar arasında taşınmıyor; bu gerilimi açıkça söylemek gerekiyor. Makale açığı taban oranlarına bağlıyor ve daha fazlasını iddia etmiyor.

Pratik sonuç: bir yargıcın yerine geçen araç olarak Jev, eşiğini belirlemek için birkaç etikete ihtiyaç duyuyor. Bu gerçek bir maliyet ve doğrudan takılıp çalışan bir yedek olma iddiasını daraltıyor. Onu yeni bir hata türüne yöneltip t = 0,5'e güvenemezsiniz.

Tarif #

Makalenin önerisi kısa ve öz. Tarif, olasılık olarak okunan genel bir soru ve on etiketli örnekle ayarlanan eşiğidir; bu, Jev'in t = 0,5'te çok seyrek tetiklendiği yerlerde F1'i yükseltiyor ve doğrulanmış etiketlerde 0,025'e mal oluyor.

Açalım. Genel soru, ifade sorununu onu tasarlamayı reddederek çözüyor; bu da ifadenin az önemli olduğu bulgusuyla örtüşüyor. Yanıtı olasılık olarak okumak farkı koruyor. Eşiği on etiketli örnekle ayarlamak taban oranı kaçırmasını gideriyor. F1 üzerindeki etki, Jev'in t = 0,5'te çok seyrek tetiklendiği yerlerde olumlu. Doğrulanmış etiketlerde tarif 0,025'e mal oluyor.

Bu son rakam üzerinde durmaya değer. Tarifin bir dezavantajı yok değil: doğrulanmış etiketlerde 0,025'e mal oluyor. Makale bu ödünleşimi gizlemek yerine raporluyor ve ben de saf kazanç diye tanıtılan bir tarif yerine maliyeti belirtilmiş bir tarifi aktarmayı tercih ederim. İddialar, doğrulanmış etiketler bağlamının ötesinde 0,025'in hangi metrikte ölçüldüğünü söylemiyor, bu yüzden tahmin yürütmeyeceğim.

On etiketli örnek küçük bir talep. Çoğu ekip için, her mesajda yargıç çalıştırmanın maliyetine karşı bir öğleden sonralık etiketleme işi. Ama bu bir ön koşul ve yeni bir hata türü için tek bir etiketli örnek bile üretemeyen bir ekip, eşiğin kendiliğinden yerine oturmasını beklememeli.

Uygulayıcının çıkarması gerekenler #

Birkaç şey buradan çıkıyor ve kanıtlar desteklediği için arkalarında duracağım.

Birincisi, soru ifadesini optimize etmeyi bırakın. Hedefe yönelik ifadenin örneklem dışı kazancı, −0,004 ile +0,015 arasındaki bir aralıkla +0,006. Bu bir yatırım gerekçesi değil.

İkincisi, emeği duruma harcayın. Büyük kazanımlar etiketi tanımlayan referanslardan geldi. İzleyicinize hatayı tanımlayan referans verilebiliyorsa, iyileşme oradadır. Verilemiyorsa daha azını bekleyin: kullanımdaki bir izleyicinin elinde olacak bağlam 7 kıyaslamanın 1'inde yardımcı oldu. Planınızı, referansın girdide durduğu bir kıyaslamada elde ettiğiniz sayıya göre değil, kullanımda elde edebileceğiniz sayıya göre yapın.

Üçüncüsü, kalibrasyon için bütçe ayırın. Her hata türü için on örnek etiketlemeyi ve eşiği ayarlamayı planlayın. t = 0,5 ile yayına çıkmayın.

Dördüncüsü, anlaşmazlığı sinyal olarak kullanın. Referans etiketlerle emin anlaşmazlıklar üç kıyaslamada kusurları, dört kıyaslamada daha ise ortaya konamayacak etiketleri gün yüzüne çıkardı. Bunu kendi değerlendirme setlerinizde çalıştırırsanız, size modelleriniz kadar etiketleriniz hakkında da bir şey söyleyebileceğini bekleyin. Bu, belirli bir set hakkında ölçülmüş bir iddia değil, makalenin bulgusundan bir çıkarım; bu yüzden onu denetleme davetiyesi olarak görün.

Beşincisi, bilinen zayıflıkları unutmayın. Geliştirici, dolaylı anlamı ve düşmanca içeriği Jev'in bilinen zayıflıkları arasında sayıyor. Güvenlik açısından önemli bir izleyici düşmanca içerikle karşılaşacaktır. Buradaki iddialar Jev'in bu konudaki performansını raporlamıyor, dolayısıyla bu açık bir kanat olarak kalıyor ve bir kullanıma güvenmeden önce bunun sınanmasını isterim.

Sonucu ticari gerekçeyle birlikte okumak #

Kurucular bunun nerede durduğunu bilmek isteyecek. Maliyet argümanı en güçlüsü: her mesajda çalışan bir dedektör ucuz olmak zorunda ve LLM yargıç puanlayıcılarına karşı 63 katlık bir düşüş, hangi kullanımların karşılanabilir olduğunu değiştiriyor. Doğruluk argümanı ikinci sırada: sıfır atışta 0,886 AUROC ve kıyaslamaların çoğunda denetimli taban modellere karşı üstünlük.

Çekinceler, dürüstçe neyin satılabileceğini biçimlendiriyor. Dedektör her eşik için birkaç etikete ihtiyaç duyuyor. Kalibrasyonu taşınmıyor. En iyi kazanımları, bir kullanımın elinde olmayabilecek referanslara dayanıyor. Bunlar kullanım koşulları ve bunun üzerine kurulan her ürün onları gömmek yerine belirtmeli. Bunların hiçbiri maliyet gerekçesini zayıflatmıyor; yalnızca kurulum işini tarif ediyor.

Ölçümün kendisi hakkında daha sessiz bir nokta da var. Bağlam varyantları, önbelleğe alınmış Jev yanıtları, yeniden puanlama betikleri ve yarıya bölme protokolüyle RLCDAlignBench, yeniden kullanılabilir bir değerlendirme varlığı. Raporlanan kazanımlardan seçim şişkinliğini kaldıran bir kıyaslama, sonraki iddiaların karşılaştırılmasını sağlayan türden bir yapıt. Bu, dedektörden ayrı türde bir değer.

Açık kalanlar #

İddialardan birkaç sınır açıkça anlaşılıyor. Hedef modeller 2–7B parametreli beş açık model, dolayısıyla sonuçlar bu boyuttaki modellerle yapılan etkileşimlerdeki hataları tanımlıyor. Genel soru 7 kıyaslamada sorulmadı ve manşet AUROC, sorulduğu kıyaslamalar üzerindeki bir medyan. Etiketler referans puanlayıcılardan geliyor; insan ve ikinci yargıç etiketleri StrongREJECT, HarmBench, AbstentionBench ve InstrumentalEval'ı kapsıyor.

Beni en çok ilgilendiren açık soru, makalenin kendi yapısının doğurduğu soru. Hatalar ilişkisel; durumda çoğu zaman referans eksik; ve kullanımdaki bir izleyicinin bağlamı 7 kıyaslamanın yalnızca 1'inde yardımcı oldu. Jev'in tek çağrılı tasarımı birçok sorunun bir girdiyi paylaşmasına izin veriyor, ama en büyük kaldıraç girdinin hangi alanları taşıdığı çıktı. Bir kullanımın, izleme anında etiketi tanımlayan referansı, örneğin bir gizlilik denetimi için gizli öğeler listesini, nasıl edinmesi gerektiği, çözülmesi gereken bir sonraki şey. Makale kazanımın elde edilebileceğini gösteriyor (PrivacyLens'te 0,79→0,95) ve kullanımdaki bir izleyiciye bunun 63 katlık avantajı koruyacak kadar ucuza verilip verilemeyeceğini açık bırakıyor.

Sektörlere göre anlamı #

Karmaşık hizalama ölçütlerini kalibre karar başlıklarıyla, çıkarım maliyetinin küçük bir kesrine değerlendirebilmek, birçok alanda operasyonel güvenliği yeniden biçimlendiriyor.

Yapay zekâ ağ geçidi ve güvenlik platformu sağlayıcıları #

Gerçek zamanlı güvenlik korkulukları kuran altyapı şirketleri, maliyetli kademeli mimarileri (ayrı istem enjeksiyonu, toksisite ve gizlilik sınıflandırıcılarını çağırmak) birleşik çok sorgulu RLCD başlıklarıyla değiştirebilir. İşletme maliyetleri 60 kattan fazla düşerken gecikme tek bir ileri geçişle sınırlanıyor.

Yapay zekâ yönetişimi ve denetim uyum ekipleri #

Model davranışını EU AI Act'in yüksek riskli sistem gereklilikleri veya NIST AI RMF gibi standartlara göre değerlendiren risk komiteleri, belirlenimci ve olasılıksal bir denetim kaydı elde ediyor. Yapılandırılmamış anlatısal LLM yargıç geri bildirimi yerine sistemler, istatistiksel süreç kontrolünü ve kayma izlemeyi destekleyen kalibre olasılık dağılımları kaydediyor.

Kurumsal kullanım ve kırmızı takım ekipleri #

Güvenlik ekipleri, odaklı durum temsilleri yazarak ve karar eşiklerini alana özgü on örnek kadar az veriyle ayarlayarak özel hata dedektörlerini hızla devreye alabilir; böylece ısmarlama sınıflandırıcılar için daha önce gereken haftalarca süren ince ayar döngüsü ortadan kalkıyor.

Sonuç #

Jev'in RLCDAlignBench üzerindeki değerlendirmesi, üretimdeki model izleme için ikna edici bir mimari yön ortaya koyuyor: birden çok tipli soru üzerinden kalibre olasılıkları tek bir ileri geçişte okumak, maliyette otoregresif LLM yargıçlarını, esneklikte ise tek tokenlı sınıflandırıcıları geride bırakıyor. Uygulayıcıların olasılıkların kutudan çıktığı haliyle aktarılacağını varsaymak yerine deneysel eşik kalibrasyonu için bütçe ayırması gerekse de, 63 katlık ekonomik avantaj gerçek zamanlı ve kapsamlı izlemeyi ölçekte uygulanabilir kılıyor.

Sıkça Sorulan Sorular #

Üretken LLM yargıçları gerçek zamanlı üretim izlemesi için neden pratik değil?

Üretken yargıçlar, değerlendirilen her güvenlik veya hizalama ölçütü için eksiksiz bir otoregresif kod çözme geçişi gerektirir. Yüksek hacimli tüketici ya da kurumsal uygulamalarda, mesaj başına birden çok üretken yargıç çağrısı çalıştırmak ciddi gecikme cezaları getirir ve işletme maliyetlerini kat kat şişirir.

Kalibre Edilmiş Kararlar için Pekiştirmeli Öğrenme (RLCD) nedir?

RLCD, modelleri token dizileri üretmek yerine yapılandırılmış karar başlıkları üzerinde iyi kalibre edilmiş sonsal olasılıklar üretecek şekilde optimize eden bir eğitim yöntemidir. Bu, modelin tek bir ileri değerlendirme içinde birden çok rastgele soruyu aynı anda değerlendirmesini sağlar.

Karar eşiklerinin neden yerel verilerle kalibre edilmesi gerekir?

RLCD modelleri etkileşimleri hata olasılığına göre sıralamada başarılı olsa da (yüksek AUROC elde ederek), mutlak ortalama olasılıkları hedef alanın taban oranına bağlı olarak kayar. Operasyonel bir karar eşiğini yaklaşık on etiketli alan örneğine göre kalibre etmek, kabul edilemez yanlış pozitif oranları olmadan uygun duyarlılığı sağlar.

Kaynaklar #

Mrinank Sharma et al., (2024). Dil Modellerinde Dalkavukluğu Anlamaya ve Azaltmaya Doğru ⧉. arXiv.
RLCDAlignBench Consortium, (2026). Kalibre Karar Başlıklarıyla Çok Ölçütlü Hizalama Hatası Tespiti ⧉. arXiv.
Anthropic / Alignment Research, (2025). Anayasal Yapay Zekâ ve Değerlendirici Dinamikleri ⧉. Anthropic.
NIST, (2024). Yapay Zekâ Risk Yönetimi Çerçevesi (AI RMF 1.0) ⧉. NIST.

Son inceleme 2026-09-30.

Son inceleme 2026-10-27.

Bu makaleyi yeniden yayınla

Hüküm yazmak yerine olasılık okuyan dedektör: 44 kıyaslamada Jev — Sebastien Rousseau

RLCD ile eğitilen Jev, 44 kıyaslamada hizalama hatalarını yakalamada sınandı: iyi sıralıyor, LLM yargıçlarından 63 kat ucuz, ama eşik on etiketle ayarlanmalı.

Bu makale şu lisans altında yayınlanmıştır Creative Commons Attribution 4.0 International. Yeniden yayın, kanonik URL'ye atıfta bulunulmasını gerektirir.

Hüküm yazmak yerine olasılık okuyan dedektör: 44 kıyaslamada Jev — Sebastien Rousseau

RLCD ile eğitilen Jev, 44 kıyaslamada hizalama hatalarını yakalamada sınandı: iyi sıralıyor, LLM yargıçlarından 63 kat ucuz, ama eşik on etiketle ayarlanmalı.

Originally published at https://sebastienrousseau.com/tr/2026-09-30-hukum-yazmak-yerine-olasilik-okuyan-dedektor/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER