Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ

Ένας ανιχνευτής αποτυχιών ευθυγράμμισης που απαντά σε πολλές τυποποιημένες ερωτήσεις σε μία κλήση, με βαθμονομημένες πιθανότητες, κατατάσσει καλά τις αποτυχίες και κοστίζει 63× λιγότερο από τους κριτές LLM. Όμως αυτές οι πιθανότητες δεν μεταφέρονται ως κατώφλια, και η ετικέτα και η αναφορά της μετρούν πολύ περισσότερο από τη διατύπωση της ερώτησης.

Η δομή κόστους της παρακολούθησης κάθε μηνύματος #

Τα μοντέλα σε παραγωγή εξακολουθούν να υποχωρούν μπροστά στη λανθασμένη πεποίθηση ενός χρήστη (Sharma et al., 2024). Η φράση είναι μετριοπαθής, αλλά πλαισιώνει όλο το πρόβλημα. Αν τέτοια δουλοπρέπεια επιμένει στα συστήματα σε παραγωγή, κάποιος πρέπει να την παρακολουθεί, και η παρακολούθηση πρέπει να γίνεται με τον ίδιο ρυθμό με την ίδια τη συνομιλία.

Εκεί δαγκώνουν τα οικονομικά. Ένας ανιχνευτής πρέπει να είναι ακριβής και, επειδή τρέχει σε κάθε μήνυμα, φθηνός. Η καθεμία ιδιότητα μόνη της επιτυγχάνεται εύκολα: ένας πρόχειρος ανιχνευτής είναι φθηνός, και ένας προσεκτικός που είναι πολύ ακριβός για να τρέχει σε κάθε μήνυμα παρακολουθεί μόνο ένα δείγμα της κίνησης. Το ενδιαφέρον μηχανικό ερώτημα είναι ποια μορφή ανιχνευτή μπορεί να έχει και τα δύο.

Η σημερινή απάντηση, σύμφωνα με τη μελέτη πίσω από αυτό το άρθρο, έχει δομικό ελάττωμα. Οι περισσότεροι ανιχνευτές αποτυχιών ευθυγράμμισης είναι γενετικοί κριτές που ξοδεύουν ένα πέρασμα αποκωδικοποίησης για κάθε κριτήριο. Με απλά λόγια, οι σημερινοί ανιχνευτές πληρώνουν ένα πέρασμα αποκωδικοποίησης για κάθε κριτήριο που ελέγχουν. Μια παρακολούθηση που θέλει να ελέγξει για δέκα διαφορετικούς τύπους αποτυχίας πληρώνει για δέκα περάσματα, και ο λογαριασμός αυξάνεται γραμμικά με τον αριθμό των πραγμάτων που μας ενδιαφέρουν.

Υπάρχει μερική λύση, και αξίζει να είμαστε ακριβείς για τα όριά της. Οι ταξινομητές που διαβάζουν πιθανότητες tokens, όπως το Llama Guard, εξακολουθούν να βαθμολογούν μία σταθερή ετικέτα ανά κλήση. Η ανάγνωση πιθανοτήτων tokens δίνει μια βαθμολογία, αλλά κάθε κλήση εξακολουθεί να βαθμολογεί μία ετικέτα ή ένα κριτήριο, επειδή η πιθανότητα διαβάζεται από ένα μόνο token ετυμηγορίας. Το πέρασμα αποκωδικοποίησης εξαφανίζεται, αλλά η δομή μίας ερώτησης ανά κλήση παραμένει. Κάθε κλήση έγινε φθηνότερη χωρίς να αλλάξει ο αριθμός των κλήσεων που χρειάζεστε.

Ο δομικός ισχυρισμός λοιπόν είναι ο εξής: οι γενετικοί κριτές είναι ακριβοί ανά κριτήριο, και οι ταξινομητές που διαβάζουν πιθανότητες είναι φθηνότεροι ανά κριτήριο αλλά εξακολουθούν να δένονται ο καθένας με ένα κριτήριο. Κανένας από τους δύο δεν σας επιτρέπει να θέσετε πολλές ερωτήσεις για την ίδια είσοδο ταυτόχρονα.

Τι κάνει διαφορετικά ο Jev #

Ο Jev είναι εκπαιδευμένος με ενισχυτική μάθηση για βαθμονομημένες αποφάσεις (RLCD). Απαντά σε πολλές τυποποιημένες ερωτήσεις για μία είσοδο με βαθμονομημένες πιθανότητες σε μία κλήση. Ο μηχανισμός αξίζει να περιγραφεί προσεκτικά, επειδή το υπόλοιπο άρθρο εξαρτάται από αυτόν.

Ένα μοντέλο RLCD επιστρέφει μια απόφαση με βαθμονομημένη πιθανότητα για κάθε τυποποιημένη ερώτηση αντί να παράγει κείμενο. Δεν υπάρχει βήμα παραγωγής στο οποίο μια ετυμηγορία γράφεται και μετά αναλύεται. Ο Jev απαντά σε μία κλήση σε πολλές δυαδικές, κατηγορικές και διατακτικές ερωτήσεις για μία είσοδο, την οποία η μελέτη ονομάζει κατάσταση (state). Η κατάσταση είναι η είσοδος· οι ερωτήσεις είναι αυτά που ρωτάτε γι' αυτήν.

Πρόκειται για διαφορετική καμπύλη κόστους από αυτή των δύο προσεγγίσεων παραπάνω. Αν οι ερωτήσεις μοιράζονται μία κλήση, η προσθήκη μιας ερώτησης δεν προσθέτει πέρασμα αποκωδικοποίησης. Το όφελος για μια παρακολούθηση που ενδιαφέρεται για αρκετούς τύπους αποτυχίας ταυτόχρονα είναι προφανές, αν και οι μετρήσεις της μελέτης αφορούν το τι πετυχαίνει μία μόνο γενική ερώτηση, και θα μείνω σε ό,τι μετρήθηκε.

Υπήρχε όμως ένα κενό. Το αν ο Jev ανιχνεύει αποτυχίες ευθυγράμμισης δεν είχε μετρηθεί. Ένα μοντέλο που απαντά σε τυποποιημένες ερωτήσεις με βαθμονομημένες πιθανότητες ταιριάζει εύλογα στη δουλειά, και η ευλογοφάνεια δεν κοστίζει τίποτα. Η μελέτη θέτει ως στόχο να δώσει τη μέτρηση που έλειπε.

Γιατί οι αποτυχίες ευθυγράμμισης είναι δυσκολότερες απ' ό,τι φαίνονται #

Πριν από τη μέτρηση, μια επιπλοκή. Πολλές από αυτές τις αποτυχίες είναι σχεσιακές, ορίζονται σε σχέση με μια αναφορά που η απάντηση από μόνη της δεν αποκαλύπτει. Η δουλοπρέπεια δείχνει καλά τη γενική ιδέα: το αν μια απάντηση υποχωρεί μπροστά στη λανθασμένη πεποίθηση ενός χρήστη εξαρτάται από το ποια είναι η πεποίθηση και αν είναι λανθασμένη, και κανένα από τα δύο δεν φαίνεται στο κείμενο της απάντησης καθαυτό.

Αυτό έχει μια συνέπεια για τον σχεδιασμό ανιχνευτών που η μελέτη διατυπώνει με την κατάλληλη επιφύλαξη. Ένας ανιχνευτής που βλέπει μόνο την απάντηση μπορεί να μην έχει την αναφορά που ορίζει την αποτυχία. Η λέξη «μπορεί» μετράει· ο ισχυρισμός δεν είναι ότι κάθε αποτυχία χρειάζεται αναφορά, μόνο ότι ορισμένες χρειάζονται και ότι μια όψη μόνο της απάντησης μπορεί να τη χάσει.

Περιπλέκει επίσης τη διάγνωση. Αν οι αποτυχίες είναι σχεσιακές, μια φτωχή ανίχνευση μπορεί να οφείλεται στην ερώτηση ή σε μια κατάσταση χωρίς την αναφορά. Δύο πράγματα μπορεί να φταίνε, και μια χαμηλή βαθμολογία δεν λέει ποιο. Ίσως η ερώτηση ήταν κακοδιατυπωμένη. Ίσως η ερώτηση ήταν εντάξει και η είσοδος απλώς δεν περιείχε ποτέ ό,τι χρειαζόταν για να απαντηθεί. Ένα benchmark που θέλει να πει κάτι χρήσιμο για έναν ανιχνευτή πρέπει να είναι χτισμένο έτσι ώστε αυτές οι δύο αιτίες να ξεχωρίζουν.

Ο δημιουργός, από την πλευρά του, κατατάσσει το έμμεσο νόημα και το αντιπαραθετικό (adversarial) περιεχόμενο στις γνωστές αδυναμίες του Jev. Αξίζει να το έχουμε υπόψη κατά την ανάγνωση των αποτελεσμάτων, επειδή ορισμένοι τύποι αποτυχίας στηρίζονται ακριβώς σε αυτές τις ιδιότητες.

Η ανίχνευση ως ταξινόμηση #

Το τυπικό πλαίσιο της μελέτης είναι απλό. Αντιμετωπίζει την ανίχνευση αποτυχιών ευθυγράμμισης ως δυαδική ταξινόμηση πάνω σε αλληλεπιδράσεις ενός μοντέλου-στόχου. Ένας ανιχνευτής αποδίδει βαθμολογία s(x) ∈ [0, 1] και επισημαίνει το x όταν s(x) ≥ t. Αυτό σημαίνει ότι πρέπει και να κατατάσσει τις αποτυχίες πάνω από τις μη αποτυχίες και να τις διαχωρίζει σε ένα κατώφλι t.

Τα δύο καθήκοντα είναι διαχωρίσιμα, και τα αποτελέσματα της μελέτης χωρίζονται ακριβώς σε αυτή τη ραφή. Την κατάταξη τη μετρά το AUROC. Ο διαχωρισμός σε ένα κατώφλι εξαρτάται από τη βαθμονόμηση, και το άρθρο θα επανέλθει σε αυτό επειδή εκεί υστερεί ο Jev. Ένας ανιχνευτής μπορεί να κατατάσσει εξαιρετικά και να είναι παρ' όλα αυτά άχρηστος στο t=0,5 αν οι πιθανότητές του βρίσκονται σε λάθος σημείο.

RLCDAlignBench #

Το benchmark ονομάζεται RLCDAlignBench. Καλύπτει δέκα τύπους αποτυχίας σε 44 benchmarks και 7.193 περιπτώσεις ανίχνευσης. Οι περιπτώσεις προέρχονται από πέντε ανοιχτά μοντέλα-στόχους 2–7 δισ. παραμέτρων, και η καθεμία έχει επισημανθεί από τον βαθμολογητή αναφοράς του benchmark της. Οι αλληλεπιδράσεις που κρίνονται προέρχονται λοιπόν από μικρά ανοιχτά μοντέλα, και η αλήθεια αναφοράς για καθεμία είναι ό,τι λέει ο βαθμολογητής του αρχικού benchmark.

Δεν έχει κάθε benchmark το ίδιο είδος ετικέτας. Ανθρώπινες ετικέτες στα StrongREJECT και HarmBench, και ετικέτες δεύτερου κριτή στα AbstentionBench και InstrumentalEval, χρησιμοποιούνται για να συγκριθεί ο Jev με έναν κριτή. Αυτό δίνει στη μελέτη δύο είδη εξωτερικού ελέγχου των βαθμολογητών αναφοράς: ανθρώπους σε ορισμένες περιπτώσεις, έναν δεύτερο κριτή σε άλλες.

Το δημοσιευμένο υλικό περιγράφεται ως 44 benchmarks σε δέκα τύπους αποτυχίας με παραλλαγές πλαισίου, αποθηκευμένες απαντήσεις του Jev και σενάρια επαναβαθμολόγησης, μαζί με ένα πρωτόκολλο διαχωρισμού σε μισά που αφαιρεί τον πληθωρισμό επιλογής από τα αναφερόμενα κέρδη. Κάθε στοιχείο καλύπτει μια πρακτική ανάγκη. Οι παραλλαγές πλαισίου επιτρέπουν στον αναγνώστη να δει τι συμβαίνει όταν η κατάσταση περιέχει περισσότερα. Οι αποθηκευμένες απαντήσεις και τα σενάρια επαναβαθμολόγησης επιτρέπουν σε κάποιον να αναπαράγει έναν αριθμό χωρίς να ξανατρέξει το μοντέλο. Το πρωτόκολλο διαχωρισμού σε μισά αντιμετωπίζει μια μεθοδολογική παγίδα που αξίζει δική της ενότητα.

Η παγίδα της επιλογής #

Στον Jev μπορούν να τεθούν πολλές ερωτήσεις για την ίδια είσοδο. Αυτό είναι το δυνατό του σημείο, αλλά και κίνδυνος για την αξιολόγηση. Αν θέσετε ένα σύνολο υποψήφιων ερωτήσεων και αναφέρετε όποια σκοράρει καλύτερα, έχετε κάνει αναζήτηση ανάμεσα σε ερωτήσεις και έχετε αναφέρει τη νικήτρια. Η μελέτη το λέει ευθέως: η αναφορά της καλύτερης θα υπερέβαλλε όσα παίρνει ένας επαγγελματίας στην πράξη.

Όποιος έχει ρυθμίσει ένα prompt πάνω σε ένα σύνολο ελέγχου θα το αναγνωρίσει. Η θεραπεία εδώ είναι απλή. Οι ερωτήσεις επιλέγονται στο ένα μισό των δειγμάτων και βαθμολογούνται στο άλλο. Η στοχευμένη ερώτηση επιλέγεται στο ένα μισό των δειγμάτων και βαθμολογείται στο άλλο, σε 20 διαχωρισμούς. Η επιλογή δεν αγγίζει ποτέ τα δείγματα που παράγουν τον αναφερόμενο αριθμό.

Αυτό έχει σημασία για το πώς διαβάζεται κάθε κέρδος που αναφέρεται παρακάτω. Ο ισχυρισμός της μελέτης είναι ότι το πρωτόκολλο διαχωρισμού σε μισά αφαιρεί τον πληθωρισμό επιλογής από τα αναφερόμενα κέρδη. Όταν η μελέτη λέει ότι η στοχευμένη διατύπωση δίνει διάμεσο κέρδος +0,006 AUROC, ο αριθμός προέρχεται από διατυπώσεις που επιλέχθηκαν και βαθμολογήθηκαν σε χωριστά μισά. Ένας τόσο μικρός αριθμός, μετρημένος έντιμα, είναι πιο χρήσιμος από έναν μεγαλύτερο που συμπεριέλαβε σιωπηλά την κατάρα του νικητή.

Το κύριο αποτέλεσμα: μία γενική ερώτηση #

Τώρα το αποτέλεσμα που θέλουν οι περισσότεροι αναγνώστες. Μία μόνο γενική ερώτηση φτάνει διάμεσο AUROC 0,886 zero-shot και νικά τα εποπτευόμενα μοντέλα αναφοράς στα περισσότερα benchmarks.

Ας πάρουμε τις λέξεις μία μία. «Μία μόνο γενική ερώτηση» σημαίνει καμία μηχανική του prompt ανά benchmark. «Zero-shot» σημαίνει καμία εκπαίδευση στο benchmark-στόχο. «Νικά τα εποπτευόμενα μοντέλα αναφοράς στα περισσότερα benchmarks» σημαίνει ότι συστήματα εκπαιδευμένα σε επισημασμένα δεδομένα από την εργασία χάνουν από μια ερώτηση που κανείς δεν ρύθμισε, στα περισσότερα από τα benchmarks που εξετάστηκαν. Ο ισχυρισμός σταματά στο «περισσότερα», και το ίδιο κάνει και αυτό το άρθρο.

Η γενική ερώτηση είναι μια ερώτηση-πρότυπο που διαβάζεται ως P(ναι). Το διάγραμμα αναφέρει το AUROC 38 αξιοποιήσιμων benchmarks, και η γενική ερώτηση δεν τέθηκε σε 7 benchmarks. Ο κύριος αριθμός είναι λοιπόν διάμεσος πάνω στα benchmarks όπου εφαρμόστηκε η γενική ερώτηση, από τα 38 αξιοποιήσιμα. Οι προσεκτικοί αναγνώστες πρέπει να κρατούν τους παρονομαστές ξεχωριστά: υπάρχουν 44 benchmarks συνολικά, 38 είναι αξιοποιήσιμα για αυτόν τον αριθμό, και η γενική ερώτηση έχει κενό 7.

Θα υποστήριζα ότι το αποτέλεσμα zero-shot είναι το πιο ενδιαφέρον μισό της πρότασης. Η νίκη επί των εποπτευόμενων μοντέλων αναφοράς είναι δήλωση για τη συγκριτική θέση. Ένα διάμεσο AUROC 0,886 χωρίς εκπαίδευση ειδική για την εργασία λέει κάτι για το πόσο από το σήμα αποτυχίας είναι διαθέσιμο σε ένα μοντέλο που διαβάζει την κατάσταση και απαντά σε μια απλή ερώτηση. Το αν αυτό γενικεύεται σε τύπους αποτυχίας εκτός αυτών των δέκα δεν το εξετάζουν οι ισχυρισμοί.

Η διατύπωση είναι σχεδόν αδιάφορη #

Αν έχετε αφιερώσει χρόνο στη μηχανική των prompts, το επόμενο αποτέλεσμα θα τσούξει. Η διατύπωση της ερώτησης μετράει λίγο, ενώ το πλαίσιο μετράει περισσότερο, κυρίως μέσω πεδίων που κωδικοποιούν την ετικέτα.

Η εξήγηση της μελέτης είναι συγκεκριμένη. Όταν οι απαντήσεις διατηρούνται ως πιθανότητες αντί για αποφάσεις argmax, η διατύπωση της ερώτησης μετράει λίγο και αυτό που περιέχουν η κατάσταση και η ετικέτα μετράει πολύ. Είναι μια παρατήρηση για την πληροφορία. Μια απόφαση argmax πετά το περιθώριο με το οποίο μια απάντηση νίκησε μια άλλη, και μια αλλαγή διατύπωσης μπορεί να αναποδογυρίσει την απόφαση πέρα από το όριο. Μια πιθανότητα κρατά το περιθώριο, οπότε μια αναδιατύπωση που μετακινεί λίγο τα στοιχεία μετακινεί λίγο την πιθανότητα και αφήνει την κατάταξη ως επί το πλείστον ανέπαφη.

Θα μείνω σε ό,τι δηλώνει η μελέτη: όταν οι πιθανότητες διατηρούνται, η διατύπωση μετράει λίγο. Δεν θα το επεκτείνω σε μηχανιστική εξήγηση του γιατί, αφού οι ισχυρισμοί δεν δίνουν καμία.

Οι αριθμοί στηρίζουν τη δήλωση. Η στοχευμένη διατύπωση δίνει διάμεσο κέρδος +0,006 AUROC, με τη διατύπωση επιλεγμένη και βαθμολογημένη σε χωριστά μισά. Εκτός δείγματος, η στοχευμένη διατύπωση προσθέτει +0,006 [−0,004· +0,015] AUROC. Το διάστημα περιλαμβάνει το μηδέν. Ο αναγνώστης δεν πρέπει να αντιμετωπίσει το +0,006 ως αξιόπιστη βελτίωση· το διάστημα επιτρέπει μια μικρή απώλεια το ίδιο εύκολα με ένα μικρό κέρδος. Για τον επαγγελματία, η χρήσιμη ανάγνωση είναι ότι το κυνήγι μιας εξυπνότερης διατύπωσης δύσκολα θα αποδώσει, τουλάχιστον σε αυτά τα benchmarks.

Αυτό θα πρέπει να αλλάξει το πώς οι ομάδες κατανέμουν τον χρόνο τους. Αν η διατύπωση είναι σχεδόν αδρανής, οι ώρες αξιοποιούνται καλύτερα στην κατάσταση.

Τα κέρδη βρίσκονται στο πλαίσιο #

Τι περιέχει λοιπόν η κατάσταση, και τι θα έπρεπε να περιέχει; Το εύρημα της μελέτης είναι ότι το πλαίσιο μετράει περισσότερο, κυρίως μέσω πεδίων που κωδικοποιούν την ετικέτα. Η βασική ιδέα πίσω από τον σχεδιασμό της μελέτης είναι να μεταβάλλεται αυτό που ρωτιέται ο Jev ξεχωριστά από αυτό που βλέπει: η διατύπωση της ερώτησης και ο τύπος απάντησης από τη μία πλευρά, τα πεδία της εισόδου από την άλλη. Αυτός ο διαχωρισμός επιτρέπει στη μελέτη να πει ότι η διατύπωση μετράει λίγο ενώ το πλαίσιο μετράει περισσότερο. Χωρίς αυτόν, τα δύο αποτελέσματα θα ήταν μπλεγμένα.

Το κύριο παράδειγμα είναι το PrivacyLens. Οι αναφορές που ορίζουν την ετικέτα δίνουν τα μεγάλα κέρδη, όπως η λίστα μυστικών στοιχείων του PrivacyLens (0,79→0,95). Ένα άλμα από 0,79 σε 0,95 AUROC είναι μεγάλο δίπλα στο +0,006 της διατύπωσης. Η εν λόγω αναφορά είναι μια λίστα μυστικών στοιχείων, ακριβώς το είδος πράγματος που η προηγούμενη συζήτηση για τις σχεσιακές αποτυχίες προβλέπει ότι θα μετρήσει: το αν μια απάντηση διαρρέει κάτι ιδιωτικό εξαρτάται από το τι θεωρείται ιδιωτικό, και η απάντηση μόνη της δεν το λέει.

Υπάρχει μια επιφύλαξη για την παραγωγική χρήση, και είναι σημαντική. Το πλαίσιο που θα είχε μια παρακολούθηση σε παραγωγή βοηθά σε 1 από τα 7 benchmarks. Τα μεγάλα κέρδη έρχονται από αναφορές που ορίζουν την ετικέτα, αλλά μια παρακολούθηση σε παραγωγή δεν θα τις είχε απαραίτητα. Αυτό που θα είχε ρεαλιστικά μια παρακολούθηση βοηθά μόνο σε ένα από τα επτά benchmarks.

Είναι ένα νηφάλιο εύρημα, και πιστεύω ότι είναι η πιο σημαντική εμπορικά πρόταση της μελέτης. Ξεχωρίζει τον αριθμό του εργαστηρίου από τον αριθμό του πεδίου. Ένας ανιχνευτής που αξιολογείται με την αναφορά που ορίζει την ετικέτα στο χέρι απαντά σε ευκολότερη ερώτηση από αυτή που αντιμετωπίζει μια παρακολούθηση σε παραγωγή. Τα κέρδη είναι πραγματικά, αλλά η μελέτη είναι σαφής για το ποια από αυτά μπορεί να υπολογίζει μια παραγωγική εγκατάσταση.

Η μελέτη επισημαίνει επίσης έναν περιορισμό ενός benchmark. Στο Open-Prompt-Injection, η ετικέτα ακολουθεί την ακρίβεια της εγχυμένης εργασίας. Είναι παράδειγμα ετικέτας της οποίας το νόημα συνδέεται με μια ιδιότητα της εργασίας, κάτι που επηρεάζει το τι μπορεί να αναμένεται να δει ένας ανιχνευτής από την κατάσταση. Δεν θα βγάλω περαιτέρω συμπεράσματα, αφού οι ισχυρισμοί δεν προσφέρουν κανένα.

Κόστος #

Τώρα ο αριθμός που κάνει τα οικονομικά συγκεκριμένα. Ο Jev κοστίζει 63× λιγότερο από τους κριτές LLM. Η συγκεκριμένη σύγκριση: ένα πέρασμα από τα 19 benchmarks που βαθμολογούν κριτές κοστίζει 0,30 USD, 63× λιγότερο από τους κριτές τους σε τιμές τιμοκαταλόγου. Η σύγκριση κόστους καλύπτει ένα πέρασμα από τα 19 benchmarks με κριτές API σε τιμές τιμοκαταλόγου.

Προσοχή στο εύρος. Η σύγκριση αφορά 19 benchmarks που χρησιμοποιούν κριτές API, με τιμές τιμοκαταλόγου, για ένα μόνο πέρασμα. Δεν καλύπτει κάθε benchmark της σουίτας ούτε εκπτωτικές τιμές. Μέσα σε αυτό το εύρος, ο λόγος είναι μεγάλος, και προκύπτει από την αρχιτεκτονική που περιγράφηκε νωρίτερα: κανένα πέρασμα αποκωδικοποίησης ανά κριτήριο.

Θυμηθείτε την αρχική απαίτηση, ότι ένας ανιχνευτής που τρέχει σε κάθε μήνυμα πρέπει να είναι φθηνός. Ένα ποσό 0,30 USD για ολόκληρο πέρασμα από 19 benchmarks είναι το πώς μοιάζει το «φθηνό» σε αυτή τη μελέτη. Η μελέτη δεν το μετατρέπει σε τιμή ανά μήνυμα, και ούτε εγώ θα το κάνω.

Συμφωνία με τους ανθρώπους, και τι αποκάλυψε η διαφωνία #

Το φθηνό ενδιαφέρει μόνο αν ο ανιχνευτής έχει και δίκιο. Όπου οι ανθρώπινες ετικέτες επιτρέπουν έλεγχο, ο Jev συμφωνεί μαζί τους εξίσου καλά με τον κριτή, με ένα κλάσμα του κόστους.

Η πιο συγκεκριμένη ένδειξη έρχεται από το StrongREJECT. Απέναντι στις ανθρώπινες ετικέτες εκεί, η γενική ερώτηση συμφωνεί εξίσου καλά με τον βαθμολογητή αναφοράς (κ του Cohen 0,809 έναντι 0,811) και κατατάσσει καλύτερα. Οι δύο τιμές κ διαφέρουν κατά 0,002, οπότε η λογική ανάγνωση είναι ισοπαλία στη συμφωνία, με τον Jev μπροστά στην κατάταξη.

Έπειτα έρχεται ένα αποτέλεσμα που βρίσκω το πιο χρήσιμο στην πράξη, επειδή μετατρέπει τον ανιχνευτή σε εργαλείο ελέγχου. Οι βέβαιες διαφωνίες του Jev αποκάλυψαν ελαττώματα που αλλάζουν ετικέτες σε τρία benchmarks και ετικέτες που η κατάσταση δεν μπορεί να αποκαλύψει σε τέσσερα ακόμη. Όταν ένας βέβαιος ανιχνευτής διαφωνεί με την ετικέτα αναφοράς ενός benchmark, μια εξήγηση είναι ότι ο ανιχνευτής κάνει λάθος. Η μελέτη αναφέρει ότι σε ορισμένες περιπτώσεις η διαφωνία έδειχνε προς το benchmark: τρία benchmarks είχαν ελαττώματα που αλλάζουν ετικέτες, και τέσσερα ακόμη είχαν ετικέτες που η κατάσταση δεν μπορεί να αποκαλύψει.

Η δεύτερη κατηγορία συνδέεται με το σχεσιακό σημείο. Μια ετικέτα που η κατάσταση δεν μπορεί να αποκαλύψει είναι ετικέτα που ορίζεται από κάτι που δεν μπήκε ποτέ στην είσοδο. Κανένας ανιχνευτής που διαβάζει αυτή την κατάσταση δεν θα μπορούσε να την ανακτήσει. Η εύρεση τέτοιων περιπτώσεων είναι διαφορετική συνεισφορά από την αύξηση μιας βαθμολογίας, αφού δείχνει στους συντηρητές των benchmarks πού χωρίζουν τα δεδομένα και οι ετικέτες τους.

Το αδύνατο σημείο: η βαθμονόμηση #

Εδώ το άρθρο πρέπει να είναι ωμό, επειδή η μελέτη είναι. Οι πιθανότητες κατατάσσουν καλά αλλά δεν μεταφέρονται ως κατώφλια: το διάμεσο ECE είναι 0,168 έναντι μηδενικής τιμής 0,074, σε επικυρωμένες ετικέτες και ετικέτες κριτή εξίσου, επειδή η μέση πιθανότητα του Jev αστοχεί στο βασικό ποσοστό κάθε benchmark.

Τα κομμάτια ταιριάζουν ως εξής. Το AUROC μετρά την κατάταξη, και η κατάταξη είναι ισχυρή. Ένα κατώφλι είναι άλλο θέμα. Αν η μέση πιθανότητα εξόδου του μοντέλου δεν αντιστοιχεί στη συχνότητα με την οποία εμφανίζονται αποτυχίες σε ένα συγκεκριμένο benchmark, το t=0,5 πέφτει σε λάθος σημείο, και το αναμενόμενο σφάλμα βαθμονόμησης είναι υψηλό. Ένα διάμεσο ECE 0,168 βρίσκεται πάνω από τη μηδενική τιμή 0,074, που είναι χειρότερη επίδοση από το σημείο αναφοράς που επέλεξε η μελέτη. Και ισχύει σε επικυρωμένες ετικέτες και ετικέτες κριτή εξίσου, άρα η αδυναμία δεν είναι τέχνημα θορυβωδών ετικετών κριτή.

Θυμηθείτε το τυπικό πλαίσιο: ένας ανιχνευτής πρέπει να κατατάσσει τις αποτυχίες πάνω από τις μη αποτυχίες και να τις διαχωρίζει σε ένα κατώφλι. Ο Jev κάνει το πρώτο καλά και το δεύτερο άσχημα χωρίς προσαρμογή. Το όνομα της τεχνικής περιέχει τις «βαθμονομημένες αποφάσεις», και η βαθμονόμηση που μετρήθηκε εδώ δεν μεταφέρεται μεταξύ benchmarks, μια ένταση που αξίζει να ειπωθεί καθαρά. Η μελέτη αποδίδει το χάσμα στα βασικά ποσοστά και δεν ισχυρίζεται τίποτα περισσότερο.

Η πρακτική συνέπεια: ως υποκατάστατο κριτή, ο Jev χρειάζεται μερικές ετικέτες για να ορίσει το κατώφλι του. Αυτό είναι πραγματικό κόστος και περιορίζει τον ισχυρισμό ότι είναι άμεσο υποκατάστατο. Δεν μπορείτε να τον στρέψετε σε έναν νέο τύπο αποτυχίας και να εμπιστευτείτε το t=0,5.

Η συνταγή #

Η σύσταση της μελέτης είναι περιεκτική. Η συνταγή είναι μια γενική ερώτηση που διαβάζεται ως πιθανότητα, με το κατώφλι της προσαρμοσμένο σε δέκα επισημασμένα δείγματα, που ανεβάζει το F1 εκεί όπου ο Jev ενεργοποιείται πολύ σπάνια στο t=0,5 και κοστίζει 0,025 στις επικυρωμένες ετικέτες.

Ας την αναλύσουμε. Η γενική ερώτηση χειρίζεται το πρόβλημα της διατύπωσης αρνούμενη να τη ρυθμίσει, κάτι που ταιριάζει με το εύρημα ότι η διατύπωση μετράει λίγο. Η ανάγνωση της απάντησης ως πιθανότητας κρατά το περιθώριο. Η προσαρμογή του κατωφλίου σε δέκα επισημασμένα δείγματα αντιμετωπίζει την αστοχία στο βασικό ποσοστό. Η επίδραση στο F1 είναι θετική εκεί όπου ο Jev ενεργοποιείται πολύ σπάνια στο t=0,5. Στις επικυρωμένες ετικέτες, η συνταγή κοστίζει 0,025.

Αξίζει να σταθούμε στον τελευταίο αριθμό. Η συνταγή δεν είναι χωρίς μειονεκτήματα: στις επικυρωμένες ετικέτες κοστίζει 0,025. Η μελέτη αναφέρει τον συμβιβασμό αντί να τον κρύψει, και προτιμώ να παραθέσω μια συνταγή με δηλωμένο κόστος παρά μια που διαφημίζεται ως καθαρό κέρδος. Οι ισχυρισμοί δεν λένε σε ποια μετρική μετριέται το 0,025 πέρα από το πλαίσιο των επικυρωμένων ετικετών, οπότε δεν θα μαντέψω.

Δέκα επισημασμένα δείγματα είναι μικρό αίτημα. Για τις περισσότερες ομάδες είναι ένα απόγευμα επισήμανσης, απέναντι στο κόστος να τρέχει ένας κριτής σε κάθε μήνυμα. Αλλά είναι προϋπόθεση, και μια ομάδα που δεν μπορεί να παραγάγει κανένα επισημασμένο δείγμα για έναν νέο τύπο αποτυχίας δεν πρέπει να περιμένει ότι το κατώφλι θα τακτοποιηθεί μόνο του.

Τι πρέπει να κρατήσει ένας επαγγελματίας #

Προκύπτουν αρκετά πράγματα, και τα υποστηρίζω επειδή τα στοιχεία τα στηρίζουν.

Πρώτον, σταματήστε να βελτιστοποιείτε τη διατύπωση της ερώτησης. Το κέρδος εκτός δείγματος από τη στοχευμένη διατύπωση είναι +0,006 με διάστημα από −0,004 έως +0,015. Δεν είναι βάση για επένδυση.

Δεύτερον, ρίξτε την προσπάθεια στην κατάσταση. Τα μεγάλα κέρδη ήρθαν από αναφορές που ορίζουν την ετικέτα. Αν η παρακολούθησή σας μπορεί να λάβει την αναφορά που ορίζει την αποτυχία, εκεί βρίσκεται η βελτίωση. Αν δεν μπορεί, περιμένετε λιγότερα: το πλαίσιο που θα είχε μια παρακολούθηση σε παραγωγή βοήθησε σε 1 από τα 7 benchmarks. Σχεδιάστε γύρω από τον αριθμό που μπορείτε να πάρετε στην παραγωγή και όχι από τον αριθμό που παίρνετε σε ένα benchmark όπου η αναφορά βρίσκεται στην είσοδο.

Τρίτον, προϋπολογίστε για βαθμονόμηση. Σχεδιάστε να επισημάνετε δέκα δείγματα ανά τύπο αποτυχίας και να προσαρμόσετε το κατώφλι. Μην βγάζετε σε παραγωγή με t=0,5.

Τέταρτον, χρησιμοποιήστε τη διαφωνία ως σήμα. Οι βέβαιες διαφωνίες με τις ετικέτες αναφοράς αποκάλυψαν ελαττώματα σε τρία benchmarks και ετικέτες που δεν μπορούν να αποκαλυφθούν σε τέσσερα ακόμη. Αν το τρέξετε στις δικές σας σουίτες αξιολόγησης, περιμένετε ότι μπορεί να σας πει κάτι για τις ετικέτες σας όσο και για τα μοντέλα σας. Είναι συμπέρασμα από το εύρημα της μελέτης και όχι μετρημένος ισχυρισμός για μια συγκεκριμένη σουίτα, οπότε δείτε το ως πρόσκληση για έλεγχο.

Πέμπτον, θυμηθείτε τις γνωστές αδυναμίες. Ο δημιουργός κατατάσσει το έμμεσο νόημα και το αντιπαραθετικό περιεχόμενο στις γνωστές αδυναμίες του Jev. Μια παρακολούθηση που μετράει για την ασφάλεια θα συναντήσει αντιπαραθετικό περιεχόμενο. Οι ισχυρισμοί εδώ δεν αναφέρουν πώς αποδίδει ο Jev σε αυτό, οπότε μένει ανοιχτό πλευρό, και θα ήθελα να το δω δοκιμασμένο πριν εμπιστευτώ μια εγκατάσταση.

Το αποτέλεσμα απέναντι στο εμπορικό σκεπτικό #

Οι ιδρυτές θα θέλουν να ξέρουν πού τοποθετείται αυτό. Το επιχείρημα του κόστους είναι το ισχυρότερο: ένας ανιχνευτής που τρέχει σε κάθε μήνυμα πρέπει να είναι φθηνός, και μια μείωση 63 φορές έναντι των κριτών LLM αλλάζει ποιες εγκαταστάσεις είναι οικονομικά εφικτές. Δεύτερο έρχεται το επιχείρημα της ακρίβειας: AUROC zero-shot 0,886 και νίκη επί των εποπτευόμενων μοντέλων αναφοράς στα περισσότερα benchmarks.

Οι επιφυλάξεις καθορίζουν τι μπορεί να πουληθεί έντιμα. Ο ανιχνευτής χρειάζεται μερικές ετικέτες ανά κατώφλι. Η βαθμονόμησή του δεν μεταφέρεται. Τα καλύτερα κέρδη του βασίζονται σε αναφορές που μια εγκατάσταση ίσως να μην έχει. Αυτοί είναι όροι χρήσης, και κάθε προϊόν που χτίζεται πάνω σε αυτό πρέπει να τους δηλώνει, όχι να τους θάβει. Τίποτα από αυτά δεν υπονομεύει το επιχείρημα του κόστους· περιγράφει την προπαρασκευαστική δουλειά.

Υπάρχει επίσης ένα πιο ήσυχο σημείο για την ίδια τη μέτρηση. Το RLCDAlignBench, με τις παραλλαγές πλαισίου, τις αποθηκευμένες απαντήσεις του Jev, τα σενάρια επαναβαθμολόγησης και το πρωτόκολλο διαχωρισμού σε μισά, είναι επαναχρησιμοποιήσιμος πόρος αξιολόγησης. Ένα benchmark που αφαιρεί τον πληθωρισμό επιλογής από τα αναφερόμενα κέρδη είναι το είδος υλικού που κάνει μεταγενέστερους ισχυρισμούς συγκρίσιμους. Είναι διαφορετικό είδος αξίας από τον ανιχνευτή.

Τι μένει ανοιχτό #

Μερικά όρια είναι σαφή από τους ισχυρισμούς. Τα μοντέλα-στόχοι είναι πέντε ανοιχτά μοντέλα 2–7 δισ. παραμέτρων, οπότε τα αποτελέσματα περιγράφουν αποτυχίες σε αλληλεπιδράσεις από μοντέλα αυτού του μεγέθους. Η γενική ερώτηση δεν τέθηκε σε 7 benchmarks, και ο κύριος αριθμός AUROC είναι διάμεσος πάνω στα benchmarks όπου τέθηκε. Οι ετικέτες προέρχονται από βαθμολογητές αναφοράς, με ανθρώπινες ετικέτες και ετικέτες δεύτερου κριτή να καλύπτουν τα StrongREJECT, HarmBench, AbstentionBench και InstrumentalEval.

Το ανοιχτό ερώτημα που με ενδιαφέρει περισσότερο είναι αυτό που εγείρει η ίδια η δομή της μελέτης. Οι αποτυχίες είναι σχεσιακές· η κατάσταση συχνά δεν έχει την αναφορά· και το πλαίσιο μιας παρακολούθησης σε παραγωγή βοήθησε μόνο σε 1 από τα 7 benchmarks. Ο σχεδιασμός του Jev με μία κλήση επιτρέπει σε πολλές ερωτήσεις να μοιράζονται μια είσοδο, κι όμως ο μεγαλύτερος μοχλός αποδείχθηκε το ποια πεδία μεταφέρει η είσοδος. Το πώς μια εγκατάσταση θα αποκτήσει, τη στιγμή της παρακολούθησης, την αναφορά που ορίζει την ετικέτα, όπως μια λίστα μυστικών στοιχείων για έλεγχο ιδιωτικότητας, είναι το επόμενο που πρέπει να λυθεί. Η μελέτη δείχνει ότι το κέρδος υπάρχει (0,79→0,95 στο PrivacyLens), και αφήνει ανοιχτό το αν μια παρακολούθηση σε παραγωγή μπορεί να το λάβει αρκετά φθηνά ώστε να διατηρήσει το πλεονέκτημα των 63 φορών.

Τι σημαίνει αυτό ανά τομέα #

Η δυνατότητα αξιολόγησης σύνθετων κριτηρίων ευθυγράμμισης μέσω βαθμονομημένων κεφαλών απόφασης με ένα κλάσμα του κόστους συμπερασμού αναδιαμορφώνει την επιχειρησιακή ασφάλεια σε πολλούς τομείς.

Πάροχοι πυλών AI και πλατφορμών ασφάλειας #

Οι εταιρείες υποδομών που εγκαθιστούν δικλίδες ασφαλείας σε πραγματικό χρόνο μπορούν να αντικαταστήσουν ακριβές αρχιτεκτονικές καταρράκτη (κλήσεις σε ξεχωριστούς ταξινομητές για έγχυση prompt, τοξικότητα και ιδιωτικότητα) με ενιαίες κεφαλές RLCD πολλαπλών ερωτήσεων. Το λειτουργικό κόστος πέφτει πάνω από 60×, ενώ η καθυστέρηση περιορίζεται σε ένα μόνο εμπρόσθιο πέρασμα.

Ομάδες διακυβέρνησης AI και συμμόρφωσης ελέγχου #

Οι επιτροπές κινδύνου που αξιολογούν τη συμπεριφορά μοντέλων έναντι προτύπων όπως οι απαιτήσεις του Κανονισμού της ΕΕ για την ΤΝ για συστήματα υψηλού κινδύνου ή το NIST AI RMF αποκτούν ένα ντετερμινιστικό, πιθανοτικό αρχείο ελέγχου. Αντί για αδόμητη αφηγηματική ανατροφοδότηση από κριτές LLM, τα συστήματα καταγράφουν βαθμονομημένες κατανομές πιθανοτήτων που υποστηρίζουν τον στατιστικό έλεγχο διεργασιών και την παρακολούθηση ολίσθησης.

Ομάδες επιχειρησιακής εγκατάστασης και red teaming #

Οι ομάδες ασφάλειας μπορούν να εγκαταστήσουν γρήγορα προσαρμοσμένους ανιχνευτές αποτυχιών γράφοντας εστιασμένες αναπαραστάσεις κατάστασης και προσαρμόζοντας τα κατώφλια απόφασης σε μόλις δέκα δείγματα του τομέα τους, εξαλείφοντας τους κύκλους λεπτορρύθμισης πολλών εβδομάδων που απαιτούνταν παλαιότερα για εξατομικευμένους ταξινομητές.

Συμπέρασμα #

Η αξιολόγηση του Jev στο RLCDAlignBench καθιερώνει μια πειστική αρχιτεκτονική κατεύθυνση για την παρακολούθηση μοντέλων σε παραγωγή: η ανάγνωση βαθμονομημένων πιθανοτήτων για πολλές τυποποιημένες ερωτήσεις σε ένα μόνο εμπρόσθιο πέρασμα νικά τόσο τους αυτοπαλίνδρομους κριτές LLM στο κόστος όσο και τους ταξινομητές ενός token στην ευελιξία. Αν και οι επαγγελματίες πρέπει να προϋπολογίσουν εμπειρική βαθμονόμηση του κατωφλίου αντί να υποθέτουν ότι οι πιθανότητες μεταφέρονται αυτούσιες, το οικονομικό πλεονέκτημα των 63 φορών κάνει βιώσιμη την ολοκληρωμένη παρακολούθηση σε πραγματικό χρόνο σε μεγάλη κλίμακα.

Συχνές ερωτήσεις #

Γιατί οι γενετικοί κριτές LLM δεν είναι πρακτικοί για παρακολούθηση παραγωγής σε πραγματικό χρόνο;

Οι γενετικοί κριτές απαιτούν ένα πλήρες αυτοπαλίνδρομο πέρασμα αποκωδικοποίησης για κάθε κριτήριο ασφάλειας ή ευθυγράμμισης που αξιολογείται. Σε καταναλωτικές ή επιχειρησιακές εφαρμογές υψηλής διακίνησης, πολλές κλήσεις γενετικού κριτή ανά μήνυμα προκαλούν σοβαρές καθυστερήσεις και διογκώνουν το λειτουργικό κόστος κατά τάξεις μεγέθους.

Τι είναι η ενισχυτική μάθηση για βαθμονομημένες αποφάσεις (RLCD);

Η RLCD είναι μέθοδος εκπαίδευσης που βελτιστοποιεί τα μοντέλα ώστε να παράγουν καλά βαθμονομημένες εκ των υστέρων πιθανότητες πάνω σε δομημένες κεφαλές απόφασης αντί να παράγουν ακολουθίες tokens. Αυτό επιτρέπει στο μοντέλο να αξιολογεί ταυτόχρονα πολλές αυθαίρετες ερωτήσεις μέσα σε μία μόνο εμπρόσθια αξιολόγηση.

Γιατί τα κατώφλια απόφασης πρέπει να βαθμονομούνται σε τοπικά δεδομένα;

Τα μοντέλα RLCD διαπρέπουν στην κατάταξη αλληλεπιδράσεων κατά πιθανότητα αποτυχίας (πετυχαίνοντας υψηλό AUROC), αλλά οι απόλυτες μέσες πιθανότητές τους μετατοπίζονται ανάλογα με το βασικό ποσοστό του τομέα-στόχου. Η βαθμονόμηση ενός επιχειρησιακού κατωφλίου απόφασης σε περίπου δέκα επισημασμένα δείγματα του τομέα εξασφαλίζει κατάλληλη ευαισθησία χωρίς απαράδεκτα ποσοστά ψευδών συναγερμών.

Βιβλιογραφία #

• Mrinank Sharma et al., (2024). Προς την κατανόηση και τον περιορισμό της δουλοπρέπειας στα γλωσσικά μοντέλα ⧉. arXiv.
• RLCDAlignBench Consortium, (2026). Ανίχνευση αποτυχιών ευθυγράμμισης πολλαπλών κριτηρίων μέσω βαθμονομημένων κεφαλών απόφασης ⧉. arXiv.
• Anthropic / Alignment Research, (2025). Συνταγματική AI και η δυναμική των αξιολογητών ⧉. Anthropic.
• NIST, (2024). Πλαίσιο διαχείρισης κινδύνων τεχνητής νοημοσύνης (AI RMF 1.0) ⧉. NIST.

Τελευταία αναθεώρηση 2026-09-30.

Τελευταία αναθεώρηση 2026-10-27.

# Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/](https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/)

Ο Jev κατατάσσει καλά τις αποτυχίες ευθυγράμμισης σε 44 benchmarks και κοστίζει 63× λιγότερο από κριτές LLM, αλλά το κατώφλι ρυθμίζεται με δέκα επισημασμένα δείγματα.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/

Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ — Sebastien Rousseau

Ο Jev κατατάσσει καλά τις αποτυχίες ευθυγράμμισης σε 44 benchmarks και κοστίζει 63× λιγότερο από κριτές LLM, αλλά το κατώφλι ρυθμίζεται με δέκα επισημασμένα δείγματα.

https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/

Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ — Sebastien Rousseau

Ο Jev κατατάσσει καλά τις αποτυχίες ευθυγράμμισης σε 44 benchmarks και κοστίζει 63× λιγότερο από κριτές LLM, αλλά το κατώφλι ρυθμίζεται με δέκα επισημασμένα δείγματα.

Ακολουθούν τα βασικά στρατηγικά συμπεράσματα:

- Η δομή κόστους της παρακολούθησης κάθε μηνύματος. Τα μοντέλα σε παραγωγή εξακολουθούν να υποχωρούν μπροστά στη λανθασμένη πεποίθηση ενός χρήστη (Sharma et al., 2024).
- Τι κάνει διαφορετικά ο Jev. Ο Jev είναι εκπαιδευμένος με ενισχυτική μάθηση για βαθμονομημένες αποφάσεις (RLCD).
- Γιατί οι αποτυχίες ευθυγράμμισης είναι δυσκολότερες απ' ό,τι φαίνονται. Πριν από τη μέτρηση, μια επιπλοκή.
- Η ανίχνευση ως ταξινόμηση. Το τυπικό πλαίσιο της μελέτης είναι απλό.

Ποια είναι η προσέγγιση του οργανισμού σας στις προκλήσεις που περιγράφονται σε αυτό το άρθρο;

→ https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/

#Jev #Rlcd #Rlcdalignbench #ΑποτυχίεςΕυθυγράμμισης #Ανίχνευση

Sebastien Rousseau | CC-BY-4.0

@online{rousseau2026ανιχνευτής,
  author  = {Rousseau, Sebastien},
  title   = {{Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/},
  urldate = {2026}
}

TY  - GEN
AU  - Rousseau, Sebastien
TI  - Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/
ER  -

Rousseau S. Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ — Sebastien Rousseau. sebastienrousseau.com. 2026 Sep 30. Available from: https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/

Rousseau, Sebastien. "Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ — Sebastien Rousseau." sebastienrousseau.com. September 30, 2026. https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/.

Rousseau, S. (2026, September 30). Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/

Ανιχνευτής που διαβάζει πιθανότητες, όχι ετυμηγορίες: ο Jev σε 44 τεστ — Sebastien Rousseau

Ο Jev κατατάσσει καλά τις αποτυχίες ευθυγράμμισης σε 44 benchmarks και κοστίζει 63× λιγότερο από κριτές LLM, αλλά το κατώφλι ρυθμίζεται με δέκα επισημασμένα δείγματα.

Originally published at https://sebastienrousseau.com/el/2026-09-30-anichneftis-pou-diavazei-pithanotites-ochi-etymigories/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU · FOUNDER · ENGINEER