Οι περισσότεροι βρόχοι πρακτόρων εκτελούν μια κλήση εργαλείου τη στιγμή που την προτείνει το μοντέλο, και τα αποτελέσματα του JevAct δείχνουν ότι ένα φθηνό σημείο ελέγχου βασισμένο σε πιθανότητες, τοποθετημένο ακριβώς πριν από την εκτέλεση, μπορεί να κάνει τους πράκτορες που χρησιμοποιούν εργαλεία πιο αξιόπιστους, αν και τα οφέλη διαφέρουν έντονα από benchmark σε benchmark.
Σύνοψη για τη διοίκηση
- Οι πράκτορες LLM εκτελούν όλο και συχνότερα ενέργειες με συνέπειες μέσω εξωτερικών εργαλείων, όμως αυτές οι ενέργειες συχνά εκτελούνται χωρίς ανεξάρτητη επαλήθευση της συμμόρφωσης με την πολιτική ή της ολοκλήρωσης της εργασίας.
- Το JevAct μεταγλωττίζει εκ των προτέρων μια πολιτική πεδίου σε ερωτήσεις, κανόνες, εκτελέσιμους ελέγχους κατάστασης και, όπου χρειάζεται, μια λίστα ελέγχου μεταβίβασης.
- Κατά την εκτέλεση, ο κώδικας ελέγχει γεγονότα στα αρχεία των εργαλείων, ενώ το Kev, ένα μοντέλο αποφάσεων τύπου Jev ανοιχτού κώδικα, απαντά σε ερωτήσεις που εξαρτώνται από τη συνομιλία.
- Σε σύγκριση με ένα harness ReAct στο τ²-bench (Airline, Telecom) και στο BFCL, τα οφέλη είναι σταθερά στο Telecom και στην επιτυχία τριών εκτελέσεων του BFCL, και πιο μικτά στο Airline.
- Η διατύπωση των ίδιων των συγγραφέων είναι προσεκτική: τα ευρήματα υποδηλώνουν ότι τα δομημένα μοντέλα αποφάσεων σε συνδυασμό με εκτελέσιμη επαλήθευση μπορούν να βελτιώσουν την αξιοπιστία.
Το πρόβλημα: η εκτέλεση ακολουθεί την πρόταση #
Ένας πράκτορας που κλείνει μια πτήση, ακυρώνει μια παραγγελία ή αλλάζει μια ρύθμιση λογαριασμού κάνει κάτι που δεν αναιρείται αθόρυβα. Το άβολο κομμάτι είναι πόσο λίγα στέκονται ανάμεσα στην πρόταση του μοντέλου και στο αποτέλεσμα. Πολλοί βρόχοι πρακτόρων εκτελούν μια προτεινόμενη κλήση εργαλείου μόλις το μοντέλο την παραγάγει. Κανείς δεν ελέγχει ανεξάρτητα αν η ενέργεια συμμορφώνεται με την πολιτική του πεδίου, ή αν μια εργασία που ο πράκτορας θεωρεί ολοκληρωμένη έχει πράγματι ολοκληρωθεί.
Αυτό το κενό είναι η αφετηρία του «Think Before You Act: Decision Gate for LLM Agents», ενός preprint του 2026 στο arXiv από τους Iftach Shoham, Yuval David και συνεργάτες τους στην IBM, που παρουσιάζει το JevAct. Δεν είναι νέα παρατήρηση, αλλά αξίζει να ειπωθεί καθαρά, επειδή τόσο μεγάλο μέρος των εργαλείων για πράκτορες εστιάζει στο να γίνει καλύτερος αυτός που προτείνει. Οι πράκτορες ReAct εναλλάσσουν τη συλλογιστική με τη χρήση εργαλείων, και αυτό το μοτίβο έχει γίνει κοινή βάση σύγκρισης. Μέθοδοι αναστοχασμού όπως το Self-Refine και το Reflexion προσθέτουν κριτική και ανατροφοδότηση για να βελτιώσουν μεταγενέστερες προτάσεις ή δοκιμές, χωρίς ενημέρωση των βαρών του μοντέλου. Όσο χρήσιμες κι αν είναι, αυτές οι μέθοδοι δεν επαληθεύουν από μόνες τους μια συγκεκριμένη ενέργεια έναντι μιας πολιτικής πεδίου αμέσως πριν από την εκτέλεση. Ο έλεγχος που ενδιαφέρει το JevAct βρίσκεται σε άλλο σημείο του βρόχου: αφού υπάρξει μια πρόταση και πριν δεσμευτεί.
Τι είναι το JevAct #
Το JevAct είναι ένα harness που ελέγχει επιλεγμένες προτάσεις πριν από την εκτέλεση. Περιγράφεται ως πλαίσιο επαλήθευσης κατά τον χρόνο εκτέλεσης που αναχαιτίζει επιλεγμένες ενέργειες του πράκτορα και επιτρέπει διόρθωση με βάση την ανατροφοδότηση. Λειτουργεί ανεξάρτητα από το υποκείμενο μοντέλο του πράκτορα και δεν απαιτεί τροποποιήσεις στις παραμέτρους ή στα εργαλεία του μοντέλου. Στη διάταξη που αξιολογήθηκε, το LLM του πράκτορα, το βασικό prompt και τα εργαλεία μένουν αμετάβλητα.
Αρχιτεκτονικά, το JevAct επεκτείνει το harness ενός πράκτορα ReAct παρεμβάλλοντας ένα επιλεκτικό στάδιο ελέγχου ανάμεσα στην πρόταση του μηνύματος και στην εκτέλεση. Η λέξη «επιλεκτικό» μετρά. Το πλαίσιο δεν επιθεωρεί κάθε μήνυμα· στοχεύει συγκεκριμένα είδη ενεργειών. Το άρθρο ορίζει δύο. Μια κλήση εγγραφής (write call) αλλάζει το περιβάλλον, για παράδειγμα κλείνοντας κράτηση, ακυρώνοντας ή αλλάζοντας μια ρύθμιση. Μια μεταβίβαση (hand-off) τερματίζει την προσπάθεια του πράκτορα, είτε μεταφέροντας τον χρήστη σε άνθρωπο είτε λέγοντας στον χρήστη ότι δεν μπορεί να γίνει τίποτε άλλο. Στις εγγραφές μια παραβίαση πολιτικής προκαλεί ζημιά· στις μεταβιβάσεις ένας πράκτορας μπορεί να τα παρατήσει πολύ νωρίς. Ο δηλωμένος στόχος του πλαισίου, ο εντοπισμός δυνητικά άκυρων ενεργειών και πρόωρου τερματισμού της εργασίας, αντιστοιχεί σε αυτές τις δύο κατηγορίες.
Όταν ένας έλεγχος αποτυγχάνει, η πρόταση δεν μπλοκάρεται απλώς. Οι έλεγχοι μπορούν να αναβάλουν την εκτέλεση και να ζητήσουν από το LLM αναθεωρημένη πρόταση με προσωρινή ανατροφοδότηση, εντός ενός σταθερού προϋπολογισμού αναθεωρήσεων. Μια πρόταση που περνά προχωρά. Μια πρόταση που επισημαίνεται επιστρέφει στον πράκτορα με στοχευμένη ανατροφοδότηση και περιορισμένη ευκαιρία αναθεώρησης. Και ο καταμερισμός των ρόλων μένει σαφής: ο πράκτορας εξακολουθεί να προτείνει ενέργειες, και το Kev δεν τις επιλέγει.
Δύο είδη τεκμηρίων, μία πύλη #
Ο σχεδιασμός στηρίζεται σε έναν διαχωρισμό ανάμεσα σε ό,τι μπορεί να επαληθευτεί ντετερμινιστικά και σε ό,τι δεν μπορεί. Το JevAct συνδυάζει ντετερμινιστική επαλήθευση γεγονότων της κατάστασης των εργαλείων με πιθανοτική αξιολόγηση του πλαισίου της συνομιλίας. Κατά την εκτέλεση, ο κώδικας ελέγχει γεγονότα διαθέσιμα στα αρχεία των εργαλείων, και το Kev απαντά στις ερωτήσεις που εξαρτώνται από τη συνομιλία.
Ο διαχωρισμός είναι λογικός. Ορισμένες προϋποθέσεις πολιτικής είναι γεγονότα καταγεγραμμένα στα αρχεία ενός εργαλείου, και ένα πρόγραμμα μπορεί να τα διαβάσει χωρίς τη γνώμη κανενός μοντέλου. Άλλες προϋποθέσεις βρίσκονται σε όσα είπαν μεταξύ τους ο χρήστης και ο πράκτορας, και καμία αναζήτηση σε βάση δεδομένων δεν θα τις κρίνει. Αν το πρώτο είδος ανατεθεί στον κώδικα και το δεύτερο σε ένα μοντέλο, το μοντέλο ερωτάται μόνο για όσα ο κώδικας δεν μπορεί να απαντήσει.
Το εκ των προτέρων σκέλος είναι αυτό που κάνει την περιγραφή πρακτική. Ένας μεταγλωττιστής μετατρέπει μια πολιτική πεδίου σε ερωτήσεις, κανόνες, εκτελέσιμους ελέγχους πάνω στην κατάσταση των εργαλείων και, όπου χρειάζεται, μια λίστα ελέγχου μεταβίβασης. Με άλλα λόγια, το JevAct μεταγλωττίζει πολιτικές πεδίου σε εκτελέσιμους ελέγχους κατάστασης και δομημένες ερωτήσεις που αξιολογούνται από ένα μοντέλο αποφάσεων μόνο-prefill. Οι συγγραφείς λένε ότι θέτουν τα θεμέλια για μια ροή εργασίας που μεταγλωττίζει πολιτικές πεδίου σε ερωτήσεις, κανόνες απόφασης, εκτελέσιμους ελέγχους κατάστασης και λίστες ελέγχου μεταβίβασης για μια πύλη μοντέλου αποφάσεων. Είναι μετριοπαθής διατύπωση, και θα την έπαιρνα κατά γράμμα: ο ισχυρισμός αφορά τα θεμέλια μιας ροής εργασίας, όχι ένα τελικό προϊόν.
Γιατί μοντέλο αποφάσεων και όχι κριτής LLM #
Η προφανής εναλλακτική είναι ένας κριτής LLM που διαβάζει την πρόταση και γράφει μια ετυμηγορία. Η αντίρρηση του άρθρου είναι πρακτική. Οι ελεύθερες εξηγήσεις ενός τέτοιου κριτή πρέπει ακόμη να ερμηνευτούν πριν μια πύλη μπορέσει να ενεργήσει με βάση αυτές, και η λήψη αυτής της απόφασης με ένα κορυφαίο μοντέλο είναι δαπανηρή. Μια πύλη χρειάζεται απόφαση, όχι δοκίμιο.
Τα μοντέλα αποφάσεων είναι φτιαγμένα γι' αυτό. Το Jev εισήγαγε μοντέλα αποφάσεων που επιστρέφουν τυποποιημένες επιλογές, βαθμολογίες και πιθανότητες αντί για παραγόμενο κείμενο. Επιστρέφουν επιλογές και πιθανότητες για σταθερές ερωτήσεις, κάτι που κάνει απλούς τους ελέγχους με κατώφλι. Το μοντέλο που χρησιμοποιεί το JevAct είναι μόνο-prefill και παράγει κρίσεις βασισμένες σε πιθανότητες χωρίς να στηρίζεται σε παραγωγή κειμένου από LLM. Το Kev είναι ένα μοντέλο αποφάσεων τύπου Jev ανοιχτού κώδικα, τοποθετημένο σε ξεχωριστό βήμα επαλήθευσης πριν δεσμευτούν επιλεγμένες ενέργειες.
Υπάρχει μια παγίδα, και οι συγγραφείς τη δηλώνουν οι ίδιοι. Οι πιθανότητες των μοντέλων αποφάσεων δεν είναι εγγυημένα βαθμονομημένες ή σωστές, οπότε η αξία τους πρέπει να δοκιμαστεί μέσα στον βρόχο του πράκτορα αντί να θεωρείται δεδομένη. Αυτή η πρόταση πλαισιώνει ολόκληρο το εμπειρικό μέρος. Το κεντρικό ερώτημα είναι αν ένα μοντέλο αποφάσεων μπορεί να λειτουργήσει ως επαληθευτής με κατώφλι πιθανότητας παράλληλα με εκτελέσιμους ελέγχους της κατάστασης των εργαλείων. Είναι ερώτημα που απαντάται πειραματικά, και στο πείραμα βρίσκεται η ενδιαφέρουσα λεπτομέρεια.
Η σχετική βιβλιογραφία για τα μοντέλα αποφάσεων δίνει μικτή εικόνα για το γιατί αυτή η δοκιμή μετρά. Οι Li et al. αναφέρουν ανταγωνιστικά αποτελέσματα στην προτίμηση και στην τεκμηριωμένη πραγματολογική ακρίβεια, αλλά ασθενέστερη απόδοση όταν απαιτείται συλλογισμός. Οι Rao και Callison-Burch αναφέρουν μικτά αποτελέσματα σε κριτήρια αξιολόγησης (rubrics) και σφάλματα που επικαλύπτονται με εκείνα των κριτών LLM. Ένα μοντέλο αποφάσεων που είναι ισχυρό σε ορισμένες εργασίες κρίσης και ασθενέστερο σε άλλες είναι ακριβώς το είδος του στοιχείου που θα ήθελες να συνδυάσεις με ντετερμινιστικούς ελέγχους αντί να το εμπιστευτείς μόνο του.
Πώς έγινε η σύγκριση #
Το JevAct συγκρίνεται με ένα harness ReAct που χρησιμοποιεί το ίδιο LLM πράκτορα και στους δύο βραχίονες. Οι εργασίες καλύπτουν τα Airline και Telecom του τ²-bench και εργασίες κλήσης συναρτήσεων πολλαπλών γύρων στο BFCL. Η διατήρηση του ίδιου LLM πράκτορα και στους δύο βραχίονες είναι ο σωστός έλεγχος για το ερώτημα που τίθεται: κάθε διαφορά προέρχεται από το harness, όχι από έναν ισχυρότερο ή ασθενέστερο προτείνοντα.
Το άρθρο αναφέρει τα αποτελέσματά του με τιμές pass^3, από τον Πίνακα 2, μαζί με την επιτυχία τουλάχιστον μία φορά. Τα δύο μέτρα τραβούν σε διαφορετικές κατευθύνσεις, και η αντίθεσή τους αποδεικνύεται διαφωτιστική. Η επιτυχία και στις τρεις εκτελέσεις ανταμείβει έναν πράκτορα που τα καταφέρνει κάθε φορά. Η επιτυχία τουλάχιστον μία φορά ανταμείβει έναν πράκτορα που τα καταφέρνει σε οποιαδήποτε προσπάθεια. Ένας επαληθευτής που πιάνει λανθασμένες ενέργειες θα έπρεπε να βοηθά το πρώτο πιο αξιόπιστα από το δεύτερο, και τα αποτελέσματα ταιριάζουν με αυτή την ανάγνωση, αν και το άρθρο λέει μόνο ότι το μοτίβο στο BFCL συνάδει με πιο επαναλήψιμη απόδοση σε ορισμένες εργασίες, οπότε σημειώνω τα υπόλοιπα ως ερμηνεία και όχι ως εύρημα.
Τι δείχνουν οι αριθμοί #
Στο Telecom, και οι οκτώ πράκτορες βελτιώνουν τόσο την επιτυχία τουλάχιστον μία φορά όσο και την επιτυχία και στις τρεις εκτελέσεις. Είναι το πιο καθαρό αποτέλεσμα του άρθρου: καμία εξαίρεση μεταξύ των πρακτόρων που δοκιμάστηκαν, σε κανένα από τα δύο μέτρα.
Στο BFCL, και οι εννέα πράκτορες βελτιώνονται στην επιτυχία τριών εκτελέσεων, αλλά τα αποτελέσματα τουλάχιστον μία φορά είναι μικτά. Διαβάστε το προσεκτικά. Στο BFCL, το αυστηρότερο μέτρο αυξάνεται για κάθε πράκτορα που δοκιμάστηκε, κατά 0,1 έως 9,6 μονάδες· το επιεικέστερο μέτρο βελτιώνεται για τέσσερις πράκτορες και μειώνεται για πέντε. Αν σας ενδιαφέρει ένας πράκτορας να συμπεριφέρεται σωστά κάθε φορά, αυτή είναι η ευνοϊκή κατεύθυνση. Αν σας ενδιαφέρει αν μια επανάληψη μπορεί τελικά να πετύχει, το όφελος δεν τεκμηριώνεται εδώ.
Το Airline είναι το αδύναμο σημείο. Τα αποτελέσματα στο Airline είναι μικρότερα και διαφέρουν ανά πράκτορα. Η σύνοψη των αποτελεσμάτων μιλά για ιδιαίτερα σταθερά οφέλη στο Telecom και στο BFCL, ενώ η απόδοση στο Airline είναι πιο μικτή. Ένας ιδρυτής που διαβάζει αυτό δεν πρέπει να το στρογγυλέψει σε «βελτιώνει τα πάντα». Οι συγγραφείς αναφέρουν βελτιώσεις στην αξιοπιστία των πρακτόρων σε πολλά μοντέλα και benchmarks, αλλά στο Airline τα οφέλη είναι μικρότερα και μικτά, και λένε ότι τα ευρήματά τους δεν τεκμηριώνουν ομοιόμορφα οφέλη. Το άρθρο προειδοποιεί ότι με 50 εργασίες στο Airline μία μόνο εργασία μετακινεί μια βαθμολογία κατά 2 ποσοστιαίες μονάδες, οπότε οι μικρές διαφορές πρέπει να διαβάζονται με προσοχή· πέρα από αυτό, δεν θα μαντέψω γιατί το Airline συμπεριφέρεται διαφορετικά.
Η συνολική ανάγνωση συνοδεύεται από επιφυλάξεις από τους ίδιους τους συγγραφείς: τα ευρήματα υποδηλώνουν ότι ο συνδυασμός δομημένων μοντέλων αποφάσεων με εκτελέσιμη επαλήθευση μπορεί να βελτιώσει την αξιοπιστία των πρακτόρων LLM που χρησιμοποιούν εργαλεία. Το «υποδηλώνουν» είναι το σωστό ρήμα. Είναι ένα πολλά υποσχόμενο αποτέλεσμα, όχι απόδειξη.
Τι απομονώνει η σύγκριση και τι όχι #
Ένας περιορισμός αξίζει περισσότερο βάρος από όσο συνήθως παίρνει. Επειδή το JevAct προσθέτει μεταγλωττισμένους ελέγχους και ευκαιρίες αναθεώρησης, οι συγκρίσεις αξιολογούν ολόκληρο το harness, όχι τον κριτή μεμονωμένα. Είναι σημαντική επιφύλαξη για όποιον ελπίζει να συμπεράνει ότι το μοντέλο αποφάσεων κάνει τη βαριά δουλειά. Τα οφέλη θα μπορούσαν να προέρχονται από τις πιθανότητες του Kev, από τους εκτελέσιμους ελέγχους κατάστασης, από τις επιπλέον ευκαιρίες αναθεώρησης ή από κάποιον συνδυασμό τους. Οι κύριες συγκρίσεις δεν τα διαχωρίζουν.
Θα υποστήριζα ότι αυτό δεν είναι τόσο ελάττωμα όσο έντιμη περιγραφή του τι μπορεί να δείξει ένα άρθρο συστημάτων. Το ερώτημα που θέτουν οι συγγραφείς, αν ένα μοντέλο αποφάσεων μπορεί να λειτουργήσει ως επαληθευτής με κατώφλι πιθανότητας παράλληλα με εκτελέσιμους ελέγχους της κατάστασης των εργαλείων, απαντάται σε επίπεδο ζεύγους, αφού το «παράλληλα» βρίσκεται μέσα στο ίδιο το ερώτημα. Όμως ένας αναγνώστης που αποφασίζει πού να επενδύσει προσπάθεια πρέπει να το έχει υπόψη. Αν φτιάχνετε κάτι παρόμοιο, δεν μπορείτε να συμπεράνετε από αυτά τα τεκμήρια ότι το μοντέλο αποφάσεων μόνο του θα έφερνε τη βελτίωση, ούτε ότι θα την έφερναν μόνοι τους οι έλεγχοι κώδικα.
Σημαίνει επίσης ότι η επιφύλαξη για τη βαθμονόμηση εξακολουθεί να ισχύει. Οι πιθανότητες δεν είναι εγγυημένα βαθμονομημένες ή σωστές, και το αποτέλεσμα σε επίπεδο harness δεν αίρει αυτή την αβεβαιότητα. Δείχνει ότι η διάταξη στο σύνολό της βοήθησε στα benchmarks που δοκιμάστηκαν.
Πού τοποθετείται ανάμεσα σε άλλους σχεδιασμούς προστασίας #
Το JevAct προστίθεται σε ένα πυκνό σύνολο προσεγγίσεων για την προστασία των ενεργειών των πρακτόρων, και οι διαφορές είναι διδακτικές. Το GuardAgent χρησιμοποιεί έναν ξεχωριστό πράκτορα για να παράγει και να εκτελεί κώδικα επαλήθευσης από απαιτήσεις προστασίας που ορίζει ο χρήστης. Οι Zwerdling et al. μεταγλωττίζουν εταιρικές πολιτικές σε εκτελέσιμους μηχανισμούς προστασίας που ελέγχουν τη συμμόρφωση πριν από ενέργειες εργαλείων. Το AgentSpec αναπαριστά τους περιορισμούς κατά τον χρόνο εκτέλεσης ως εναύσματα, κατηγορήματα και ενέργειες επιβολής. Το ShieldAgent εξάγει επαληθεύσιμους κανόνες από έγγραφα πολιτικής.
Άλλες προσεγγίσεις στηρίζονται σε μοντέλα για την ίδια την επαλήθευση. Το ToolSafe χρησιμοποιεί έναν εκπαιδευμένο μηχανισμό προστασίας για να αξιολογεί προτεινόμενες κλήσεις εργαλείων και να επιστρέφει ανατροφοδότηση, ενώ τα PolicyGuard και PolicyGuide χρησιμοποιούν επαληθευτές βασισμένους σε μοντέλα για την τήρηση πολιτικής και την καθοδήγηση ροών εργασίας. Το CaMeL ακολουθεί διαφορετικό δρόμο, επιβάλλοντας την ασφάλεια μέσω του διαχωρισμού της αξιόπιστης ροής ελέγχου από τα μη αξιόπιστα δεδομένα.
Σε αυτό το φόντο, η διακριτή επιλογή του JevAct είναι ο συγκεκριμένος συνδυασμός του. Όπως η γραμμή εργασιών που μεταγλωττίζει πολιτικές σε εκτελέσιμους μηχανισμούς προστασίας, μετατρέπει την πολιτική σε ελέγχους πάνω στην κατάσταση των εργαλείων. Όπως οι επαληθευτές που βασίζονται σε μοντέλα, χρησιμοποιεί ένα μοντέλο για κρίσεις που ο κώδικας δεν μπορεί να κάνει. Αυτό που προσθέτει είναι ένα μοντέλο αποφάσεων που επιστρέφει πιθανότητες για σταθερές επιλογές, το οποίο χρησιμοποιείται online πριν εκτελεστούν επιλεγμένες ενέργειες, με ανατροφοδότηση για αναθεώρηση. Αφήνει τις προτάσεις στο LLM του ReAct και τοποθετεί το Kev σε ξεχωριστό βήμα επαλήθευσης πριν δεσμευτούν επιλεγμένες ενέργειες.
Γιατί αξίζει να παρακολουθήσουμε αυτόν τον σχεδιασμό #
Η άποψή μου είναι ότι η πιο χρήσιμη ιδέα εδώ δεν είναι το ίδιο το Kev αλλά η πειθαρχία του διαχωρισμού. Ρωτήστε τον κώδικα ό,τι μπορεί να απαντήσει ο κώδικας. Ρωτήστε ένα μοντέλο μόνο ό,τι εξαρτάται από τη συνομιλία. Κρατήστε χωριστά αυτόν που προτείνει και αυτόν που επαληθεύει, ώστε το μοντέλο που ελέγχει μια ενέργεια να μην είναι εκείνο που την πρότεινε. Και κάντε την έξοδο του επαληθευτή μια πιθανότητα έναντι ενός κατωφλίου, ώστε η πύλη να είναι μια σύγκριση και όχι ένα κείμενο που κάποιος πρέπει να αναλύσει.
Αυτός ο σχεδιασμός κάνει επίσης ευανάγνωστα τα αδύναμα σημεία. Αν ένας έλεγχος αστοχήσει, μπορείτε να ρωτήσετε αν ήταν έλεγχος κατάστασης ή ερώτηση συνομιλίας. Αν τα κατώφλια είναι λάθος, είναι αριθμοί που μπορείτε να εξετάσετε. Η προειδοποίηση του ίδιου του άρθρου ότι οι πιθανότητες πρέπει να δοκιμάζονται μέσα στον βρόχο είναι το σωστό ένστικτο, και είναι καλύτερη στάση από το να θεωρείται ότι ένας επαληθευτής λειτουργεί επειδή ακούγεται λογικός.
Τα άνισα αποτελέσματα, αν μη τι άλλο, καθησυχάζουν για την εντιμότητα της αναφοράς. Ένα πλαίσιο που θα ισχυριζόταν ομοιόμορφα οφέλη παντού θα άξιζε περισσότερη καχυποψία από ένα που δείχνει οκτώ στους οκτώ στο Telecom, εννέα στους εννέα στην επιτυχία τριών εκτελέσεων του BFCL, μικτά αποτελέσματα τουλάχιστον μία φορά στο BFCL και μεταβλητά αποτελέσματα στο Airline. Το μοτίβο δίνει στους επαγγελματίες κάτι πάνω στο οποίο να σχεδιάσουν: τα ισχυρότερα τεκμήρια αφορούν την αξιοπιστία σε επαναλαμβανόμενες εκτελέσεις, και τα ασθενέστερα αφορούν το πεδίο όπου τα αποτελέσματα διαφέρουν ανά πράκτορα.
Τι να κάνετε με αυτό #
Για τους τεχνικούς αναγνώστες, το συμπέρασμα είναι αρχιτεκτονικό. Το LLM του πράκτορα, το βασικό prompt και τα εργαλεία μένουν αμετάβλητα στο JevAct, οπότε το επίπεδο επαλήθευσης είναι κάτι που προσθέτετε γύρω από έναν πράκτορα και όχι κάτι που εκπαιδεύετε μέσα του. Για τους ιδρυτές, η πρακτική ανάγνωση είναι στενότερη από τον τίτλο. Το άρθρο αναφέρει βελτιωμένη αξιοπιστία σε πολλά μοντέλα και benchmarks, με το Airline πιο μικτό, και οι συγκρίσεις του αξιολογούν ολόκληρο το harness και όχι τον κριτή μεμονωμένα. Οι κύριες συγκρίσεις δεν τεκμηριώνουν ποιο στοιχείο κερδίζει τη βελτίωση, αν και η μελέτη αφαίρεσης (ablation) του άρθρου στο Airline υποδηλώνει ότι η προγραμματιστική επαλήθευση εξηγεί μεγάλο μέρος της σε εκείνο το περιβάλλον.
Το ανοιχτό ερώτημα είναι το κεντρικό ερώτημα του ίδιου του άρθρου: αν ένα μοντέλο αποφάσεων μπορεί να λειτουργήσει ως επαληθευτής με κατώφλι πιθανότητας παράλληλα με εκτελέσιμους ελέγχους της κατάστασης των εργαλείων, όταν, όπως σημειώνουν οι συγγραφείς, οι πιθανότητές του δεν είναι εγγυημένα βαθμονομημένες ή σωστές. Τα αποτελέσματα στο Airline, όπου τα αποτελέσματα είναι μικρότερα και διαφέρουν ανά πράκτορα, είναι το πρώτο σημείο για να κοιτάξει κανείς. Αν αυτή η διακύμανση οφείλεται στους ελέγχους, στα κατώφλια ή στις πολιτικές που μεταγλωττίζονται είναι κάτι που τα δημοσιευμένα αποτελέσματα αφήνουν ανοιχτό, και είναι το πείραμα που θα ήθελα περισσότερο να δω στη συνέχεια.
Συχνές ερωτήσεις #
Τι είναι το JevAct; Το JevAct είναι ένα πλαίσιο επαλήθευσης κατά τον χρόνο εκτέλεσης από ερευνητές της IBM, που αναχαιτίζει επιλεγμένες ενέργειες του πράκτορα, δηλαδή κλήσεις εγγραφής και μεταβιβάσεις, πριν από την εκτέλεση. Μια πρόταση που επισημαίνεται επιστρέφει στον πράκτορα με στοχευμένη ανατροφοδότηση και περιορισμένη ευκαιρία αναθεώρησης. Το LLM του πράκτορα, το βασικό prompt και τα εργαλεία μένουν αμετάβλητα.
Τι κάνει το Kev στο JevAct; Το Kev είναι ένα μοντέλο αποφάσεων τύπου Jev ανοιχτού κώδικα που απαντά σε σταθερές ερωτήσεις με πιθανότητες αντί για παραγόμενο κείμενο. Στο JevAct απαντά στις ερωτήσεις που εξαρτώνται από τη συνομιλία, ενώ ο κώδικας ελέγχει γεγονότα διαθέσιμα στα αρχεία των εργαλείων. Το Kev δεν επιλέγει ενέργειες· ο πράκτορας εξακολουθεί να τις προτείνει.
Πώς αξιολογήθηκε το JevAct; Το άρθρο συγκρίνει το JevAct με ένα harness ReAct που χρησιμοποιεί το ίδιο LLM πράκτορα και στους δύο βραχίονες. Οι εργασίες καλύπτουν τα Airline και Telecom του τ²-bench και εργασίες κλήσης συναρτήσεων πολλαπλών γύρων στο BFCL, με την επιτυχία να αναφέρεται τόσο ως επιτυχία τουλάχιστον μία φορά σε τρεις εκτελέσεις όσο και ως επιτυχία και στις τρεις εκτελέσεις.
Βελτίωσε το JevAct κάθε πράκτορα σε κάθε benchmark; Όχι. Στο Telecom, και οι οκτώ πράκτορες βελτιώθηκαν και στα δύο μέτρα, και στο BFCL και οι εννέα βελτιώθηκαν στην επιτυχία τριών εκτελέσεων, ενώ τα αποτελέσματα τουλάχιστον μία φορά ήταν μικτά. Στο Airline τα αποτελέσματα ήταν μικρότερα και διέφεραν ανά πράκτορα, και οι συγγραφείς λένε ότι τα ευρήματα δεν τεκμηριώνουν ομοιόμορφα οφέλη.
Δείχνει το άρθρο ότι το μοντέλο αποφάσεων μόνο του οδηγεί τα οφέλη; Όχι. Επειδή το JevAct προσθέτει μεταγλωττισμένους ελέγχους και ευκαιρίες αναθεώρησης, οι κύριες συγκρίσεις αξιολογούν ολόκληρο το harness, όχι τον κριτή μεμονωμένα. Οι συγγραφείς σημειώνουν επίσης ότι οι πιθανότητες των μοντέλων αποφάσεων δεν είναι εγγυημένα βαθμονομημένες ή σωστές.
Βιβλιογραφία #
- Shoham, I., David, Y., Akrabi, O., Bilgory, E., Levy, I., Marreed, S., Zeltyn, S. and Shlomov, S., (2026). Think Before You Act: Decision Gate for LLM Agents ⧉. arXiv.
- Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K. and Cao, Y., (2022). ReAct: Synergizing Reasoning and Acting in Language Models ⧉. arXiv.
- Barres, V., Dong, H., Ray, S., Si, X. and Narasimhan, K., (2025). τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment ⧉. arXiv.
- TypeSafe AI, (2026). Introducing System One Models and Jev ⧉. TypeSafe AI.
- Palmer, J., (2026). KEV: Prefill-only Decision Models ⧉. GitHub.
- Xiang, Z. et al., (2024). GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning ⧉. arXiv.
- Chen, Z., Kang, M. and Li, B., (2025). ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning ⧉. arXiv.
- Li, Y., Miao, Y., Krishnan, R. and Padman, R., (2026). Jev-as-a-Judge: Accept When Confident, Escalate When Unsure ⧉. arXiv.
- Rao, D. and Callison-Burch, C., (2026). Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places ⧉. arXiv.
Τελευταία αναθεώρηση .
Αναδημοσίευση αυτού του άρθρου σε άλλες πλατφόρμες
Αντιγραφή διαμορφωμένου για Medium
# Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/](https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/) Το JevAct ελέγχει επιλεγμένες ενέργειες πρακτόρων LLM πριν εκτελεστούν. Έναντι του ReAct, τα οφέλη ήταν σταθερά σε Telecom και BFCL αλλά μικτά στο Airline. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/
Αντιγραφή διαμορφωμένου για Mastodon
Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau Το JevAct ελέγχει επιλεγμένες ενέργειες πρακτόρων LLM πριν εκτελεστούν. Έναντι του ReAct, τα οφέλη ήταν σταθερά σε Telecom και BFCL αλλά μικτά στο Airline. https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/
Αντιγραφή διαμορφωμένου για LinkedIn
Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau Το JevAct ελέγχει επιλεγμένες ενέργειες πρακτόρων LLM πριν εκτελεστούν. Έναντι του ReAct, τα οφέλη ήταν σταθερά σε Telecom και BFCL αλλά μικτά στο Airline. Ακολουθούν τα βασικά στρατηγικά συμπεράσματα: - Το πρόβλημα: η εκτέλεση ακολουθεί την πρόταση. Ένας πράκτορας που κλείνει μια πτήση, ακυρώνει μια παραγγελία ή αλλάζει μια ρύθμιση λογαριασμού κάνει κάτι που δεν αναιρείται αθόρυβα. - Τι είναι το JevAct. Το JevAct είναι ένα harness που ελέγχει επιλεγμένες προτάσεις πριν από την εκτέλεση. - Δύο είδη τεκμηρίων, μία πύλη. Ο σχεδιασμός στηρίζεται σε έναν διαχωρισμό ανάμεσα σε ό,τι μπορεί να επαληθευτεί ντετερμινιστικά και σε ό,τι δεν μπορεί. - Γιατί μοντέλο αποφάσεων και όχι κριτής LLM. Η προφανής εναλλακτική είναι ένας κριτής LLM που διαβάζει την πρόταση και γράφει μια ετυμηγορία. Ποια είναι η προσέγγιση του οργανισμού σας στις προκλήσεις που περιγράφονται σε αυτό το άρθρο; → https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/ #ΠράκτορεςLlm #ΕπαλήθευσηΠρακτόρων #ΕπαλήθευσηΚατάΤηνΕκτέλεση #ΜοντέλαΑποφάσεων #ΠράκτορεςΜεΕργαλεία Sebastien Rousseau | CC-BY-4.0
Παραπομπή σε αυτό το άρθρο
Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau
Το JevAct ελέγχει επιλεγμένες ενέργειες πρακτόρων LLM πριν εκτελεστούν. Έναντι του ReAct, τα οφέλη ήταν σταθερά σε Telecom και BFCL αλλά μικτά στο Airline.
BibTeX
@online{rousseau2026επαλήθευση,
author = {Rousseau, Sebastien},
title = {{Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/ ER -
Vancouver
Rousseau S. Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/
Chicago
Rousseau, Sebastien. "Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/.
APA
Rousseau, S. (2026, November 18). Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/
Αναδημοσίευση αυτού του άρθρου
Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau
Το JevAct ελέγχει επιλεγμένες ενέργειες πρακτόρων LLM πριν εκτελεστούν. Έναντι του ReAct, τα οφέλη ήταν σταθερά σε Telecom και BFCL αλλά μικτά στο Airline.
Αυτό το άρθρο διατίθεται με άδεια Creative Commons Attribution 4.0 International. Η αναδημοσίευση απαιτεί αναφορά στην κανονική διεύθυνση URL.
Επαλήθευση ενεργειών πρακτόρων AI πριν εκτελεστούν: το JevAct — Sebastien Rousseau Το JevAct ελέγχει επιλεγμένες ενέργειες πρακτόρων LLM πριν εκτελεστούν. Έναντι του ReAct, τα οφέλη ήταν σταθερά σε Telecom και BFCL αλλά μικτά στο Airline. Originally published at https://sebastienrousseau.com/el/2026-11-18-epalithefsi-energeion-praktoron-ai-prin-ektelestoyn/ by Sebastien Rousseau. Licensed under CC-BY-4.0.
