अधिकांश एजेंट लूप किसी टूल कॉल को उसी क्षण चला देते हैं जब मॉडल उसका प्रस्ताव करता है, और JevAct के परिणाम संकेत देते हैं कि निष्पादन से ठीक पहले रखा गया एक सस्ता, प्रायिकता-आधारित जांच-बिंदु टूल-उपयोगी एजेंट को अधिक विश्वसनीय बना सकता है, हालांकि लाभ बेंचमार्क के अनुसार काफ़ी बदलते हैं।
कार्यकारी सारांश
- LLM एजेंट बाहरी टूल के ज़रिए बढ़ते हुए परिणामकारी कार्रवाइयां करते हैं, फिर भी वे कार्रवाइयां अक्सर नीति अनुपालन या कार्य-पूर्णता के स्वतंत्र सत्यापन के बिना निष्पादित होती हैं।
- JevAct किसी डोमेन नीति को ऑफ़लाइन प्रश्नों, नियमों, निष्पादन-योग्य स्थिति जांचों और, जहां ज़रूरी हो, एक हैंड-ऑफ़ चेकलिस्ट में कंपाइल करता है।
- रनटाइम पर कोड टूल रिकॉर्ड के तथ्यों की जांच करता है, जबकि Kev, एक ओपन-सोर्स Jev-जैसा निर्णय मॉडल, वार्तालाप पर निर्भर प्रश्नों के उत्तर देता है।
- τ²-bench (Airline, Telecom) और BFCL पर ReAct हार्नेस की तुलना में, Telecom और BFCL की तीन-रन सफलता पर लाभ लगातार हैं, और Airline पर अधिक मिश्रित।
- लेखकों का अपना निष्कर्ष सतर्क है: निष्कर्ष संकेत देते हैं कि निष्पादन-योग्य सत्यापन के साथ संरचित निर्णय मॉडल विश्वसनीयता बढ़ा सकते हैं।
समस्या: प्रस्ताव के बाद सीधे निष्पादन #
जो एजेंट उड़ान बुक करता है, ऑर्डर रद्द करता है या खाते की कोई सेटिंग बदलता है, वह ऐसा कुछ कर रहा है जिसे चुपचाप पलटा नहीं जा सकता। असहज हिस्सा यह है कि मॉडल के सुझाव और उसके प्रभाव के बीच कितना कम खड़ा है। कई एजेंट लूप प्रस्तावित टूल कॉल को मॉडल के उसे बनाते ही निष्पादित कर देते हैं। कोई स्वतंत्र रूप से नहीं जांचता कि कार्रवाई डोमेन की नीति का पालन करती है या नहीं, या जिस कार्य को एजेंट पूरा मानता है वह वास्तव में पूरा हुआ है या नहीं।
यही अंतर "Think Before You Act: Decision Gate for LLM Agents" का शुरुआती बिंदु है, जो IBM के Iftach Shoham, Yuval David और सहयोगियों का 2026 का arXiv प्रीप्रिंट है और JevAct को प्रस्तुत करता है। यह कोई नया अवलोकन नहीं, लेकिन इसे सीधे कहना ज़रूरी है, क्योंकि एजेंट टूलिंग का बड़ा हिस्सा प्रस्तावक को बेहतर बनाने पर केंद्रित है। ReAct एजेंट तर्क और टूल उपयोग को बारी-बारी से चलाते हैं, और यह पैटर्न एक आम आधार-रेखा बन चुका है। Self-Refine और Reflexion जैसी परावर्तन पद्धतियां मॉडल भार अपडेट किए बिना बाद के प्रस्तावों या प्रयासों को सुधारने के लिए आलोचना और प्रतिक्रिया जोड़ती हैं। यह उपयोगी है, फिर भी ये पद्धतियां अपने आप किसी विशेष कार्रवाई को निष्पादन से ठीक पहले डोमेन नीति के विरुद्ध सत्यापित नहीं करतीं। JevAct जिस जांच की परवाह करता है, वह लूप में एक अलग बिंदु पर है: प्रस्ताव बन जाने के बाद और उसके लागू होने से पहले।
JevAct क्या है #
JevAct एक हार्नेस है जो चुनिंदा प्रस्तावों को निष्पादन से पहले जांचता है। इसे एक रनटाइम सत्यापन फ़्रेमवर्क बताया गया है जो चुनिंदा एजेंट कार्रवाइयों को रोकता है और प्रतिक्रिया-आधारित सुधार संभव बनाता है। यह अंतर्निहित एजेंट मॉडल से स्वतंत्र रूप से काम करता है और मॉडल के पैरामीटर या टूल में किसी बदलाव की मांग नहीं करता। मूल्यांकित सेटअप में एजेंट का LLM, मूल प्रॉम्प्ट और टूल अपरिवर्तित रहते हैं।
आर्किटेक्चर के स्तर पर, JevAct संदेश-प्रस्ताव और निष्पादन के बीच एक चयनात्मक जांच चरण डालकर ReAct एजेंट के हार्नेस को विस्तार देता है। "चयनात्मक" शब्द मायने रखता है। फ़्रेमवर्क हर संदेश की जांच नहीं करता; यह विशेष प्रकार की कार्रवाइयों को लक्ष्य बनाता है। पेपर में दो परिभाषित हैं। राइट कॉल परिवेश को बदलती है, जैसे बुकिंग, रद्दीकरण या कोई सेटिंग बदलकर। हैंड-ऑफ़ एजेंट के प्रयास को समाप्त करता है, या तो उपयोगकर्ता को किसी मनुष्य के पास भेजकर, या उपयोगकर्ता को यह बताकर कि अब और कुछ नहीं किया जा सकता। राइट वह जगह है जहां नीति उल्लंघन नुकसान करता है; हैंड-ऑफ़ वह जगह है जहां एजेंट बहुत जल्दी हार मान सकता है। संभावित रूप से अमान्य कार्रवाइयों और समय से पहले कार्य-समाप्ति की पहचान का फ़्रेमवर्क का घोषित लक्ष्य इन्हीं दो श्रेणियों से मेल खाता है।
जांच विफल होने पर प्रस्ताव बस रोका नहीं जाता। जांचें निष्पादन को टाल सकती हैं और एक निश्चित संशोधन बजट के भीतर, अस्थायी प्रतिक्रिया के साथ LLM से संशोधित प्रस्ताव मांग सकती हैं। पास होने वाला प्रस्ताव आगे बढ़ता है। चिह्नित प्रस्ताव लक्षित प्रतिक्रिया और संशोधन के सीमित अवसर के साथ एजेंट के पास लौटता है। और काम का बंटवारा स्पष्ट रहता है: कार्रवाइयों का प्रस्ताव अब भी एजेंट करता है, और Kev उन्हें नहीं चुनता।
दो तरह के साक्ष्य, एक गेट #
डिज़ाइन इस विभाजन पर टिका है कि क्या नियतात्मक रूप से सत्यापित किया जा सकता है और क्या नहीं। JevAct टूल-स्थिति तथ्यों के नियतात्मक सत्यापन को वार्तालाप संदर्भ के प्रायिकता-आधारित आकलन के साथ जोड़ता है। रनटाइम पर कोड टूल रिकॉर्ड में उपलब्ध तथ्यों की जांच करता है, और Kev वार्तालाप पर निर्भर प्रश्नों के उत्तर देता है।
यह विभाजन समझदारी भरा है। कुछ नीति-शर्तें किसी टूल के रिकॉर्ड में पड़े तथ्य हैं, और कोई प्रोग्राम किसी मॉडल की राय के बिना उन्हें पढ़ सकता है। अन्य शर्तें उसमें रहती हैं जो उपयोगकर्ता और एजेंट ने एक-दूसरे से कहा, जिसे कोई डेटाबेस लुकअप तय नहीं करेगा। पहली तरह की शर्तें कोड को और दूसरी मॉडल को सौंपने का अर्थ है कि मॉडल से केवल वही पूछा जाता है जिसका उत्तर कोड नहीं दे सकता।
ऑफ़लाइन आधा हिस्सा ही इसे व्यावहारिक रूप से समझाने योग्य बनाता है। एक कंपाइलर डोमेन नीति को प्रश्नों, नियमों, टूल स्थिति पर निष्पादन-योग्य जांचों और, जहां ज़रूरी हो, एक हैंड-ऑफ़ चेकलिस्ट में बदल देता है। दूसरे शब्दों में, JevAct डोमेन नीतियों को निष्पादन-योग्य स्थिति जांचों और संरचित प्रश्नों में कंपाइल करता है, जिनका मूल्यांकन एक प्रीफ़िल-ओनली निर्णय मॉडल करता है। लेखक कहते हैं कि वे एक ऐसे वर्कफ़्लो की नींव रखते हैं जो किसी निर्णय-मॉडल गेट के लिए डोमेन नीतियों को प्रश्नों, निर्णय नियमों, निष्पादन-योग्य स्थिति जांचों और हैंड-ऑफ़ चेकलिस्ट में कंपाइल करता है। यह कहने का विनम्र तरीका है, और मैं इसे शब्दशः लूंगा: दावा एक वर्कफ़्लो की नींव के बारे में है, किसी तैयार उत्पाद के बारे में नहीं।
LLM जज के बजाय निर्णय मॉडल क्यों #
स्पष्ट विकल्प एक LLM जज है जो प्रस्ताव पढ़कर निर्णय लिखे। पेपर की आपत्ति व्यावहारिक है। ऐसे जज की मुक्त-रूप व्याख्याओं की भी, गेट के उन पर कार्रवाई करने से पहले, व्याख्या करनी पड़ती है, और यह निर्णय किसी फ़्रंटियर मॉडल से कराना महंगा है। गेट को निर्णय चाहिए, निबंध नहीं।
निर्णय मॉडल इसी के लिए बने हैं। Jev ने ऐसे निर्णय मॉडल प्रस्तुत किए जो उत्पन्न पाठ के बजाय टाइप किए गए विकल्प, स्कोर और प्रायिकताएं लौटाते हैं। वे निश्चित प्रश्नों के लिए विकल्प और प्रायिकताएं लौटाते हैं, जिससे सीमा-आधारित जांचें सीधी हो जाती हैं। JevAct जिस मॉडल का उपयोग करता है वह प्रीफ़िल-ओनली है और LLM जनरेशन पर निर्भर हुए बिना प्रायिकता-आधारित निर्णय देता है। Kev एक ओपन-सोर्स Jev-प्रकार का निर्णय मॉडल है, जिसे चुनिंदा कार्रवाइयों के लागू होने से पहले एक अलग सत्यापन चरण में रखा गया है।
एक पेच है, और लेखक इसे स्वयं बताते हैं। निर्णय-मॉडल प्रायिकताओं के कैलिब्रेटेड या सही होने की गारंटी नहीं है, इसलिए उनके मूल्य को मान लेने के बजाय एजेंट लूप में परखना होगा। यही वाक्य पूरे अनुभवजन्य खंड की रूपरेखा तय करता है। केंद्रीय प्रश्न यह है कि क्या कोई निर्णय मॉडल निष्पादन-योग्य टूल-स्थिति जांचों के साथ एक प्रायिकता-सीमा वाले सत्यापक के रूप में काम कर सकता है। यह प्रयोग से उत्तर दिए जाने वाला प्रश्न है, और रोचक विवरण प्रयोग में ही है।
निर्णय मॉडलों पर संबंधित शोध इस बारे में मिश्रित तस्वीर देता है कि यह परीक्षण क्यों मायने रखता है। Li et al. वरीयता और साक्ष्य-आधारित तथ्यात्मकता पर प्रतिस्पर्धी परिणाम बताते हैं, लेकिन जहां व्युत्पत्ति आवश्यक हो वहां कमज़ोर प्रदर्शन। Rao और Callison-Burch मिश्रित रूब्रिक परिणाम और LLM जजों के साथ अतिव्यापी त्रुटियां बताते हैं। जो निर्णय मॉडल कुछ निर्णय-कार्यों में मज़बूत और कुछ में कमज़ोर हो, वह ठीक उसी तरह का घटक है जिसे आप अकेले भरोसा करने के बजाय नियतात्मक जांचों के साथ जोड़ना चाहेंगे।
तुलना कैसे की गई #
JevAct की तुलना एक ReAct हार्नेस से की गई है, जिसमें दोनों पक्षों में वही एजेंट LLM है। कार्य τ²-bench के Airline और Telecom तथा BFCL के बहु-चरणीय फ़ंक्शन-कॉलिंग कार्यों तक फैले हैं। दोनों पक्षों में एजेंट LLM को स्थिर रखना पूछे जा रहे प्रश्न के लिए सही नियंत्रण है: कोई भी अंतर हार्नेस से आता है, किसी मज़बूत या कमज़ोर प्रस्तावक से नहीं।
पेपर अपने परिणाम Table 2 से लिए गए pass^3 आंकड़ों के साथ, कम से कम एक बार की सफलता सहित, प्रस्तुत करता है। ये दोनों माप अलग-अलग दिशाओं में खींचते हैं, और उनके बीच का अंतर जानकारीपूर्ण निकलता है। तीनों रन में सफलता उस एजेंट को पुरस्कृत करती है जो हर बार सही करता है। कम से कम एक बार की सफलता उस एजेंट को पुरस्कृत करती है जो किसी भी प्रयास में सही कर दे। बुरी कार्रवाइयां पकड़ने वाले सत्यापक से पहले माप को दूसरे की तुलना में अधिक भरोसेमंद ढंग से मदद मिलनी चाहिए, और परिणाम इस पाठ से मेल खाते हैं, हालांकि पेपर केवल इतना कहता है कि BFCL का पैटर्न कुछ कार्यों पर अधिक दोहराने योग्य प्रदर्शन के अनुरूप है, इसलिए बाकी को मैं निष्कर्ष नहीं, व्याख्या के रूप में चिह्नित करूंगा।
आंकड़े क्या दिखाते हैं #
Telecom पर सभी आठ एजेंट कम से कम एक बार की सफलता और तीनों रन की सफलता, दोनों में सुधरते हैं। यह पेपर का सबसे साफ़ परिणाम है: परखे गए एजेंट में, किसी भी माप पर, कोई अपवाद नहीं।
BFCL पर सभी नौ एजेंट तीन-रन सफलता में सुधरते हैं, लेकिन कम से कम एक बार वाले परिणाम मिश्रित हैं। इसे ध्यान से पढ़िए। BFCL पर कड़ा माप परखे गए हर एजेंट के लिए 0.1 से 9.6 अंक तक बढ़ता है; उदार माप चार एजेंट के लिए सुधरता है और पांच के लिए घटता है। यदि आपको इसकी परवाह है कि एजेंट हर बार सही व्यवहार करे, तो यह अनुकूल दिशा है। यदि आपको इसकी परवाह है कि दोबारा प्रयास अंततः सफल हो सकता है या नहीं, तो यहां लाभ स्थापित नहीं है।
Airline कमज़ोर कड़ी है। Airline पर प्रभाव छोटे हैं और एजेंट के अनुसार बदलते हैं। परिणामों का सारांश इसे Telecom और BFCL पर विशेष रूप से लगातार लाभ के रूप में रखता है, जबकि Airline पर प्रदर्शन अधिक मिश्रित है। इसे पढ़ने वाले संस्थापक को इसे "सब कुछ सुधारता है" तक नहीं बढ़ाना चाहिए। लेखक कई मॉडलों और बेंचमार्क पर एजेंट विश्वसनीयता में सुधार बताते हैं, लेकिन Airline पर लाभ छोटे और मिश्रित हैं, और वे कहते हैं कि उनके निष्कर्ष एक समान लाभ स्थापित नहीं करते। पेपर सावधान करता है कि 50 Airline कार्यों में एक अकेला कार्य स्कोर को 2 प्रतिशत अंक खिसका देता है, इसलिए छोटे अंतरों को सावधानी से पढ़ना चाहिए; इससे आगे, मैं यह अनुमान नहीं लगाऊंगा कि Airline अलग व्यवहार क्यों करता है।
समग्र पाठ को लेखकों ने स्वयं सशर्त रखा है: निष्कर्ष संकेत देते हैं कि संरचित निर्णय मॉडलों को निष्पादन-योग्य सत्यापन के साथ जोड़ने से टूल-उपयोगी LLM एजेंट की विश्वसनीयता बढ़ सकती है। "संकेत देते हैं" सही क्रिया है। यह एक आशाजनक परिणाम है, प्रमाण नहीं।
तुलना क्या अलग करती है और क्या नहीं #
एक सीमा आम तौर पर मिलने वाले महत्व से अधिक की हक़दार है। क्योंकि JevAct कंपाइल की गई जांचें और संशोधन के अवसर जोड़ता है, तुलनाएं पूरे हार्नेस का मूल्यांकन करती हैं, अकेले जज का नहीं। जो कोई यह निष्कर्ष निकालना चाहता है कि भारी काम निर्णय मॉडल कर रहा है, उसके लिए यह एक बड़ी चेतावनी है। लाभ Kev की प्रायिकताओं से, निष्पादन-योग्य स्थिति जांचों से, संशोधन के अतिरिक्त अवसरों से, या इनके किसी मेल से आ सकते हैं। मुख्य तुलनाएं इन्हें अलग नहीं करतीं।
मेरा तर्क है कि यह कोई दोष कम और इसका ईमानदार वर्णन अधिक है कि एक सिस्टम पेपर क्या दिखा सकता है। लेखकों का प्रश्न, कि क्या कोई निर्णय मॉडल निष्पादन-योग्य टूल-स्थिति जांचों के साथ एक प्रायिकता-सीमा वाले सत्यापक के रूप में काम कर सकता है, जोड़ी के स्तर पर उत्तरित होता है, क्योंकि "के साथ" प्रश्न में ही है। लेकिन यह तय करने वाले पाठक को, कि प्रयास कहां लगाया जाए, इसे ध्यान में रखना चाहिए। यदि आप कुछ ऐसा ही बना रहे हैं, तो इस साक्ष्य से यह निष्कर्ष नहीं निकाल सकते कि अकेला निर्णय मॉडल सुधार ले आएगा, न ही यह कि अकेली कोड जांचें ले आएंगी।
इसका यह भी अर्थ है कि कैलिब्रेशन वाली चेतावनी बनी रहती है। प्रायिकताओं के कैलिब्रेटेड या सही होने की गारंटी नहीं, और हार्नेस-स्तर का परिणाम उस अनिश्चितता को नहीं हटाता। यह दिखाता है कि परखे गए बेंचमार्क पर पूरी व्यवस्था ने मदद की।
अन्य गार्ड डिज़ाइनों में इसका स्थान #
JevAct एजेंट कार्रवाइयों की सुरक्षा के तरीकों के एक भीड़ भरे समूह में जुड़ता है, और अंतर शिक्षाप्रद हैं। GuardAgent उपयोगकर्ता-परिभाषित गार्ड आवश्यकताओं से सत्यापन कोड बनाने और चलाने के लिए एक अलग एजेंट का उपयोग करता है। Zwerdling et al. कंपनी नीतियों को निष्पादन-योग्य गार्ड में कंपाइल करते हैं जो टूल कार्रवाइयों से पहले अनुपालन जांचते हैं। AgentSpec रनटाइम बाधाओं को ट्रिगर, प्रेडिकेट और प्रवर्तन कार्रवाइयों के रूप में दर्शाता है। ShieldAgent नीति दस्तावेज़ों से सत्यापन-योग्य नियम निकालता है।
अन्य सत्यापन के लिए ही मॉडलों पर टिके हैं। ToolSafe प्रस्तावित टूल कॉल का आकलन करने और प्रतिक्रिया लौटाने के लिए एक सीखी हुई सुरक्षा बाधा का उपयोग करता है, जबकि PolicyGuard और PolicyGuide नीति-पालन और वर्कफ़्लो मार्गदर्शन के लिए मॉडल-आधारित सत्यापकों का उपयोग करते हैं। CaMeL अलग रास्ता अपनाता है, विश्वसनीय नियंत्रण प्रवाह और अविश्वसनीय डेटा को अलग करके सुरक्षा लागू करता है।
इस पृष्ठभूमि में JevAct का विशिष्ट चुनाव उसकी खास जोड़ी है। नीतियों को निष्पादन-योग्य गार्ड में कंपाइल करने वाले शोध की तरह, यह नीति को टूल स्थिति पर जांचों में बदलता है। मॉडल-आधारित सत्यापकों की तरह, यह उन निर्णयों के लिए मॉडल का उपयोग करता है जो कोड नहीं कर सकता। यह जो जोड़ता है वह है निश्चित-विकल्प प्रायिकताएं लौटाने वाला एक निर्णय मॉडल, जिसका उपयोग चुनिंदा कार्रवाइयों के निष्पादन से पहले ऑनलाइन होता है, संशोधन के लिए प्रतिक्रिया के साथ। यह प्रस्ताव ReAct LLM पर छोड़ता है और Kev को चुनिंदा कार्रवाइयों के लागू होने से पहले एक अलग सत्यापन चरण में रखता है।
यह डिज़ाइन देखने लायक क्यों है #
मेरे विचार में यहां सबसे उपयोगी विचार Kev स्वयं नहीं, बल्कि विभाजन का अनुशासन है। कोड से वही पूछिए जिसका उत्तर कोड दे सकता है। मॉडल से केवल वही पूछिए जो वार्तालाप पर निर्भर है। प्रस्तावक और सत्यापक को अलग रखिए, ताकि कार्रवाई जांचने वाला मॉडल वही न हो जिसने उसे सुझाया। और सत्यापक के आउटपुट को एक सीमा के विरुद्ध प्रायिकता बनाइए, ताकि गेट एक तुलना हो, न कि पाठ का टुकड़ा जिसे किसी को पार्स करना पड़े।
यह डिज़ाइन कमज़ोर बिंदुओं को भी पढ़ने योग्य बनाता है। यदि कोई जांच गलत चलती है, तो आप पूछ सकते हैं कि वह स्थिति जांच थी या वार्तालाप संबंधी प्रश्न। यदि सीमाएं गलत हैं, तो वे संख्याएं हैं जिन्हें आप परख सकते हैं। पेपर की अपनी चेतावनी, कि प्रायिकताओं को लूप में परखना ज़रूरी है, सही प्रवृत्ति है, और यह इस धारणा से बेहतर रुख है कि कोई सत्यापक इसलिए काम करता है क्योंकि वह तर्कसंगत लगता है।
असमान परिणाम, यदि कुछ हैं, तो रिपोर्टिंग की ईमानदारी के बारे में आश्वस्त करते हैं। हर जगह एक समान लाभ का दावा करने वाला फ़्रेमवर्क उस फ़्रेमवर्क से अधिक संदेह का पात्र होगा जो Telecom पर आठ में से आठ, BFCL तीन-रन सफलता पर नौ में से नौ, BFCL पर मिश्रित कम से कम एक बार वाले परिणाम, और Airline पर परिवर्तनशील प्रभाव दिखाता है। यह पैटर्न व्यवहार में काम करने वालों को योजना बनाने के लिए आधार देता है: सबसे मज़बूत साक्ष्य दोहराए गए रनों में विश्वसनीयता का है, और सबसे कमज़ोर उस डोमेन में जहां प्रभाव एजेंट के अनुसार बदलते हैं।
इसके साथ क्या करें #
तकनीकी पाठकों के लिए निष्कर्ष आर्किटेक्चर से जुड़ा है। JevAct में एजेंट का LLM, मूल प्रॉम्प्ट और टूल अपरिवर्तित रहते हैं, इसलिए सत्यापन परत कुछ ऐसा है जिसे आप एजेंट के चारों ओर जोड़ते हैं, न कि उसमें प्रशिक्षित करते हैं। संस्थापकों के लिए व्यावहारिक पाठ शीर्षक से संकरा है। पेपर कई मॉडलों और बेंचमार्क पर बेहतर विश्वसनीयता बताता है, Airline पर अधिक मिश्रित, और उसकी तुलनाएं अकेले जज के बजाय पूरे हार्नेस का मूल्यांकन करती हैं। मुख्य तुलनाएं यह स्थापित नहीं करतीं कि सुधार किस घटक से आता है, हालांकि पेपर का Airline एब्लेशन संकेत देता है कि उस सेटिंग में इसका बड़ा हिस्सा प्रोग्रामेटिक सत्यापन से आता है।
खुला प्रश्न पेपर का अपना केंद्रीय प्रश्न है: क्या कोई निर्णय मॉडल निष्पादन-योग्य टूल-स्थिति जांचों के साथ एक प्रायिकता-सीमा वाले सत्यापक के रूप में काम कर सकता है, जब, जैसा लेखक नोट करते हैं, उसकी प्रायिकताओं के कैलिब्रेटेड या सही होने की गारंटी नहीं है। Airline के परिणाम, जहां प्रभाव छोटे हैं और एजेंट के अनुसार बदलते हैं, पहले देखने की जगह हैं। यह भिन्नता जांचों, सीमाओं या कंपाइल की जा रही नीतियों में से किससे आती है, इसे रिपोर्ट किए गए परिणाम खुला छोड़ते हैं, और यही वह प्रयोग है जिसे मैं आगे सबसे अधिक देखना चाहूंगा।
अक्सर पूछे जाने वाले प्रश्न #
JevAct क्या है? JevAct IBM शोधकर्ताओं का एक रनटाइम सत्यापन फ़्रेमवर्क है जो चुनिंदा एजेंट कार्रवाइयों, यानी राइट कॉल और हैंड-ऑफ़, को निष्पादन से पहले रोकता है। चिह्नित प्रस्ताव लक्षित प्रतिक्रिया और संशोधन के सीमित अवसर के साथ एजेंट के पास लौटता है। एजेंट का LLM, मूल प्रॉम्प्ट और टूल अपरिवर्तित रहते हैं।
JevAct में Kev क्या करता है? Kev एक ओपन-सोर्स Jev-जैसा निर्णय मॉडल है जो निश्चित प्रश्नों के उत्तर उत्पन्न पाठ के बजाय प्रायिकताओं में देता है। JevAct में यह वार्तालाप पर निर्भर प्रश्नों के उत्तर देता है, जबकि कोड टूल रिकॉर्ड में उपलब्ध तथ्यों की जांच करता है। Kev कार्रवाइयां नहीं चुनता; उनका प्रस्ताव अब भी एजेंट करता है।
JevAct का मूल्यांकन कैसे किया गया? पेपर JevAct की तुलना एक ReAct हार्नेस से करता है, जिसमें दोनों पक्षों में वही एजेंट LLM है। कार्य τ²-bench के Airline और Telecom तथा BFCL के बहु-चरणीय फ़ंक्शन-कॉलिंग कार्यों तक फैले हैं, और सफलता तीन रन में कम से कम एक बार तथा तीनों रन में सफलता, दोनों रूपों में बताई गई है।
क्या JevAct ने हर बेंचमार्क पर हर एजेंट को सुधारा? नहीं। Telecom पर सभी आठ एजेंट दोनों मापों पर सुधरे, और BFCL पर सभी नौ तीन-रन सफलता में सुधरे, जबकि कम से कम एक बार वाले परिणाम मिश्रित रहे। Airline पर प्रभाव छोटे थे और एजेंट के अनुसार बदले, और लेखक कहते हैं कि निष्कर्ष एक समान लाभ स्थापित नहीं करते।
क्या पेपर दिखाता है कि लाभ अकेले निर्णय मॉडल से आते हैं? नहीं। क्योंकि JevAct कंपाइल की गई जांचें और संशोधन के अवसर जोड़ता है, मुख्य तुलनाएं पूरे हार्नेस का मूल्यांकन करती हैं, अकेले जज का नहीं। लेखक यह भी नोट करते हैं कि निर्णय-मॉडल प्रायिकताओं के कैलिब्रेटेड या सही होने की गारंटी नहीं है।
संदर्भ #
- Shoham, I., David, Y., Akrabi, O., Bilgory, E., Levy, I., Marreed, S., Zeltyn, S. and Shlomov, S., (2026). Think Before You Act: Decision Gate for LLM Agents ⧉. arXiv.
- Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K. and Cao, Y., (2022). ReAct: Synergizing Reasoning and Acting in Language Models ⧉. arXiv.
- Barres, V., Dong, H., Ray, S., Si, X. and Narasimhan, K., (2025). τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment ⧉. arXiv.
- TypeSafe AI, (2026). Introducing System One Models and Jev ⧉. TypeSafe AI.
- Palmer, J., (2026). KEV: Prefill-only Decision Models ⧉. GitHub.
- Xiang, Z. et al., (2024). GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning ⧉. arXiv.
- Chen, Z., Kang, M. and Li, B., (2025). ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning ⧉. arXiv.
- Li, Y., Miao, Y., Krishnan, R. and Padman, R., (2026). Jev-as-a-Judge: Accept When Confident, Escalate When Unsure ⧉. arXiv.
- Rao, D. and Callison-Burch, C., (2026). Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places ⧉. arXiv.
अंतिम समीक्षा .
इस लेख को क्रॉस-पोस्ट करें
Medium के लिए प्रारूप कॉपी करें
# एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/](https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/) JevAct चुनिंदा LLM एजेंट कार्रवाइयों को चलने से पहले जांचता है। समान-मॉडल ReAct की तुलना में Telecom और BFCL पर लाभ लगातार रहे, पर Airline पर मिश्रित। Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/
Mastodon के लिए प्रारूप कॉपी करें
एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau JevAct चुनिंदा LLM एजेंट कार्रवाइयों को चलने से पहले जांचता है। समान-मॉडल ReAct की तुलना में Telecom और BFCL पर लाभ लगातार रहे, पर Airline पर मिश्रित। https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/
LinkedIn के लिए फ़ॉर्मेट की गई कॉपी
एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau JevAct चुनिंदा LLM एजेंट कार्रवाइयों को चलने से पहले जांचता है। समान-मॉडल ReAct की तुलना में Telecom और BFCL पर लाभ लगातार रहे, पर Airline पर मिश्रित।. यहाँ मुख्य रणनीतिक निष्कर्ष हैं: - समस्या: प्रस्ताव के बाद सीधे निष्पादन. जो एजेंट उड़ान बुक करता है, ऑर्डर रद्द करता है या खाते की कोई सेटिंग बदलता है, वह ऐसा कुछ कर रहा है जिसे चुपचाप पलटा नहीं जा सकता। असहज हिस्सा यह है कि मॉडल के सुझाव और उसके प्रभाव के बीच कितना कम खड़ा है। कई एजेंट… - JevAct क्या है. JevAct एक हार्नेस है जो चुनिंदा प्रस्तावों को निष्पादन से पहले जांचता है। इसे एक रनटाइम सत्यापन फ़्रेमवर्क बताया गया है जो चुनिंदा एजेंट कार्रवाइयों को रोकता है और प्रतिक्रिया-आधारित सुधार संभव बनाता है। यह… - दो तरह के साक्ष्य, एक गेट. डिज़ाइन इस विभाजन पर टिका है कि क्या नियतात्मक रूप से सत्यापित किया जा सकता है और क्या नहीं। JevAct टूल-स्थिति तथ्यों के नियतात्मक सत्यापन को वार्तालाप संदर्भ के प्रायिकता-आधारित आकलन के साथ जोड़ता है। रनटाइम पर कोड… - LLM जज के बजाय निर्णय मॉडल क्यों. स्पष्ट विकल्प एक LLM जज है जो प्रस्ताव पढ़कर निर्णय लिखे। पेपर की आपत्ति व्यावहारिक है। ऐसे जज की मुक्त-रूप व्याख्याओं की भी, गेट के उन पर कार्रवाई करने से पहले, व्याख्या करनी पड़ती है, और यह निर्णय किसी फ़्रंटियर… इस लेख में उल्लिखित चुनौतियों के प्रति आपके संगठन का दृष्टिकोण क्या है? → https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/ #Llmएजेंट #एजेंटसत्यापन #रनटाइमसत्यापन #निर्णयमॉडल #टूलउपयोगीएजेंट Sebastien Rousseau | CC-BY-4.0
इस लेख को उद्धृत करें
एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau
JevAct चुनिंदा LLM एजेंट कार्रवाइयों को चलने से पहले जांचता है। समान-मॉडल ReAct की तुलना में Telecom और BFCL पर लाभ लगातार रहे, पर Airline पर मिश्रित।
BibTeX
@online{rousseau2026एज,
author = {Rousseau, Sebastien},
title = {{एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/ ER -
Vancouver
Rousseau S. एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/
Chicago
Rousseau, Sebastien. "एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/.
APA
Rousseau, S. (2026, November 18). एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/
इस लेख को पुनः प्रकाशित करें
एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau
JevAct चुनिंदा LLM एजेंट कार्रवाइयों को चलने से पहले जांचता है। समान-मॉडल ReAct की तुलना में Telecom और BFCL पर लाभ लगातार रहे, पर Airline पर मिश्रित।
यह लेख लाइसेंस के अंतर्गत है Creative Commons Attribution 4.0 International. पुनः प्रकाशन के लिए कैनोनिकल URL का श्रेय आवश्यक है।
एजेंट की कार्रवाई चलने से पहले सत्यापन: JevAct का निर्णय-मॉडल गेट — Sebastien Rousseau JevAct चुनिंदा LLM एजेंट कार्रवाइयों को चलने से पहले जांचता है। समान-मॉडल ReAct की तुलना में Telecom और BFCL पर लाभ लगातार रहे, पर Airline पर मिश्रित। Originally published at https://sebastienrousseau.com/hi/2026-11-18-ejent-ki-karravai-chalane-pahale-satyapan/ by Sebastien Rousseau. Licensed under CC-BY-4.0.
