Sebastien Rousseau

LLM एजंट

एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट

बहुतांश एजंट लूप मॉडेलने साधन कॉल सुचवताच तो चालवतात, आणि JevAct चे निकाल सूचित करतात की अंमलबजावणीच्या अगदी आधी ठेवलेला स्वस्त, संभाव्यता-आधारित तपासणी-बिंदू साधने वापरणाऱ्या एजंटना अधिक विश्वासार्ह बनवू शकतो, जरी फायदा बेंचमार्कनुसार मोठ्या प्रमाणात बदलतो.

11 मिनिटे वाचन
Banner for: एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट

बहुतांश एजंट लूप मॉडेलने साधन कॉल सुचवताच तो चालवतात, आणि JevAct चे निकाल सूचित करतात की अंमलबजावणीच्या अगदी आधी ठेवलेला स्वस्त, संभाव्यता-आधारित तपासणी-बिंदू साधने वापरणाऱ्या एजंटना अधिक विश्वासार्ह बनवू शकतो, जरी फायदा बेंचमार्कनुसार मोठ्या प्रमाणात बदलतो.

कार्यकारी सारांश

  • LLM एजंट वाढत्या प्रमाणात बाह्य साधनांद्वारे परिणामकारक कृती करतात, तरीही त्या कृती अनेकदा धोरण-अनुपालनाची किंवा कार्य-पूर्ततेची स्वतंत्र पडताळणी न करता अंमलात येतात.
  • JevAct एखादे क्षेत्र-धोरण ऑफलाइन संकलित करून त्याचे प्रश्न, नियम, कार्यान्वित करता येणाऱ्या स्थिती-तपासण्या आणि गरजेनुसार हँड-ऑफ तपासणी-यादी बनवते.
  • रनटाइमला कोड साधनांच्या नोंदींमधील तथ्ये तपासतो, तर Kev, एक ओपन-सोर्स Jev-सदृश निर्णय-मॉडेल, संभाषणावर अवलंबून असलेल्या प्रश्नांची उत्तरे देते.
  • τ²-bench (Airline, Telecom) आणि BFCL वर ReAct हार्नेसच्या तुलनेत, Telecom वर आणि BFCL च्या तीन-फेऱ्यांच्या यशात फायदा सातत्यपूर्ण आहे, आणि Airline वर अधिक संमिश्र.
  • लेखकांची स्वतःची मांडणी सावध आहे: निष्कर्ष सूचित करतात की संरचित निर्णय-मॉडेल आणि कार्यान्वित पडताळणी एकत्र केल्यास विश्वासार्हता सुधारू शकते.

समस्या: प्रस्तावापाठोपाठ अंमलबजावणी #

जो एजंट विमान तिकीट बुक करतो, ऑर्डर रद्द करतो किंवा खात्याची सेटिंग बदलतो, तो असे काहीतरी करत असतो जे शांतपणे उलटवता येत नाही. अस्वस्थ करणारी बाब म्हणजे मॉडेलची सूचना आणि तिचा परिणाम यांच्यामध्ये किती कमी काही उभे असते. अनेक एजंट लूप मॉडेलने साधन कॉल तयार करताच तो अंमलात आणतात. कृती क्षेत्राच्या धोरणाशी सुसंगत आहे का, किंवा एजंटला पूर्ण वाटणारे कार्य खरोखर पूर्ण झाले आहे का, हे कोणीही स्वतंत्रपणे तपासत नाही.

हीच तफावत "Think Before You Act: Decision Gate for LLM Agents" या 2026 मधील arXiv प्रीप्रिंटचा प्रारंभबिंदू आहे. IBM मधील इफ्ताख शोहम (Iftach Shoham), युवल डेव्हिड (Yuval David) आणि सहकाऱ्यांच्या या प्रीप्रिंटमध्ये JevAct ची ओळख करून दिली आहे. हे निरीक्षण नवे नाही, पण ते स्पष्टपणे मांडण्यासारखे आहे, कारण एजंटसंबंधी बरीचशी साधने प्रस्तावकाला अधिक चांगले बनवण्यावर लक्ष केंद्रित करतात. ReAct एजंट तर्क आणि साधन-वापर एकाआड एक करतात, आणि हा नमुना एक सामान्य आधाररेषा बनला आहे. Self-Refine आणि Reflexion सारख्या चिंतन पद्धती मॉडेलचे वजन (weights) न बदलता नंतरचे प्रस्ताव किंवा प्रयत्न सुधारण्यासाठी टीका आणि अभिप्राय जोडतात. हे उपयुक्त असले तरी, त्या पद्धती स्वतःहून एखादी विशिष्ट कृती अंमलबजावणीच्या अगदी आधी क्षेत्र-धोरणाशी पडताळत नाहीत. JevAct ला महत्त्वाची वाटणारी तपासणी लूपमधील वेगळ्या बिंदूवर बसते: प्रस्ताव अस्तित्वात आल्यानंतर आणि तो अंमलात जाण्याआधी.

JevAct म्हणजे काय #

JevAct हा असा हार्नेस आहे जो निवडक प्रस्ताव अंमलबजावणीपूर्वी तपासतो. त्याचे वर्णन रनटाइम पडताळणी चौकट असे केले आहे, जी निवडक एजंट कृती अडवते आणि अभिप्राय-आधारित दुरुस्ती शक्य करते. ती मूळ एजंट मॉडेलपासून स्वतंत्रपणे कार्य करते आणि मॉडेलच्या पॅरामीटर्समध्ये किंवा साधनांमध्ये कोणताही बदल मागत नाही. मूल्यमापन केलेल्या रचनेत एजंटचे LLM, मूळ प्रॉम्प्ट आणि साधने बदलत नाहीत.

रचनेच्या दृष्टीने, JevAct संदेश-प्रस्ताव आणि अंमलबजावणी यांच्यामध्ये एक निवडक तपासणी-टप्पा घालून ReAct एजंटच्या हार्नेसला पूरक बनवते. "निवडक" हा शब्द महत्त्वाचा आहे. ही चौकट प्रत्येक संदेश तपासत नाही; ती विशिष्ट प्रकारच्या कृतींना लक्ष्य करते. शोधनिबंधात दोन प्रकार परिभाषित आहेत. राइट कॉल (write call) वातावरण बदलतो, उदाहरणार्थ बुकिंग, रद्द करणे किंवा सेटिंग बदलणे. हँड-ऑफ (hand-off) एजंटचा प्रयत्न संपवतो, एकतर वापरकर्त्याला माणसाकडे सोपवून किंवा आता काहीही करता येणार नाही असे वापरकर्त्याला सांगून. धोरण-उल्लंघन राइटमध्ये नुकसान करते; हँड-ऑफमध्ये एजंट खूप लवकर हार मानू शकतो. संभाव्यतः अवैध कृती आणि अकाली कार्य-समाप्ती ओळखणे हे चौकटीचे घोषित उद्दिष्ट नेमके या दोन वर्गांशी जुळते.

तपासणी अयशस्वी झाली, तर प्रस्ताव फक्त अडवला जात नाही. तपासण्या अंमलबजावणी पुढे ढकलू शकतात आणि तात्पुरत्या अभिप्रायासह LLM कडून सुधारित प्रस्ताव मागू शकतात, एका निश्चित सुधारणा-मर्यादेच्या अधीन. उत्तीर्ण प्रस्ताव पुढे जातो. ध्वजांकित प्रस्ताव नेमक्या अभिप्रायासह आणि सुधारणेच्या मर्यादित संधीसह एजंटकडे परत जातो. आणि कामाची विभागणी स्पष्ट राहते: कृती अजूनही एजंटच सुचवतो, आणि Kev त्या निवडत नाही.

दोन प्रकारचे पुरावे, एकच गेट #

ही रचना निर्धारकपणे काय पडताळता येते आणि काय नाही या विभागणीवर उभी आहे. JevAct साधन-स्थितीतील तथ्यांची निर्धारक पडताळणी आणि संभाषणाच्या संदर्भाचे संभाव्यतात्मक मूल्यांकन एकत्र करते. रनटाइमला कोड साधनांच्या नोंदींमध्ये उपलब्ध तथ्ये तपासतो, आणि Kev संभाषणावर अवलंबून असलेल्या प्रश्नांची उत्तरे देते.

ही विभागणी विवेकी आहे. काही धोरण-अटी म्हणजे साधनाच्या नोंदींमधील तथ्ये असतात, आणि प्रोग्राम कोणत्याही मॉडेलच्या मताशिवाय ती वाचू शकतो. इतर अटी वापरकर्ता आणि एजंट एकमेकांना काय म्हणाले यात असतात, ज्याचा निकाल कोणताही डेटाबेस-शोध लावू शकत नाही. पहिला प्रकार कोडकडे आणि दुसरा मॉडेलकडे सोपवल्याने मॉडेलला फक्त त्याच गोष्टी विचारल्या जातात ज्यांची उत्तरे कोड देऊ शकत नाही.

ऑफलाइन अर्धा भागच हे वर्णन करणे व्यवहार्य बनवतो. एक कंपायलर क्षेत्र-धोरणाचे रूपांतर प्रश्न, नियम, साधन-स्थितीवरील कार्यान्वित तपासण्या आणि गरजेनुसार हँड-ऑफ तपासणी-यादी यांत करतो. दुसऱ्या शब्दांत, JevAct क्षेत्र-धोरणे कार्यान्वित स्थिती-तपासण्यांमध्ये आणि केवळ-प्रीफिल निर्णय-मॉडेलद्वारे मूल्यांकित होणाऱ्या संरचित प्रश्नांमध्ये संकलित करते. लेखक म्हणतात की ते अशा कार्यप्रवाहाचा पाया घालत आहेत जो क्षेत्र-धोरणे निर्णय-मॉडेल गेटसाठी प्रश्न, निर्णय-नियम, कार्यान्वित स्थिती-तपासण्या आणि हँड-ऑफ तपासणी-याद्यांमध्ये संकलित करतो. ही विनम्र मांडणी आहे, आणि मी ती शब्दशः स्वीकारीन: दावा कार्यप्रवाहाच्या पायाबद्दल आहे, तयार उत्पादनाबद्दल नव्हे.

LLM परीक्षकाऐवजी निर्णय-मॉडेल का #

स्पष्ट पर्याय म्हणजे LLM परीक्षक, जो प्रस्ताव वाचतो आणि निकाल लिहितो. शोधनिबंधाचा आक्षेप व्यावहारिक आहे. अशा परीक्षकाची मुक्त-स्वरूपातील स्पष्टीकरणे गेट त्यावर कृती करण्यापूर्वी पुन्हा अर्थ लावून वाचावी लागतात, आणि हा निर्णय अग्रगण्य (frontier) मॉडेलने घेणे खर्चिक असते. गेटला निर्णय हवा असतो, निबंध नव्हे.

निर्णय-मॉडेल त्यासाठीच बनवलेली असतात. Jev ने अशी निर्णय-मॉडेल सादर केली जी निर्माण केलेल्या मजकुराऐवजी टाइप केलेले पर्याय, गुण आणि संभाव्यता परत देतात. ती निश्चित प्रश्नांसाठी पर्याय आणि संभाव्यता देतात, त्यामुळे उंबरठा-आधारित तपासण्या सरळसोप्या होतात. JevAct वापरत असलेले मॉडेल केवळ-प्रीफिल आहे आणि LLM निर्मितीवर विसंबून न राहता संभाव्यता-आधारित निर्णय देते. Kev हे ओपन-सोर्स Jev-प्रकारचे निर्णय-मॉडेल आहे, जे निवडक कृती अंमलात जाण्याआधी एका स्वतंत्र पडताळणी-टप्प्यात ठेवलेले आहे.

यात एक मेख आहे, आणि लेखक ती स्वतः सांगतात. निर्णय-मॉडेलच्या संभाव्यता अचूकपणे कॅलिब्रेटेड किंवा बरोबर असतीलच याची हमी नाही, म्हणून त्यांचे मूल्य गृहीत न धरता एजंट लूपमध्ये तपासावे लागते. हे वाक्य संपूर्ण प्रायोगिक विभागाची चौकट ठरवते. मध्यवर्ती प्रश्न असा आहे की निर्णय-मॉडेल कार्यान्वित साधन-स्थिती तपासण्यांसोबत संभाव्यता-उंबरठा असलेला पडताळक म्हणून काम करू शकते का. हा प्रश्न प्रयोगाने सोडवायचा आहे, आणि रोचक तपशील प्रयोगातच आहे.

निर्णय-मॉडेलवरील संबंधित संशोधन हे तपासणे का महत्त्वाचे आहे याचे संमिश्र चित्र देते. ली व सहकारी (Li et al.) प्राधान्य आणि पुराव्यावर आधारित तथ्यात्मकतेवर स्पर्धात्मक निकाल नोंदवतात, पण जिथे निष्कर्ष काढावा (derivation) लागतो तिथे कमकुवत कामगिरी. राव आणि कॅलिसन-बर्च (Rao and Callison-Burch) संमिश्र रुब्रिक निकाल आणि LLM परीक्षकांशी जुळणाऱ्या चुका नोंदवतात. जे निर्णय-मॉडेल काही निर्णय-कार्यांत भक्कम आणि इतरांत कमकुवत आहे, तेच असे घटक आहे जे एकटे विश्वासावर सोडण्याऐवजी निर्धारक तपासण्यांसोबत जोडावे.

तुलना कशी केली गेली #

JevAct ची तुलना ReAct हार्नेसशी केली आहे, दोन्ही बाजूंना तेच एजंट LLM वापरून. कार्ये τ²-bench मधील Airline आणि Telecom, आणि BFCL मधील बहु-फेरी फंक्शन-कॉलिंग कार्ये यांत पसरलेली आहेत. दोन्ही बाजूंना एजंट LLM स्थिर ठेवणे हे विचारलेल्या प्रश्नासाठी योग्य नियंत्रण आहे: कोणताही फरक हार्नेसमधून येतो, अधिक सक्षम किंवा कमकुवत प्रस्तावकातून नव्हे.

शोधनिबंध आपले निकाल Table 2 मधील pass^3 आकड्यांसह आणि किमान-एकदा यशासह नोंदवतो. ही दोन मापे वेगवेगळ्या दिशांनी ओढतात, आणि त्यांतील विरोधाभास माहितीपूर्ण ठरतो. तीनही फेऱ्यांतील यश दर वेळी बरोबर करणाऱ्या एजंटला पुरस्कृत करते. किमान-एकदा यश कोणत्याही प्रयत्नात बरोबर करणाऱ्या एजंटला पुरस्कृत करते. चुकीच्या कृती पकडणारा पडताळक दुसऱ्यापेक्षा पहिल्याला अधिक विश्वासार्हपणे मदत करायला हवा, आणि निकाल या वाचनाशी जुळतात; पण शोधनिबंध एवढेच सांगतो की BFCL चा नमुना काही कार्यांवरील अधिक पुनरावृत्तीयोग्य कामगिरीशी सुसंगत आहे, म्हणून बाकीचे मी निष्कर्ष म्हणून नव्हे तर अर्थलावणी म्हणून नोंदवतो.

आकडे काय दाखवतात #

Telecom वर सर्व आठ एजंट किमान-एकदा यश आणि तीनही फेऱ्यांतील यश या दोन्हींमध्ये सुधारतात. हा शोधनिबंधातील सर्वात स्वच्छ निकाल आहे: तपासलेल्या एजंटमध्ये, कोणत्याही मापावर, अपवाद नाही.

BFCL वर सर्व नऊ एजंट तीन-फेऱ्यांच्या यशात सुधारतात, पण किमान-एकदा निकाल संमिश्र आहेत. हे काळजीपूर्वक वाचा. BFCL वर कठोर माप तपासलेल्या प्रत्येक एजंटसाठी 0.1 ते 9.6 गुणांनी वाढते; सौम्य माप चार एजंटसाठी सुधारते आणि पाचसाठी घटते. एजंट दर वेळी बरोबर वागतो याची तुम्हाला काळजी असेल, तर ही अनुकूल दिशा आहे. पुन्हा प्रयत्न केल्यास शेवटी यश मिळेल का याची काळजी असेल, तर इथे फायदा सिद्ध होत नाही.

Airline ही कमकुवत बाजू आहे. Airline वरील परिणाम लहान आहेत आणि एजंटनुसार बदलतात. निकालांचा सारांश असे मांडतो: Telecom आणि BFCL वर विशेषतः सातत्यपूर्ण फायदा, तर Airline वरील कामगिरी अधिक संमिश्र. हे वाचणाऱ्या संस्थापकाने त्याचे "सगळेच सुधारते" असे सोपे रूप करू नये. लेखक अनेक मॉडेल्स आणि बेंचमार्क्सवर एजंट-विश्वासार्हतेत सुधारणा नोंदवतात, पण Airline वर फायदा लहान आणि संमिश्र आहे, आणि ते म्हणतात की त्यांचे निष्कर्ष एकसमान फायदा सिद्ध करत नाहीत. शोधनिबंध इशारा देतो की 50 Airline कार्यांमध्ये एकच कार्य गुण 2 टक्केवारी-अंकांनी हलवते, म्हणून लहान फरक सावधपणे वाचावेत; त्यापलीकडे Airline वेगळे का वागते याचा अंदाज मी बांधणार नाही.

एकूण वाचन लेखकांनीच सावधपणे मांडले आहे: निष्कर्ष सूचित करतात की संरचित निर्णय-मॉडेल आणि कार्यान्वित पडताळणी एकत्र केल्यास साधने वापरणाऱ्या LLM एजंटची विश्वासार्हता सुधारू शकते. "सूचित करतात" हेच योग्य क्रियापद आहे. हा आश्वासक निकाल आहे, पुरावा नव्हे.

तुलना काय वेगळे करते आणि काय नाही #

एका मर्यादेला सहसा मिळते त्यापेक्षा अधिक वजन मिळायला हवे. JevAct संकलित तपासण्या आणि सुधारणेच्या संधी जोडत असल्याने, तुलना संपूर्ण हार्नेसचे मूल्यमापन करतात, केवळ परीक्षकाचे नव्हे. निर्णय-मॉडेलच मुख्य भार उचलत आहे असा निष्कर्ष काढू पाहणाऱ्या कोणासाठीही ही महत्त्वाची अट आहे. फायदा Kev च्या संभाव्यतांमधून, कार्यान्वित स्थिती-तपासण्यांतून, सुधारणेच्या अतिरिक्त संधींतून, किंवा यांच्या कोणत्यातरी संयोगातून येऊ शकतो. मुख्य तुलना त्यांना वेगळे करत नाहीत.

माझ्या मते हा दोष नसून, प्रणालीविषयक शोधनिबंध काय दाखवू शकतो याचे प्रामाणिक वर्णन आहे. लेखकांनी मांडलेला प्रश्न, निर्णय-मॉडेल कार्यान्वित साधन-स्थिती तपासण्यांसोबत संभाव्यता-उंबरठा असलेला पडताळक म्हणून काम करू शकते का, याचे उत्तर जोडीच्या पातळीवर दिले आहे, कारण "सोबत" हा शब्द प्रश्नातच आहे. पण प्रयत्न कुठे गुंतवायचा हे ठरवणाऱ्या वाचकाने हे लक्षात ठेवावे. तुम्ही असे काहीतरी उभारत असाल, तर या पुराव्यावरून असा निष्कर्ष काढता येत नाही की केवळ निर्णय-मॉडेल सुधारणा घडवेल, किंवा केवळ कोड-तपासण्या घडवतील.

याचा अर्थ असाही की कॅलिब्रेशनची अट कायम आहे. संभाव्यता कॅलिब्रेटेड किंवा बरोबर असतीलच याची हमी नाही, आणि हार्नेस-पातळीवरील निकाल ती अनिश्चितता दूर करत नाही. तो एवढेच दाखवतो की तपासलेल्या बेंचमार्क्सवर संपूर्ण रचनेने मदत केली.

इतर संरक्षक रचनांमध्ये याचे स्थान #

एजंट कृतींचे रक्षण करणाऱ्या दृष्टिकोनांच्या गर्दीत JevAct सामील होते, आणि त्यांतील फरक बोधप्रद आहेत. GuardAgent वापरकर्त्याने परिभाषित केलेल्या संरक्षण-आवश्यकतांवरून पडताळणी कोड तयार करून चालवण्यासाठी स्वतंत्र एजंट वापरते. झ्वेर्डलिंग व सहकारी (Zwerdling et al.) कंपनी-धोरणे कार्यान्वित संरक्षकांमध्ये संकलित करतात, जे साधन-कृतींपूर्वी अनुपालन तपासतात. AgentSpec रनटाइम मर्यादा ट्रिगर्स, प्रेडिकेट्स आणि अंमलबजावणी-कृती म्हणून मांडते. ShieldAgent धोरण-दस्तऐवजांतून पडताळता येणारे नियम काढते.

इतर दृष्टिकोन पडताळणीसाठीच मॉडेल्सवर विसंबतात. ToolSafe सुचवलेल्या साधन कॉलचे मूल्यांकन करून अभिप्राय देण्यासाठी शिकलेले (learned) सुरक्षा कठडे वापरते, तर PolicyGuard आणि PolicyGuide धोरण-पालन आणि कार्यप्रवाह-मार्गदर्शनासाठी मॉडेल-आधारित पडताळक वापरतात. CaMeL वेगळा मार्ग घेते: विश्वासार्ह नियंत्रण-प्रवाह आणि अविश्वासार्ह डेटा वेगळे ठेवून सुरक्षा लागू करते.

या पार्श्वभूमीवर JevAct ची वेगळी निवड म्हणजे तिची विशिष्ट जोडी. धोरणे कार्यान्वित संरक्षकांमध्ये संकलित करणाऱ्या कामाप्रमाणे, ती धोरणाचे साधन-स्थितीवरील तपासण्यांत रूपांतर करते. मॉडेल-आधारित पडताळकांप्रमाणे, कोड करू शकत नाही असे निर्णय ती मॉडेलकडे सोपवते. ती जे जोडते ते म्हणजे निश्चित-पर्याय संभाव्यता परत देणारे निर्णय-मॉडेल, जे निवडक कृती अंमलात येण्यापूर्वी ऑनलाइन वापरले जाते आणि सुधारणेसाठी अभिप्राय देते. प्रस्ताव ती ReAct LLM कडे सोपवते आणि Kev ला निवडक कृती अंमलात येण्यापूर्वीच्या स्वतंत्र पडताळणी-टप्प्यात ठेवते.

ही रचना लक्ष ठेवण्यासारखी का आहे #

माझ्या मते इथली सर्वात उपयुक्त कल्पना Kev स्वतः नसून विभागणीची शिस्त आहे. कोड ज्याचे उत्तर देऊ शकतो ते कोडला विचारा. मॉडेलला फक्त संभाषणावर अवलंबून असलेलेच विचारा. प्रस्तावक आणि पडताळक वेगळे ठेवा, म्हणजे कृती तपासणारे मॉडेल ती सुचवणारे नसेल. आणि पडताळकाचे उत्तर उंबरठ्याविरुद्धची संभाव्यता असू द्या, म्हणजे गेट ही कोणीतरी पार्स करावा लागणारा मजकूर न राहता एक तुलना ठरते.

या रचनेमुळे कमकुवत बिंदूही स्पष्ट दिसतात. एखादी तपासणी चुकली, तर ती स्थिती-तपासणी होती की संभाषणविषयक प्रश्न हे विचारता येते. उंबरठे चुकीचे असतील, तर ते तपासता येणारे आकडे आहेत. संभाव्यता लूपमध्ये तपासाव्या लागतात हा शोधनिबंधाचा स्वतःचा इशारा योग्य प्रवृत्ती आहे, आणि पडताळक योग्य वाटतो म्हणून तो चालतो असे गृहीत धरण्यापेक्षा ती चांगली भूमिका आहे.

असमान निकाल उलट अहवालाच्या प्रामाणिकपणाबद्दल दिलासा देतात. सर्वत्र एकसमान फायद्याचा दावा करणारी चौकट, Telecom वर आठपैकी आठ, BFCL तीन-फेऱ्यांच्या यशात नऊपैकी नऊ, BFCL वर संमिश्र किमान-एकदा निकाल आणि Airline वर बदलते परिणाम दाखवणाऱ्या चौकटीपेक्षा अधिक संशयास पात्र ठरली असती. हा नमुना व्यावसायिकांना नियोजनासाठी आधार देतो: सर्वात भक्कम पुरावा पुनरावृत्त फेऱ्यांतील विश्वासार्हतेचा आहे, आणि सर्वात कमकुवत त्या क्षेत्रात आहे जिथे परिणाम एजंटनुसार बदलतात.

याचे काय करायचे #

तांत्रिक वाचकांसाठी निष्कर्ष आर्किटेक्चरचा आहे. JevAct मध्ये एजंटचे LLM, मूळ प्रॉम्प्ट आणि साधने बदलत नाहीत, म्हणून पडताळणीचा थर एजंटभोवती जोडायची गोष्ट आहे, त्याच्यात प्रशिक्षित करायची नव्हे. संस्थापकांसाठी व्यावहारिक वाचन मथळ्यापेक्षा अरुंद आहे. शोधनिबंध अनेक मॉडेल्स आणि बेंचमार्क्सवर सुधारित विश्वासार्हता नोंदवतो, Airline अधिक संमिश्र, आणि त्याच्या तुलना केवळ परीक्षकाचे नव्हे तर संपूर्ण हार्नेसचे मूल्यमापन करतात. सुधारणेचे श्रेय कोणत्या घटकाला जाते हे मुख्य तुलना सिद्ध करत नाहीत, जरी शोधनिबंधातील Airline ॲब्लेशन सूचित करते की त्या संदर्भात त्यातील बराचसा भाग प्रोग्रामॅटिक पडताळणीचा आहे.

खुला प्रश्न शोधनिबंधाचाच मध्यवर्ती प्रश्न आहे: निर्णय-मॉडेल कार्यान्वित साधन-स्थिती तपासण्यांसोबत संभाव्यता-उंबरठा असलेला पडताळक म्हणून काम करू शकते का, जेव्हा लेखकांनीच नमूद केल्याप्रमाणे त्याच्या संभाव्यता कॅलिब्रेटेड किंवा बरोबर असतीलच याची हमी नाही. ज्यात परिणाम लहान आहेत आणि एजंटनुसार बदलतात, ते Airline निकाल आधी पाहण्याचे ठिकाण आहे. ही विविधता तपासण्यांमुळे, उंबरठ्यांमुळे की संकलित केल्या जाणाऱ्या धोरणांमुळे आहे, हे नोंदवलेले निकाल खुले ठेवतात, आणि पुढे पाहायला मला सर्वाधिक आवडेल असा प्रयोग हाच आहे.

वारंवार विचारले जाणारे प्रश्न #

JevAct म्हणजे काय? JevAct ही IBM संशोधकांची रनटाइम पडताळणी चौकट आहे, जी निवडक एजंट कृती, म्हणजे राइट कॉल्स आणि हँड-ऑफ्स, अंमलबजावणीपूर्वी अडवते. ध्वजांकित प्रस्ताव नेमक्या अभिप्रायासह आणि सुधारणेच्या मर्यादित संधीसह एजंटकडे परत जातो. एजंटचे LLM, मूळ प्रॉम्प्ट आणि साधने बदलत नाहीत.

JevAct मध्ये Kev काय करते? Kev हे ओपन-सोर्स Jev-सदृश निर्णय-मॉडेल आहे, जे निश्चित प्रश्नांची उत्तरे निर्माण केलेल्या मजकुराऐवजी संभाव्यतांनी देते. JevAct मध्ये ते संभाषणावर अवलंबून असलेल्या प्रश्नांची उत्तरे देते, तर कोड साधनांच्या नोंदींमध्ये उपलब्ध तथ्ये तपासतो. Kev कृती निवडत नाही; त्या अजूनही एजंटच सुचवतो.

JevAct चे मूल्यमापन कसे झाले? शोधनिबंध JevAct ची तुलना दोन्ही बाजूंना तेच एजंट LLM वापरणाऱ्या ReAct हार्नेसशी करतो. कार्ये τ²-bench मधील Airline आणि Telecom, आणि BFCL मधील बहु-फेरी फंक्शन-कॉलिंग कार्ये यांत पसरलेली आहेत; यश तीन फेऱ्यांमध्ये किमान-एकदा आणि तीनही फेऱ्यांतील यश अशा दोन्ही स्वरूपांत नोंदवले आहे.

JevAct ने प्रत्येक बेंचमार्कवर प्रत्येक एजंट सुधारला का? नाही. Telecom वर सर्व आठ एजंट दोन्ही मापांवर सुधारले, आणि BFCL वर सर्व नऊ तीन-फेऱ्यांच्या यशात सुधारले, तर किमान-एकदा निकाल संमिश्र होते. Airline वरील परिणाम लहान होते आणि एजंटनुसार बदलले, आणि लेखक म्हणतात की निष्कर्ष एकसमान फायदा सिद्ध करत नाहीत.

केवळ निर्णय-मॉडेलच फायदा घडवते हे शोधनिबंध दाखवतो का? नाही. JevAct संकलित तपासण्या आणि सुधारणेच्या संधी जोडत असल्याने, मुख्य तुलना केवळ परीक्षकाचे नव्हे तर संपूर्ण हार्नेसचे मूल्यमापन करतात. लेखक हेही नमूद करतात की निर्णय-मॉडेलच्या संभाव्यता कॅलिब्रेटेड किंवा बरोबर असतीलच याची हमी नाही.

संदर्भ #

शेवटचे पुनरावलोकन .

हा लेख क्रॉस-पोस्ट करा

Medium साठी स्वरूपित कॉपी करा

# एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/](https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/)

JevAct निवडक LLM एजंट कृती चालण्याआधी तपासते. त्याच मॉडेलच्या ReAct आधाररेषेच्या तुलनेत Telecom व BFCL वर फायदा सातत्यपूर्ण, पण Airline वर संमिश्र राहिला.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/

Mastodon साठी स्वरूपित कॉपी करा

एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau

JevAct निवडक LLM एजंट कृती चालण्याआधी तपासते. त्याच मॉडेलच्या ReAct आधाररेषेच्या तुलनेत Telecom व BFCL वर फायदा सातत्यपूर्ण, पण Airline वर संमिश्र राहिला.

https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/

LinkedIn साठी स्वरूपित कॉपी करा

एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau

JevAct निवडक LLM एजंट कृती चालण्याआधी तपासते. त्याच मॉडेलच्या ReAct आधाररेषेच्या तुलनेत Telecom व BFCL वर फायदा सातत्यपूर्ण, पण Airline वर संमिश्र राहिला.

येथे मुख्य धोरणात्मक मुद्दे आहेत:

- समस्या: प्रस्तावापाठोपाठ अंमलबजावणी. जो एजंट विमान तिकीट बुक करतो, ऑर्डर रद्द करतो किंवा खात्याची सेटिंग बदलतो, तो असे काहीतरी करत असतो जे शांतपणे उलटवता येत नाही.
- JevAct म्हणजे काय. JevAct हा असा हार्नेस आहे जो निवडक प्रस्ताव अंमलबजावणीपूर्वी तपासतो.
- दोन प्रकारचे पुरावे, एकच गेट. ही रचना निर्धारकपणे काय पडताळता येते आणि काय नाही या विभागणीवर उभी आहे.
- LLM परीक्षकाऐवजी निर्णय-मॉडेल का. स्पष्ट पर्याय म्हणजे LLM परीक्षक, जो प्रस्ताव वाचतो आणि निकाल लिहितो.

या लेखात मांडलेल्या आव्हानांसाठी तुमच्या संस्थेचा दृष्टिकोन काय आहे?

→ https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/

#Llmएजंट #एजंटपडताळणी #रनटाइमपडताळणी #निर्णयमॉडेल #साधनेवापरणारेएजंट

Sebastien Rousseau | CC-BY-4.0
हा लेख उद्धृत करा

एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau

JevAct निवडक LLM एजंट कृती चालण्याआधी तपासते. त्याच मॉडेलच्या ReAct आधाररेषेच्या तुलनेत Telecom व BFCL वर फायदा सातत्यपूर्ण, पण Airline वर संमिश्र राहिला.

BibTeX

@online{rousseau2026एज,
  author  = {Rousseau, Sebastien},
  title   = {{एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/
ER  -

Vancouver

Rousseau S. एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/

Chicago

Rousseau, Sebastien. "एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/.

APA

Rousseau, S. (2026, November 18). एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/

हा लेख पुनःप्रकाशित करा

एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau

JevAct निवडक LLM एजंट कृती चालण्याआधी तपासते. त्याच मॉडेलच्या ReAct आधाररेषेच्या तुलनेत Telecom व BFCL वर फायदा सातत्यपूर्ण, पण Airline वर संमिश्र राहिला.

हा लेख यानुसार परवानाकृत आहे Creative Commons Attribution 4.0 International. पुनःप्रकाशनासाठी कॅनॉनिकल URL ला श्रेय देणे आवश्यक आहे.

एजंटच्या कृती चालण्याआधी पडताळणे: JevAct चे निर्णय-मॉडेल गेट — Sebastien Rousseau

JevAct निवडक LLM एजंट कृती चालण्याआधी तपासते. त्याच मॉडेलच्या ReAct आधाररेषेच्या तुलनेत Telecom व BFCL वर फायदा सातत्यपूर्ण, पण Airline वर संमिश्र राहिला.

Originally published at https://sebastienrousseau.com/mr/2026-11-18-ejntachya-kriti-chalanyaadhi-padatalane-jevact-nirnay/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.