Sebastien Rousseau

LLM முகவர்கள்

செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில்

பெரும்பாலான முகவர் சுழல்கள், மாதிரி ஒரு கருவி அழைப்பை முன்மொழிந்த கணமே அதை இயக்குகின்றன. செயல்படுத்தலுக்குச் சற்று முன் வைக்கப்படும் மலிவான, நிகழ்தகவு அடிப்படையிலான ஒரு சோதனைச்சாவடி, கருவி பயன்படுத்தும் முகவர்களை மேலும் நம்பகமானவையாக்கக்கூடும் என JevAct-இன் முடிவுகள் சுட்டுகின்றன; ஆனால் ஆதாயங்கள் பெஞ்ச்மார்க்குக்கு ஏற்பக் கடுமையாக வேறுபடுகின்றன.

10 நிமிட வாசிப்பு
Banner for: செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில்

பெரும்பாலான முகவர் சுழல்கள், மாதிரி ஒரு கருவி அழைப்பை முன்மொழிந்த கணமே அதை இயக்குகின்றன. செயல்படுத்தலுக்குச் சற்று முன் வைக்கப்படும் மலிவான, நிகழ்தகவு அடிப்படையிலான ஒரு சோதனைச்சாவடி, கருவி பயன்படுத்தும் முகவர்களை மேலும் நம்பகமானவையாக்கக்கூடும் என JevAct-இன் முடிவுகள் சுட்டுகின்றன; ஆனால் ஆதாயங்கள் பெஞ்ச்மார்க்குக்கு ஏற்பக் கடுமையாக வேறுபடுகின்றன.

நிர்வாகச் சுருக்கம்

  • LLM முகவர்கள் வெளிப்புறக் கருவிகள் மூலம் விளைவுமிக்க செயல்களை அதிகமாக மேற்கொள்கின்றன; ஆனால் அந்தச் செயல்கள், கொள்கை இணக்கமோ பணி நிறைவோ சுயாதீனமாகச் சரிபார்க்கப்படாமலேயே பெரும்பாலும் செயல்படுத்தப்படுகின்றன.
  • JevAct ஒரு டொமைன் கொள்கையை முன்கூட்டியே (offline) கேள்விகள், விதிகள், இயக்கக்கூடிய நிலைச் சோதனைகள், தேவைப்படும் இடத்தில் ஒரு hand-off சரிபார்ப்புப் பட்டியல் ஆகியவையாகத் தொகுக்கிறது.
  • இயக்கநேரத்தில், குறியீடு கருவிப் பதிவுகளிலுள்ள உண்மைகளைச் சோதிக்கிறது; திறந்த மூலமாக்கப்பட்ட Jev-வகை முடிவு மாதிரியான Kev, உரையாடலைச் சார்ந்த கேள்விகளுக்குப் பதிலளிக்கிறது.
  • τ²-bench (Airline, Telecom), BFCL ஆகியவற்றில் ReAct harness-உடன் ஒப்பிடுகையில், Telecom-இலும் BFCL-இன் மூன்று-ஓட்ட வெற்றியிலும் ஆதாயங்கள் சீரானவை; Airline-இல் அதிகக் கலவையானவை.
  • ஆசிரியர்களின் சொந்தச் சட்டகம் எச்சரிக்கையானது: கட்டமைக்கப்பட்ட முடிவு மாதிரிகளை இயக்கக்கூடிய சரிபார்ப்புடன் இணைப்பது நம்பகத்தன்மையை மேம்படுத்தக்கூடும் என்று கண்டுபிடிப்புகள் சுட்டுகின்றன.

சிக்கல்: முன்மொழிவைத் தொடர்ந்து உடனே செயல்படுத்தல் #

விமானத்தை முன்பதிவு செய்யும், ஆர்டரை ரத்து செய்யும் அல்லது கணக்கு அமைப்பை மாற்றும் ஒரு முகவர், அமைதியாகத் திரும்பப்பெற முடியாத ஒன்றைச் செய்கிறது. மாதிரியின் பரிந்துரைக்கும் விளைவுக்கும் இடையே எவ்வளவு குறைவாக நிற்கிறது என்பதே சங்கடமான பகுதி. பல முகவர் சுழல்கள், மாதிரி ஒரு கருவி அழைப்பை உருவாக்கியவுடனேயே அதைச் செயல்படுத்துகின்றன. செயல் டொமைனின் கொள்கைக்கு இணங்குகிறதா, அல்லது முகவர் முடிந்ததாகக் கருதும் பணி உண்மையில் முடிந்ததா என்பதை யாரும் சுயாதீனமாகச் சோதிப்பதில்லை.

IBM-இல் Iftach Shoham, Yuval David மற்றும் சக ஆய்வாளர்கள் எழுதி JevAct-ஐ அறிமுகப்படுத்தும் 2026 arXiv முன்பதிப்பான "Think Before You Act: Decision Gate for LLM Agents"-இன் தொடக்கப்புள்ளி அந்த இடைவெளிதான். இது புதிய அவதானிப்பு அல்ல; ஆனால் பெரும்பாலான முகவர் கருவிகள் முன்மொழிபவரை மேம்படுத்துவதிலேயே கவனம் செலுத்துவதால், இதை வெளிப்படையாகச் சொல்வது பயனுள்ளது. ReAct முகவர்கள் பகுத்தாய்வையும் கருவிப் பயன்பாட்டையும் பின்னிப் பிணைக்கின்றன; அந்த முறை பொதுவான அடிப்படையாகிவிட்டது. Self-Refine, Reflexion போன்ற பிரதிபலிப்பு முறைகள், மாதிரி எடைகளைப் புதுப்பிக்காமல், பின்வரும் முன்மொழிவுகளையோ முயற்சிகளையோ மேம்படுத்த விமர்சனத்தையும் பின்னூட்டத்தையும் சேர்க்கின்றன. அது பயனுள்ளது என்றாலும், அந்த முறைகள் தாமாகவே ஒரு குறிப்பிட்ட செயலைச் செயல்படுத்தலுக்குச் சற்று முன் டொமைன் கொள்கைக்கு எதிராகச் சரிபார்ப்பதில்லை. JevAct கவனிக்கும் சோதனை சுழலின் வேறொரு புள்ளியில் அமர்கிறது: ஒரு முன்மொழிவு உருவான பின், அது உறுதியாவதற்கு முன்.

JevAct என்றால் என்ன #

JevAct என்பது, தேர்ந்தெடுக்கப்பட்ட முன்மொழிவுகளைச் செயல்படுத்தலுக்கு முன் சோதிக்கும் ஒரு harness. தேர்ந்தெடுக்கப்பட்ட முகவர் செயல்களை இடைமறித்து, பின்னூட்டம் சார்ந்த திருத்தத்தைச் சாத்தியமாக்கும் இயக்கநேரச் சரிபார்ப்புக் கட்டமைப்பு என இது விவரிக்கப்படுகிறது. அடிப்படை முகவர் மாதிரியிலிருந்து சுயாதீனமாக இயங்குகிறது; மாதிரியின் அளவுருக்களிலோ கருவிகளிலோ எந்த மாற்றமும் தேவையில்லை. மதிப்பிடப்பட்ட அமைப்பில், முகவரின் LLM, அடிப்படை prompt, கருவிகள் மாறாமல் இருக்கின்றன.

கட்டமைப்புரீதியாக, செய்தி முன்மொழிவுக்கும் செயல்படுத்தலுக்கும் இடையே ஒரு தேர்ந்தெடுத்த சோதனைக் கட்டத்தைச் செருகுவதன் மூலம் JevAct ஒரு ReAct முகவரின் harness-ஐ விரிவாக்குகிறது. "தேர்ந்தெடுத்த" என்ற சொல் முக்கியம். கட்டமைப்பு ஒவ்வொரு செய்தியையும் ஆய்வதில்லை; குறிப்பிட்ட வகைச் செயல்களை இலக்கு வைக்கிறது. ஆய்வுக் கட்டுரையில் இரண்டு வரையறுக்கப்பட்டுள்ளன. ஒரு write call சூழலை மாற்றுகிறது, எடுத்துக்காட்டாக முன்பதிவு, ரத்து அல்லது அமைப்பு மாற்றம் மூலம். ஒரு hand-off முகவரின் முயற்சியை முடிக்கிறது: பயனரை ஒரு மனிதரிடம் மாற்றுவதன் மூலம், அல்லது இனி எதுவும் செய்ய முடியாது என்று பயனரிடம் சொல்வதன் மூலம். கொள்கை மீறல் சேதம் விளைவிப்பது write-களில்; ஒரு முகவர் மிக முன்னதாகவே கைவிடக்கூடியது hand-off-களில். சாத்தியமான செல்லாத செயல்களையும் முன்கூட்டிய பணி முடிவையும் அடையாளம் காண்பது என்ற கட்டமைப்பின் அறிவிக்கப்பட்ட நோக்கம் அந்த இரண்டு வகைகளுக்கும் நேரடியாகப் பொருந்துகிறது.

ஒரு சோதனை தோல்வியடையும்போது, முன்மொழிவு வெறுமனே தடுக்கப்படுவதில்லை. நிலையான திருத்த வரம்புக்கு உட்பட்டு, சோதனைகள் செயல்படுத்தலை ஒத்திவைத்து, தற்காலிகப் பின்னூட்டத்துடன் LLM-இடமிருந்து திருத்திய முன்மொழிவைக் கோரலாம். தேறும் முன்மொழிவு தொடர்கிறது. கொடியிடப்பட்டது இலக்குப் பின்னூட்டத்துடனும் திருத்துவதற்கான வரம்புக்குட்பட்ட வாய்ப்புடனும் முகவரிடம் திரும்புகிறது. பணிப் பகிர்வு தெளிவாக இருக்கிறது: முகவர் இன்னும் செயல்களை முன்மொழிகிறது, Kev அவற்றைத் தேர்ந்தெடுப்பதில்லை.

இரண்டு வகைச் சான்று, ஒரே வாயில் #

வடிவமைப்பு, நிர்ணயமாகச் சரிபார்க்கக்கூடியதற்கும் முடியாததற்கும் இடையிலான பிரிவில் நிற்கிறது. JevAct, கருவி-நிலை உண்மைகளின் நிர்ணயச் சரிபார்ப்பை, உரையாடல் சூழலின் நிகழ்தகவு மதிப்பீட்டுடன் இணைக்கிறது. இயக்கநேரத்தில், கருவிப் பதிவுகளில் கிடைக்கும் உண்மைகளைக் குறியீடு சோதிக்கிறது; உரையாடலைச் சார்ந்த கேள்விகளுக்கு Kev பதிலளிக்கிறது.

அந்தப் பிரிவு அறிவார்ந்தது. சில கொள்கை நிபந்தனைகள் ஒரு கருவியின் பதிவுகளில் உள்ள உண்மைகள்; எந்த மாதிரியின் கருத்தும் இல்லாமல் ஒரு நிரல் அவற்றைப் படிக்க முடியும். பிற நிபந்தனைகள், பயனரும் முகவரும் ஒருவருக்கொருவர் சொன்னவற்றில் வாழ்கின்றன; எந்தத் தரவுத்தளத் தேடலும் அவற்றைத் தீர்க்காது. முதல் வகையைக் குறியீட்டிடமும் இரண்டாவதை மாதிரியிடமும் ஒப்படைப்பது, குறியீடு பதிலளிக்க முடியாதவை பற்றி மட்டுமே மாதிரியிடம் கேட்கப்படுகிறது என்பதைக் குறிக்கிறது.

இதை நடைமுறைரீதியாக விவரிக்கக்கூடியதாக்குவது offline பாதி. ஒரு தொகுப்பி (compiler) டொமைன் கொள்கையைக் கேள்விகள், விதிகள், கருவி நிலை மீதான இயக்கக்கூடிய சோதனைகள், தேவைப்படும் இடத்தில் ஒரு hand-off சரிபார்ப்புப் பட்டியல் ஆகியவையாக மாற்றுகிறது. வேறு சொற்களில், JevAct டொமைன் கொள்கைகளை, இயக்கக்கூடிய நிலைச் சோதனைகளாகவும், prefill-only முடிவு மாதிரியால் மதிப்பிடப்படும் கட்டமைக்கப்பட்ட கேள்விகளாகவும் தொகுக்கிறது. ஒரு முடிவு-மாதிரி வாயிலுக்காக, டொமைன் கொள்கைகளைக் கேள்விகள், முடிவு விதிகள், இயக்கக்கூடிய நிலைச் சோதனைகள், hand-off சரிபார்ப்புப் பட்டியல்களாகத் தொகுக்கும் ஒரு பணிப்பாய்வுக்கு அடித்தளம் அமைப்பதாக ஆசிரியர்கள் கூறுகின்றனர். இது அடக்கமான கூற்று; நான் அதை முகமதிப்பிலேயே எடுத்துக்கொள்வேன்: கூற்று ஒரு பணிப்பாய்வின் அடித்தளம் பற்றியது, முடிந்த தயாரிப்பு பற்றியது அல்ல.

LLM நடுவருக்குப் பதிலாக ஏன் முடிவு மாதிரி #

வெளிப்படையான மாற்று, முன்மொழிவைப் படித்துத் தீர்ப்பு எழுதும் ஒரு LLM நடுவர். ஆய்வுக் கட்டுரையின் ஆட்சேபம் நடைமுறை சார்ந்தது. அத்தகைய நடுவரின் கட்டற்ற விளக்கங்களை, ஒரு வாயில் அவற்றின் மீது செயல்படும் முன் விளக்கிக்கொள்ள வேண்டும்; இந்த முடிவை ஒரு frontier மாதிரியைக் கொண்டு எடுப்பது செலவுமிக்கது. வாயிலுக்குத் தேவை ஒரு முடிவு, கட்டுரை அல்ல.

முடிவு மாதிரிகள் அதற்காகவே கட்டப்பட்டவை. உருவாக்கப்பட்ட உரைக்குப் பதிலாக, வகையிடப்பட்ட தேர்வுகள், மதிப்பெண்கள், நிகழ்தகவுகளைத் திருப்பித் தரும் முடிவு மாதிரிகளை Jev அறிமுகப்படுத்தியது. நிலையான கேள்விகளுக்குத் தேர்வுகளையும் நிகழ்தகவுகளையும் அவை தருகின்றன; இது வரம்பு அடிப்படையிலான சோதனைகளை நேரடியானதாக்குகிறது. JevAct பயன்படுத்தும் மாதிரி prefill-only; LLM உருவாக்கத்தைச் சார்ந்திராமல் நிகழ்தகவு அடிப்படையிலான தீர்ப்புகளை உருவாக்குகிறது. Kev என்பது திறந்த மூல Jev-வகை முடிவு மாதிரி; தேர்ந்தெடுக்கப்பட்ட செயல்கள் உறுதியாவதற்கு முன் ஒரு தனிச் சரிபார்ப்புப் படியில் வைக்கப்படுகிறது.

ஒரு பிடி இருக்கிறது; ஆசிரியர்களே அதைச் சொல்கின்றனர். முடிவு-மாதிரி நிகழ்தகவுகள் அளவீடு செய்யப்பட்டவை (calibrated) அல்லது சரியானவை என்று உத்தரவாதம் இல்லை; எனவே அவற்றின் மதிப்பு அனுமானிக்கப்படாமல் முகவர் சுழலில் சோதிக்கப்பட வேண்டும். அந்த வாக்கியமே முழு அனுபவப் பகுதியையும் சட்டகப்படுத்துகிறது. இயக்கக்கூடிய கருவி-நிலைச் சோதனைகளுடன் சேர்ந்து, ஒரு முடிவு மாதிரி நிகழ்தகவு-வரம்பு கொண்ட சரிபார்ப்பாளராகச் செயல்பட முடியுமா என்பதே மையக் கேள்வி. அது சோதனையால் பதிலளிக்கப்பட வேண்டிய கேள்வி; சுவாரசியமான விவரம் அந்தச் சோதனையில்தான் உள்ளது.

அந்தச் சோதனை ஏன் முக்கியம் என்பதற்கு, முடிவு மாதிரிகள் பற்றிய தொடர்புடைய ஆய்வுகள் கலவையான படத்தைத் தருகின்றன. விருப்பத்தேர்வு, சான்று-அடிப்படையிலான உண்மைத்தன்மை ஆகியவற்றில் போட்டித்தன்மையான முடிவுகளையும், வருவித்தல் (derivation) தேவைப்படும்போது பலவீனமான செயல்திறனையும் Li et al. பதிவு செய்கின்றனர். Rao, Callison-Burch ஆகியோர் கலவையான rubric முடிவுகளையும், LLM நடுவர்களுடன் ஒன்றுடன் ஒன்று பொருந்தும் பிழைகளையும் பதிவு செய்கின்றனர். சில தீர்ப்புப் பணிகளில் வலுவாகவும் பிறவற்றில் பலவீனமாகவும் உள்ள முடிவு மாதிரி, தனியே நம்புவதைவிட நிர்ணயச் சோதனைகளுடன் இணைக்க விரும்பும் வகையான கூறுதான்.

ஒப்பீடு எப்படி நடத்தப்பட்டது #

இரு பிரிவுகளிலும் அதே முகவர் LLM-ஐப் பயன்படுத்தும் ReAct harness-உடன் JevAct ஒப்பிடப்படுகிறது. பணிகள் τ²-bench-இல் Airline, Telecom, BFCL-இல் பல-திருப்ப function-calling பணிகள் ஆகியவற்றை உள்ளடக்குகின்றன. இரு பிரிவுகளிலும் முகவர் LLM-ஐ நிலையாக வைத்திருப்பது கேட்கப்படும் கேள்விக்குச் சரியான கட்டுப்பாடு: எந்த வேறுபாடும் harness-இலிருந்து வருகிறது, வலுவான அல்லது பலவீனமான முன்மொழிபவரிடமிருந்து அல்ல.

ஆய்வுக் கட்டுரை, Table 2-இலிருந்து எடுக்கப்பட்ட pass^3 எண்களையும் குறைந்தது-ஒருமுறை வெற்றியையும் கொண்டு முடிவுகளைப் பதிவு செய்கிறது. அந்த இரண்டு அளவீடுகளும் வெவ்வேறு திசைகளில் இழுக்கின்றன; அவற்றுக்கிடையிலான வேறுபாடு தகவல் தருவதாக அமைகிறது. மூன்று ஓட்டங்களிலும் வெற்றி, ஒவ்வொரு முறையும் சரியாகச் செய்யும் முகவருக்கு வெகுமதி தருகிறது. குறைந்தது-ஒருமுறை வெற்றி, எந்த முயற்சியிலாவது சரியாகச் செய்யும் முகவருக்கு வெகுமதி தருகிறது. மோசமான செயல்களைப் பிடிக்கும் ஒரு சரிபார்ப்பாளர் இரண்டாவதைவிட முதலாவதுக்கு நம்பகமாக உதவ வேண்டும்; முடிவுகள் அந்த வாசிப்புக்குப் பொருந்துகின்றன. ஆனால், சில பணிகளில் மேலும் மீளுருவாக்கக்கூடிய செயல்திறனுடன் BFCL முறை ஒத்துப்போகிறது என்று மட்டுமே கட்டுரை சொல்கிறது; எனவே மீதியைக் கண்டுபிடிப்பாக அல்ல, விளக்கமாகவே குறிப்பிடுகிறேன்.

எண்கள் காட்டுவது #

Telecom-இல், எட்டு முகவர்களும் குறைந்தது-ஒருமுறை வெற்றி, மூன்று ஓட்டங்களிலும் வெற்றி இரண்டையும் மேம்படுத்துகின்றன. கட்டுரையின் மிகத் தெளிவான முடிவு இது: சோதிக்கப்பட்ட முகவர்களில், எந்த அளவீட்டிலும் விதிவிலக்கு இல்லை.

BFCL-இல், ஒன்பது முகவர்களும் மூன்று-ஓட்ட வெற்றியில் மேம்படுகின்றன; ஆனால் குறைந்தது-ஒருமுறை முடிவுகள் கலவையானவை. கவனமாகப் படியுங்கள். BFCL-இல், கடுமையான அளவீடு சோதிக்கப்பட்ட ஒவ்வொரு முகவருக்கும் 0.1 முதல் 9.6 புள்ளிகள் வரை உயர்கிறது; தளர்வான அளவீடு நான்கு முகவர்களுக்கு மேம்படுகிறது, ஐந்துக்குக் குறைகிறது. ஒவ்வொரு முறையும் முகவர் சரியாக நடந்துகொள்வது உங்களுக்கு முக்கியமென்றால், இது சாதகமான திசை. ஒரு மறுமுயற்சி இறுதியில் வெற்றிபெறுமா என்பது முக்கியமென்றால், பயன் இங்கே நிறுவப்படவில்லை.

Airline பலவீனமான இடம். Airline விளைவுகள் சிறியவை, முகவருக்கு முகவர் மாறுகின்றன. முடிவுகளின் சுருக்கம் இதை, Telecom, BFCL-இல் குறிப்பாகச் சீரான ஆதாயங்கள், Airline-இல் செயல்திறன் அதிகக் கலவையானது என்று கூறுகிறது. இதைப் படிக்கும் ஒரு நிறுவனர் அதை "எல்லாவற்றையும் மேம்படுத்துகிறது" என்று முழுமையாக்கக் கூடாது. பல மாதிரிகள், பெஞ்ச்மார்க்குகளில் முகவர் நம்பகத்தன்மை மேம்பாடுகளை ஆசிரியர்கள் பதிவு செய்கின்றனர்; ஆனால் Airline-இல் ஆதாயங்கள் சிறியவை, கலவையானவை; தங்கள் கண்டுபிடிப்புகள் சீரான ஆதாயங்களை நிறுவவில்லை என்றும் சொல்கின்றனர். 50 Airline பணிகளில் ஒரே ஒரு பணி மதிப்பெண்ணை 2 சதவீதப் புள்ளிகள் நகர்த்துகிறது, எனவே சிறிய வேறுபாடுகளை எச்சரிக்கையுடன் படிக்க வேண்டும் என்று கட்டுரை எச்சரிக்கிறது; அதற்கு அப்பால், Airline ஏன் வேறுவிதமாக நடந்துகொள்கிறது என்று நான் ஊகிக்க மாட்டேன்.

ஒட்டுமொத்த வாசிப்பை ஆசிரியர்களே நிபந்தனைப்படுத்துகின்றனர்: கட்டமைக்கப்பட்ட முடிவு மாதிரிகளை இயக்கக்கூடிய சரிபார்ப்புடன் இணைப்பது கருவி பயன்படுத்தும் LLM முகவர்களின் நம்பகத்தன்மையை மேம்படுத்தக்கூடும் என்று கண்டுபிடிப்புகள் சுட்டுகின்றன. "சுட்டுகின்றன" என்பதே சரியான வினைச்சொல். இது நம்பிக்கை தரும் முடிவு, நிரூபணம் அல்ல.

ஒப்பீடு எதைத் தனிமைப்படுத்துகிறது, எதைத் தனிமைப்படுத்தவில்லை #

ஒரு வரம்பு வழக்கமாகப் பெறுவதைவிட அதிக எடை பெற வேண்டியது. JevAct தொகுக்கப்பட்ட சோதனைகளையும் திருத்த வாய்ப்புகளையும் சேர்ப்பதால், ஒப்பீடுகள் முழு harness-ஐயும் மதிப்பிடுகின்றன, நடுவரைத் தனியாக அல்ல. முடிவு மாதிரியே பெரும் சுமையைத் தாங்குகிறது என்று முடிவுகட்ட விரும்பும் எவருக்கும் இது குறிப்பிடத்தக்க எச்சரிக்கை. ஆதாயங்கள் Kev-இன் நிகழ்தகவுகளிலிருந்தோ, இயக்கக்கூடிய நிலைச் சோதனைகளிலிருந்தோ, திருத்துவதற்கான கூடுதல் வாய்ப்புகளிலிருந்தோ, அல்லது ஏதோ ஒரு கலவையிலிருந்தோ வரலாம். முதன்மை ஒப்பீடுகள் அவற்றைப் பிரிக்கவில்லை.

இது குறைபாடு என்பதைவிட, ஓர் அமைப்புக் கட்டுரை எதைக் காட்ட முடியும் என்பதன் நேர்மையான விவரிப்பு என நான் வாதிடுவேன். இயக்கக்கூடிய கருவி-நிலைச் சோதனைகளுடன் சேர்ந்து ஒரு முடிவு மாதிரி நிகழ்தகவு-வரம்பு கொண்ட சரிபார்ப்பாளராகச் செயல்பட முடியுமா என்ற ஆசிரியர்களின் கேள்விக்கு, ஜோடியின் மட்டத்திலேயே பதில் கிடைக்கிறது; ஏனெனில் "சேர்ந்து" என்பது கேள்வியிலேயே உள்ளது. ஆனால் முயற்சியை எங்கே முதலீடு செய்வது என்று முடிவெடுக்கும் வாசகர் இதை நினைவில் வைக்க வேண்டும். நீங்கள் இதுபோன்ற ஒன்றைக் கட்டினால், முடிவு மாதிரி மட்டுமே மேம்பாட்டைச் சுமக்கும் என்றோ, குறியீட்டுச் சோதனைகள் மட்டுமே சுமக்கும் என்றோ இந்தச் சான்றிலிருந்து ஊகிக்க முடியாது.

அளவீட்டு எச்சரிக்கையும் இன்னும் நிற்கிறது என்பதும் இதன் பொருள். நிகழ்தகவுகள் அளவீடு செய்யப்பட்டவை அல்லது சரியானவை என்று உத்தரவாதம் இல்லை; harness-மட்ட முடிவு அந்த நிச்சயமின்மையை நீக்கவில்லை. சோதிக்கப்பட்ட பெஞ்ச்மார்க்குகளில் ஏற்பாடு முழுவதுமாக உதவியது என்பதையே அது காட்டுகிறது.

பிற பாதுகாப்பு வடிவமைப்புகளிடையே இதன் இடம் #

முகவர் செயல்களைப் பாதுகாக்கும் நெரிசலான அணுகுமுறைகளின் தொகுப்பில் JevAct சேர்கிறது; வேறுபாடுகள் கற்பிக்கின்றன. பயனர் வரையறுத்த பாதுகாப்புத் தேவைகளிலிருந்து சரிபார்ப்புக் குறியீட்டை உருவாக்கிச் செயல்படுத்த GuardAgent ஒரு தனி முகவரைப் பயன்படுத்துகிறது. Zwerdling et al. நிறுவனக் கொள்கைகளை, கருவிச் செயல்களுக்கு முன் இணக்கத்தைச் சோதிக்கும் இயக்கக்கூடிய காவல்களாகத் தொகுக்கின்றனர். AgentSpec இயக்கநேரக் கட்டுப்பாடுகளைத் தூண்டிகள், முன்னிலைகள் (predicates), அமலாக்கச் செயல்களாகக் குறிக்கிறது. ShieldAgent கொள்கை ஆவணங்களிலிருந்து சரிபார்க்கக்கூடிய விதிகளை வருவிக்கிறது.

பிற அணுகுமுறைகள் சரிபார்ப்புக்கே மாதிரிகளைச் சார்ந்துள்ளன. முன்மொழியப்பட்ட கருவி அழைப்புகளை மதிப்பிட்டுப் பின்னூட்டம் தர ToolSafe கற்றறிந்த ஒரு பாதுகாப்பு வேலியைப் பயன்படுத்துகிறது; PolicyGuard, PolicyGuide ஆகியவை கொள்கைப் பின்பற்றலுக்கும் பணிப்பாய்வு வழிகாட்டலுக்கும் மாதிரி அடிப்படையிலான சரிபார்ப்பாளர்களைப் பயன்படுத்துகின்றன. CaMeL வேறு பாதையை எடுக்கிறது: நம்பகமான கட்டுப்பாட்டு ஓட்டத்தையும் நம்பகமற்ற தரவையும் பிரிப்பதன் மூலம் பாதுகாப்பை அமல்படுத்துகிறது.

அந்தப் பின்னணியில், JevAct-இன் தனித்துவமான தேர்வு அதன் குறிப்பிட்ட இணைப்பு. compile-to-executable-guards ஆய்வு வரிசையைப் போல, அது கொள்கையைக் கருவி நிலை மீதான சோதனைகளாக மாற்றுகிறது. மாதிரி அடிப்படையிலான சரிபார்ப்பாளர்களைப் போல, குறியீடு செய்ய முடியாத தீர்ப்புகளுக்கு ஒரு மாதிரியைப் பயன்படுத்துகிறது. அது சேர்ப்பது: நிலையான-தேர்வு நிகழ்தகவுகளைத் தரும், தேர்ந்தெடுக்கப்பட்ட செயல்கள் செயல்படுவதற்கு முன் online-ஆகப் பயன்படுத்தப்படும், திருத்தத்துக்கான பின்னூட்டத்துடன் கூடிய ஒரு முடிவு மாதிரி. முன்மொழிவுகளை ReAct LLM-இடம் விட்டுவிட்டு, தேர்ந்தெடுக்கப்பட்ட செயல்கள் உறுதியாவதற்கு முன் Kev-ஐ ஒரு தனிச் சரிபார்ப்புப் படியில் வைக்கிறது.

இந்த வடிவமைப்பு ஏன் கவனிக்கத்தக்கது #

இங்குள்ள மிகப் பயனுள்ள கருத்து Kev அல்ல, பிரிவின் ஒழுங்குமுறைதான் என்பது என் பார்வை. குறியீடு பதிலளிக்கக்கூடியதைக் குறியீட்டிடம் கேளுங்கள். உரையாடலைச் சார்ந்ததை மட்டுமே மாதிரியிடம் கேளுங்கள். முன்மொழிபவரையும் சரிபார்ப்பாளரையும் தனியாக வையுங்கள்; ஒரு செயலைச் சோதிக்கும் மாதிரி அதைப் பரிந்துரைத்ததாக இருக்கக் கூடாது. சரிபார்ப்பாளரின் வெளியீட்டை ஒரு வரம்புக்கு எதிரான நிகழ்தகவாக்குங்கள்; அப்போது வாயில், யாரோ பகுத்தாய வேண்டிய உரைத்துண்டு அல்ல, ஓர் ஒப்பீடு ஆகிறது.

அந்த வடிவமைப்பு பலவீனமான புள்ளிகளையும் தெளிவாக்குகிறது. ஒரு சோதனை தவறாக இயங்கினால், அது நிலைச் சோதனையா, உரையாடல் கேள்வியா என்று கேட்கலாம். வரம்புகள் தவறாக இருந்தால், அவை நீங்கள் ஆய்வு செய்யக்கூடிய எண்கள். நிகழ்தகவுகள் சுழலில் சோதிக்கப்பட வேண்டும் என்ற கட்டுரையின் சொந்த எச்சரிக்கை சரியான உள்ளுணர்வு; ஒரு சரிபார்ப்பாளர் அறிவார்ந்ததாகத் தோன்றுவதால் அது வேலை செய்கிறது என்று அனுமானிப்பதைவிடச் சிறந்த நிலைப்பாடு.

சீரற்ற முடிவுகள், ஏதேனும் இருந்தால், அறிக்கையிடலின் நேர்மை குறித்து நம்பிக்கை தருகின்றன. எல்லா இடங்களிலும் சீரான ஆதாயங்களைக் கோரும் ஒரு கட்டமைப்பு, Telecom-இல் எட்டுக்கு எட்டு, BFCL மூன்று-ஓட்ட வெற்றியில் ஒன்பதுக்கு ஒன்பது, BFCL-இல் கலவையான குறைந்தது-ஒருமுறை முடிவுகள், Airline-இல் மாறுபடும் விளைவுகள் எனக் காட்டும் ஒன்றைவிட அதிகச் சந்தேகத்துக்கு உரியது. இந்த முறை, நடைமுறையாளர்கள் திட்டமிடுவதற்கு ஒன்றைத் தருகிறது: மிக வலுவான சான்று மீண்டும் மீண்டும் நிகழும் ஓட்டங்களில் நம்பகத்தன்மைக்கு; மிகப் பலவீனமானது விளைவுகள் முகவருக்கு முகவர் மாறும் டொமைனில்.

இதை வைத்து என்ன செய்வது #

தொழில்நுட்ப வாசகர்களுக்கு, முக்கியப் பாடம் கட்டமைப்பு சார்ந்தது. JevAct-இல் முகவரின் LLM, அடிப்படை prompt, கருவிகள் மாறாமல் இருக்கின்றன; எனவே சரிபார்ப்பு அடுக்கு, ஒரு முகவருக்குள் பயிற்றுவிக்கப்படும் ஒன்றல்ல, அதைச் சுற்றிச் சேர்க்கப்படும் ஒன்று. நிறுவனர்களுக்கு, நடைமுறை வாசிப்பு தலைப்பைவிடக் குறுகியது. பல மாதிரிகள், பெஞ்ச்மார்க்குகளில் மேம்பட்ட நம்பகத்தன்மையைக் கட்டுரை பதிவு செய்கிறது, Airline அதிகக் கலவையானது; அதன் ஒப்பீடுகள் நடுவரைத் தனியாக அல்ல, முழு harness-ஐயும் மதிப்பிடுகின்றன. எந்தக் கூறு மேம்பாட்டை ஈட்டுகிறது என்பதை முதன்மை ஒப்பீடுகள் நிறுவவில்லை; ஆனால் அந்த அமைப்பில் பெரும்பகுதிக்கு நிரல்வழிச் சரிபார்ப்பே காரணம் என்று கட்டுரையின் Airline ablation சுட்டுகிறது.

திறந்த கேள்வி கட்டுரையின் சொந்த மையக் கேள்வியே: ஆசிரியர்கள் குறிப்பிடுவதுபோல் நிகழ்தகவுகள் அளவீடு செய்யப்பட்டவை அல்லது சரியானவை என்று உத்தரவாதம் இல்லாதபோது, இயக்கக்கூடிய கருவி-நிலைச் சோதனைகளுடன் சேர்ந்து ஒரு முடிவு மாதிரி நிகழ்தகவு-வரம்பு கொண்ட சரிபார்ப்பாளராகச் செயல்பட முடியுமா. விளைவுகள் சிறியவையாகவும் முகவருக்கு முகவர் மாறுபவையாகவும் உள்ள Airline முடிவுகளே முதலில் பார்க்க வேண்டிய இடம். அந்த மாறுபாடு சோதனைகளிலிருந்தா, வரம்புகளிலிருந்தா, தொகுக்கப்படும் கொள்கைகளிலிருந்தா வருகிறது என்பதைப் பதிவான முடிவுகள் திறந்தே விடுகின்றன; அடுத்து நான் மிகவும் பார்க்க விரும்பும் சோதனை அதுதான்.

அடிக்கடி கேட்கப்படும் கேள்விகள் #

JevAct என்றால் என்ன? JevAct என்பது IBM ஆய்வாளர்களின் இயக்கநேரச் சரிபார்ப்புக் கட்டமைப்பு; தேர்ந்தெடுக்கப்பட்ட முகவர் செயல்களை, அதாவது write call-களையும் hand-off-களையும், செயல்படுத்தலுக்கு முன் இடைமறிக்கிறது. கொடியிடப்பட்ட முன்மொழிவு, இலக்குப் பின்னூட்டத்துடனும் திருத்துவதற்கான வரம்புக்குட்பட்ட வாய்ப்புடனும் முகவரிடம் திரும்புகிறது. முகவரின் LLM, அடிப்படை prompt, கருவிகள் மாறாமல் இருக்கின்றன.

JevAct-இல் Kev என்ன செய்கிறது? Kev என்பது திறந்த மூல Jev-வகை முடிவு மாதிரி; நிலையான கேள்விகளுக்கு உருவாக்கப்பட்ட உரைக்குப் பதிலாக நிகழ்தகவுகளுடன் பதிலளிக்கிறது. JevAct-இல், உரையாடலைச் சார்ந்த கேள்விகளுக்கு அது பதிலளிக்கிறது; கருவிப் பதிவுகளில் கிடைக்கும் உண்மைகளைக் குறியீடு சோதிக்கிறது. Kev செயல்களைத் தேர்ந்தெடுப்பதில்லை; முகவரே இன்னும் அவற்றை முன்மொழிகிறது.

JevAct எப்படி மதிப்பிடப்பட்டது? இரு பிரிவுகளிலும் அதே முகவர் LLM-ஐப் பயன்படுத்தும் ReAct harness-உடன் JevAct-ஐக் கட்டுரை ஒப்பிடுகிறது. பணிகள் τ²-bench-இல் Airline, Telecom, BFCL-இல் பல-திருப்ப function-calling பணிகள் ஆகியவற்றை உள்ளடக்குகின்றன; வெற்றி, மூன்று ஓட்டங்களில் குறைந்தது-ஒருமுறை என்றும், மூன்று ஓட்டங்களிலும் வெற்றி என்றும் பதிவு செய்யப்படுகிறது.

ஒவ்வொரு பெஞ்ச்மார்க்கிலும் ஒவ்வொரு முகவரையும் JevAct மேம்படுத்தியதா? இல்லை. Telecom-இல், எட்டு முகவர்களும் இரு அளவீடுகளிலும் மேம்பட்டன; BFCL-இல் ஒன்பதும் மூன்று-ஓட்ட வெற்றியில் மேம்பட்டன, குறைந்தது-ஒருமுறை முடிவுகள் கலவையானவை. Airline விளைவுகள் சிறியவை, முகவருக்கு முகவர் மாறுபட்டன; கண்டுபிடிப்புகள் சீரான ஆதாயங்களை நிறுவவில்லை என்று ஆசிரியர்கள் சொல்கின்றனர்.

முடிவு மாதிரி மட்டுமே ஆதாயங்களை இயக்குகிறது என்று கட்டுரை காட்டுகிறதா? இல்லை. JevAct தொகுக்கப்பட்ட சோதனைகளையும் திருத்த வாய்ப்புகளையும் சேர்ப்பதால், முதன்மை ஒப்பீடுகள் முழு harness-ஐயும் மதிப்பிடுகின்றன, நடுவரைத் தனியாக அல்ல. முடிவு-மாதிரி நிகழ்தகவுகள் அளவீடு செய்யப்பட்டவை அல்லது சரியானவை என்று உத்தரவாதம் இல்லை என்றும் ஆசிரியர்கள் குறிப்பிடுகின்றனர்.

மேற்கோள்கள் #

கடைசியாக மதிப்பாய்வு செய்யப்பட்டது .

இந்தக் கட்டுரையைக் குறுக்கு-பதிவிடுங்கள்

Medium-க்கு வடிவமைத்து நகலெடு

# செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/](https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/)

JevAct, LLM முகவர் செயல்களைச் செயல்படுத்தும் முன் சரிபார்க்கிறது. அதே மாதிரி ReAct அடிப்படையுடன்: Telecom, BFCL-இல் சீரான ஆதாயம்; Airline-இல் கலவை.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/

Mastodon-க்கு வடிவமைத்து நகலெடு

செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau

JevAct, LLM முகவர் செயல்களைச் செயல்படுத்தும் முன் சரிபார்க்கிறது. அதே மாதிரி ReAct அடிப்படையுடன்: Telecom, BFCL-இல் சீரான ஆதாயம்; Airline-இல் கலவை.

https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/

LinkedIn-க்கு வடிவமைத்து நகலெடு

செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau

JevAct, LLM முகவர் செயல்களைச் செயல்படுத்தும் முன் சரிபார்க்கிறது. அதே மாதிரி ReAct அடிப்படையுடன்: Telecom, BFCL-இல் சீரான ஆதாயம்; Airline-இல் கலவை.

முக்கிய மூலோபாயக் கருத்துகள் இங்கே:

- சிக்கல்: முன்மொழிவைத் தொடர்ந்து உடனே செயல்படுத்தல். விமானத்தை முன்பதிவு செய்யும், ஆர்டரை ரத்து செய்யும் அல்லது கணக்கு அமைப்பை மாற்றும் ஒரு முகவர், அமைதியாகத் திரும்பப்பெற முடியாத ஒன்றைச் செய்கிறது.
- JevAct என்றால் என்ன. JevAct என்பது, தேர்ந்தெடுக்கப்பட்ட முன்மொழிவுகளைச் செயல்படுத்தலுக்கு முன் சோதிக்கும் ஒரு harness.
- இரண்டு வகைச் சான்று, ஒரே வாயில். வடிவமைப்பு, நிர்ணயமாகச் சரிபார்க்கக்கூடியதற்கும் முடியாததற்கும் இடையிலான பிரிவில் நிற்கிறது.
- LLM நடுவருக்குப் பதிலாக ஏன் முடிவு மாதிரி. வெளிப்படையான மாற்று, முன்மொழிவைப் படித்துத் தீர்ப்பு எழுதும் ஒரு LLM நடுவர்.

இந்தக் கட்டுரையில் விவரிக்கப்பட்ட சவால்களுக்கு உங்கள் நிறுவனத்தின் அணுகுமுறை என்ன?

→ https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/

#Llmமுகவர்கள் #LlmAgents #முகவர்சரிபார்ப்பு #இயக்கநேரச்சரிபார்ப்பு #RuntimeVerification

Sebastien Rousseau | CC-BY-4.0
இந்தக் கட்டுரையை மேற்கோள் காட்டுங்கள்

செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau

JevAct, LLM முகவர் செயல்களைச் செயல்படுத்தும் முன் சரிபார்க்கிறது. அதே மாதிரி ReAct அடிப்படையுடன்: Telecom, BFCL-இல் சீரான ஆதாயம்; Airline-இல் கலவை.

BibTeX

@online{rousseau2026ச,
  author  = {Rousseau, Sebastien},
  title   = {{செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/
ER  -

Vancouver

Rousseau S. செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/

Chicago

Rousseau, Sebastien. "செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/.

APA

Rousseau, S. (2026, November 18). செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/

இந்தக் கட்டுரையை மறுபிரசுரம் செய்யுங்கள்

செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau

JevAct, LLM முகவர் செயல்களைச் செயல்படுத்தும் முன் சரிபார்க்கிறது. அதே மாதிரி ReAct அடிப்படையுடன்: Telecom, BFCL-இல் சீரான ஆதாயம்; Airline-இல் கலவை.

இந்தக் கட்டுரை பின்வரும் உரிமத்தின் கீழ் வழங்கப்படுகிறது Creative Commons Attribution 4.0 International. மறுபிரசுரத்திற்கு நியமன URL-க்கு காரணப்பொறுப்பு தேவை.

செயல்படுத்தும் முன் முகவர் செயல்களைச் சரிபார்த்தல்: JevAct வாயில் — Sebastien Rousseau

JevAct, LLM முகவர் செயல்களைச் செயல்படுத்தும் முன் சரிபார்க்கிறது. அதே மாதிரி ReAct அடிப்படையுடன்: Telecom, BFCL-இல் சீரான ஆதாயம்; Airline-இல் கலவை.

Originally published at https://sebastienrousseau.com/ta/2026-11-18-cheyalpatuththum-mun-mukavar-cheyalkalaich-chariparththal-jevact/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.