Sebastien Rousseau

LLM ఏజెంట్లు

ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్

చాలా ఏజెంట్ లూప్‌లు మోడల్ ప్రతిపాదించిన క్షణమే సాధన కాల్‌ను అమలు చేస్తాయి. అమలుకు సరిగ్గా ముందు ఉంచిన చౌకైన, సంభావ్యత ఆధారిత చెక్‌పాయింట్ సాధనాలు వాడే ఏజెంట్లను మరింత నమ్మదగినవిగా చేయగలదని JevAct ఫలితాలు సూచిస్తున్నాయి. అయితే లాభాలు బెంచ్‌మార్క్‌ను బట్టి తీవ్రంగా మారుతున్నాయి.

10 నిమిషాల చదువు
Banner for: ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్

చాలా ఏజెంట్ లూప్‌లు మోడల్ ప్రతిపాదించిన క్షణమే సాధన కాల్‌ను అమలు చేస్తాయి. అమలుకు సరిగ్గా ముందు ఉంచిన చౌకైన, సంభావ్యత ఆధారిత చెక్‌పాయింట్ సాధనాలు వాడే ఏజెంట్లను మరింత నమ్మదగినవిగా చేయగలదని JevAct ఫలితాలు సూచిస్తున్నాయి. అయితే లాభాలు బెంచ్‌మార్క్‌ను బట్టి తీవ్రంగా మారుతున్నాయి.

కార్యనిర్వాహక సారాంశం

  • LLM ఏజెంట్లు బాహ్య సాధనాల ద్వారా పర్యవసానాలున్న చర్యలను ఎక్కువగా తీసుకుంటున్నాయి. అయినా ఆ చర్యలు తరచూ పాలసీ అనుసరణ లేదా టాస్క్ పూర్తిపై స్వతంత్ర ధ్రువీకరణ లేకుండానే అమలవుతున్నాయి.
  • JevAct ఒక డొమైన్ పాలసీని ఆఫ్‌లైన్‌లో ప్రశ్నలు, నియమాలు, అమలు చేయగల స్థితి తనిఖీలుగా, అవసరమైన చోట హ్యాండ్-ఆఫ్ చెక్‌లిస్ట్‌గా కంపైల్ చేస్తుంది.
  • రన్‌టైమ్‌లో కోడ్ సాధన రికార్డుల్లోని వాస్తవాలను తనిఖీ చేస్తుంది. ఓపెన్-సోర్స్ చేసిన Jev తరహా డెసిషన్ మోడల్ Kev సంభాషణపై ఆధారపడే ప్రశ్నలకు సమాధానమిస్తుంది.
  • τ²-bench (Airline, Telecom), BFCLపై ReAct హార్నెస్‌తో పోలిస్తే, Telecomపై, BFCL మూడు-రన్ విజయంపై లాభాలు స్థిరంగా ఉన్నాయి. Airlineపై మరింత మిశ్రమంగా ఉన్నాయి.
  • రచయితల సొంత చట్రం జాగ్రత్తతో కూడినది: నిర్మాణాత్మక డెసిషన్ మోడల్‌లను అమలు చేయగల ధ్రువీకరణతో కలిపితే విశ్వసనీయత మెరుగుపడగలదని ఫలితాలు సూచిస్తున్నాయి.

సమస్య: ప్రతిపాదన వెంటనే అమలు #

విమాన టికెట్ బుక్ చేసే, ఆర్డర్ రద్దు చేసే లేదా అకౌంట్ సెట్టింగ్ మార్చే ఏజెంట్ నిశ్శబ్దంగా వెనక్కి తీసుకోలేని పని చేస్తోంది. ఇబ్బందికరమైన విషయం ఏమిటంటే, మోడల్ సూచనకు, దాని ప్రభావానికి మధ్య ఎంత తక్కువ అడ్డు ఉందో. చాలా ఏజెంట్ లూప్‌లు మోడల్ ఉత్పత్తి చేసిన వెంటనే ప్రతిపాదిత సాధన కాల్‌ను అమలు చేస్తాయి. ఆ చర్య డొమైన్ పాలసీకి అనుగుణంగా ఉందా, లేదా ఏజెంట్ పూర్తయిందని భావించిన టాస్క్ నిజంగా పూర్తయిందా అని ఎవరూ స్వతంత్రంగా తనిఖీ చేయరు.

IBMకు చెందిన Iftach Shoham, Yuval David, సహచరులు రాసిన 2026 arXiv ప్రీప్రింట్ "Think Before You Act: Decision Gate for LLM Agents" ప్రారంభ బిందువు ఆ అంతరమే. అది JevActను పరిచయం చేస్తుంది. ఇది కొత్త పరిశీలన కాదు, కానీ సూటిగా చెప్పదగినది, ఎందుకంటే చాలా ఏజెంట్ టూలింగ్ ప్రతిపాదకుడిని మెరుగుపరచడంపైనే దృష్టి పెడుతుంది. ReAct ఏజెంట్లు తార్కికతను సాధన వినియోగంతో అల్లుతాయి, ఆ నమూనా సాధారణ బేస్‌లైన్‌గా మారింది. Self-Refine, Reflexion వంటి రిఫ్లెక్షన్ పద్ధతులు మోడల్ వెయిట్‌లను అప్‌డేట్ చేయకుండానే, తదుపరి ప్రతిపాదనలను లేదా ప్రయత్నాలను మెరుగుపరచడానికి విమర్శను, ఫీడ్‌బ్యాక్‌ను జోడిస్తాయి. అవి ఉపయోగకరమే అయినా, ఒక నిర్దిష్ట చర్యను అమలుకు సరిగ్గా ముందు డొమైన్ పాలసీకి వ్యతిరేకంగా ఆ పద్ధతులు స్వయంగా ధ్రువీకరించవు. JevAct పట్టించుకునే తనిఖీ లూప్‌లో వేరే బిందువు వద్ద ఉంటుంది: ప్రతిపాదన ఉనికిలోకి వచ్చిన తర్వాత, అది కమిట్ అయ్యే ముందు.

JevAct అంటే ఏమిటి #

JevAct అనేది ఎంపిక చేసిన ప్రతిపాదనలను అమలుకు ముందు తనిఖీ చేసే హార్నెస్. ఎంపిక చేసిన ఏజెంట్ చర్యలను అడ్డగించి, ఫీడ్‌బ్యాక్ ఆధారిత సవరణను సాధ్యం చేసే రన్‌టైమ్ వెరిఫికేషన్ ఫ్రేమ్‌వర్క్‌గా దీన్ని వర్ణించారు. ఇది అంతర్లీన ఏజెంట్ మోడల్‌తో సంబంధం లేకుండా పనిచేస్తుంది, మోడల్ పారామీటర్లకు లేదా సాధనాలకు ఎలాంటి మార్పులూ అవసరం లేదు. మూల్యాంకనం చేసిన సెటప్‌లో ఏజెంట్ LLM, బేస్ ప్రాంప్ట్, సాధనాలు మారకుండా ఉంటాయి.

ఆర్కిటెక్చర్ పరంగా, JevAct సందేశ ప్రతిపాదనకు, అమలుకు మధ్య ఎంపిక చేసిన తనిఖీ దశను చొప్పించడం ద్వారా ReAct ఏజెంట్ హార్నెస్‌ను విస్తరిస్తుంది. "ఎంపిక చేసిన" అనే పదం ముఖ్యం. ఫ్రేమ్‌వర్క్ ప్రతి సందేశాన్నీ తనిఖీ చేయదు; నిర్దిష్ట రకాల చర్యలను లక్ష్యంగా చేసుకుంటుంది. పేపర్‌లో రెండు నిర్వచించారు. రైట్ కాల్ పర్యావరణాన్ని మారుస్తుంది, ఉదాహరణకు బుకింగ్, రద్దు లేదా సెట్టింగ్ మార్పు. హ్యాండ్-ఆఫ్ ఏజెంట్ ప్రయత్నాన్ని ముగిస్తుంది, వినియోగదారుడిని మనిషికి బదిలీ చేయడం ద్వారా గానీ, ఇంకేమీ చేయలేమని చెప్పడం ద్వారా గానీ. పాలసీ ఉల్లంఘన నష్టం చేసేది రైట్‌ల వద్ద; ఏజెంట్ తొందరగా వదిలేయగలిగేది హ్యాండ్-ఆఫ్‌ల వద్ద. సంభావ్యంగా చెల్లని చర్యలను, అకాల టాస్క్ ముగింపును గుర్తించడమనే ఫ్రేమ్‌వర్క్ ప్రకటిత లక్ష్యం ఆ రెండు వర్గాలకే సరిపోతుంది.

తనిఖీ విఫలమైనప్పుడు ప్రతిపాదనను కేవలం అడ్డుకోరు. తనిఖీలు అమలును వాయిదా వేసి, స్థిరమైన సవరణ బడ్జెట్‌కు లోబడి, తాత్కాలిక ఫీడ్‌బ్యాక్‌తో LLM నుంచి సవరించిన ప్రతిపాదనను కోరవచ్చు. ఉత్తీర్ణమైన ప్రతిపాదన ముందుకు సాగుతుంది. ఫ్లాగ్ అయినది లక్షిత ఫీడ్‌బ్యాక్‌తో, సవరించుకునే పరిమిత అవకాశంతో ఏజెంట్‌కు తిరిగి వెళ్తుంది. పని విభజన స్పష్టంగానే ఉంటుంది: చర్యలను ఇంకా ఏజెంటే ప్రతిపాదిస్తుంది, Kev వాటిని ఎంచుకోదు.

రెండు రకాల సాక్ష్యం, ఒకే గేట్ #

డిజైన్ నిర్ణయాత్మకంగా ధ్రువీకరించగలిగేదానికి, ధ్రువీకరించలేనిదానికి మధ్య విభజనపై నిలబడుతుంది. JevAct సాధన-స్థితి వాస్తవాల నిర్ణయాత్మక ధ్రువీకరణను, సంభాషణ సందర్భం యొక్క సంభావ్యతా అంచనాతో కలుపుతుంది. రన్‌టైమ్‌లో కోడ్ సాధన రికార్డుల్లో అందుబాటులో ఉన్న వాస్తవాలను తనిఖీ చేస్తుంది, సంభాషణపై ఆధారపడే ప్రశ్నలకు Kev సమాధానమిస్తుంది.

ఆ విభజన తెలివైనది. కొన్ని పాలసీ షరతులు సాధన రికార్డుల్లో ఉండే వాస్తవాలు, ఏ మోడల్ అభిప్రాయం లేకుండానే ప్రోగ్రామ్ వాటిని చదవగలదు. మరికొన్ని షరతులు వినియోగదారుడు, ఏజెంట్ ఒకరితో ఒకరు చెప్పుకున్న మాటల్లో ఉంటాయి, వాటిని ఏ డేటాబేస్ లుకప్ తేల్చదు. మొదటి రకాన్ని కోడ్‌కు, రెండో రకాన్ని మోడల్‌కు అప్పగిస్తే, కోడ్ సమాధానం చెప్పలేని విషయాల గురించే మోడల్‌ను అడుగుతారు.

ఆఫ్‌లైన్ భాగమే దీన్ని ఆచరణాత్మకంగా వర్ణించగలిగేలా చేస్తుంది. ఒక కంపైలర్ డొమైన్ పాలసీని ప్రశ్నలు, నియమాలు, సాధన స్థితిపై అమలు చేయగల తనిఖీలుగా, అవసరమైన చోట హ్యాండ్-ఆఫ్ చెక్‌లిస్ట్‌గా మారుస్తుంది. మరో మాటలో, JevAct డొమైన్ పాలసీలను అమలు చేయగల స్థితి తనిఖీలుగా, prefill-only డెసిషన్ మోడల్ మూల్యాంకనం చేసే నిర్మాణాత్మక ప్రశ్నలుగా కంపైల్ చేస్తుంది. డెసిషన్-మోడల్ గేట్ కోసం డొమైన్ పాలసీలను ప్రశ్నలు, నిర్ణయ నియమాలు, అమలు చేయగల స్థితి తనిఖీలు, హ్యాండ్-ఆఫ్ చెక్‌లిస్ట్‌లుగా కంపైల్ చేసే వర్క్‌ఫ్లోకు తాము పునాది వేస్తున్నామని రచయితలు అంటారు. అది వినయంగా చెప్పిన తీరు, నేను దాన్ని యథాతథంగా తీసుకుంటాను: వాదన ఒక వర్క్‌ఫ్లో పునాది గురించి, పూర్తయిన ఉత్పత్తి గురించి కాదు.

LLM జడ్జికి బదులు డెసిషన్ మోడల్ ఎందుకు #

స్పష్టమైన ప్రత్యామ్నాయం ప్రతిపాదనను చదివి తీర్పు రాసే LLM జడ్జి. పేపర్ అభ్యంతరం ఆచరణాత్మకమైనది. అలాంటి జడ్జి ఇచ్చే స్వేచ్ఛా-రూప వివరణలను గేట్ వాటిపై చర్య తీసుకునే ముందు ఇంకా అర్థం చేసుకోవాలి. ఈ నిర్ణయాన్ని ఫ్రాంటియర్ మోడల్‌తో తీసుకోవడం ఖరీదైనది. గేట్‌కు కావలసింది నిర్ణయం, వ్యాసం కాదు.

డెసిషన్ మోడల్‌లు అందుకోసమే నిర్మితమయ్యాయి. Jev పరిచయం చేసిన డెసిషన్ మోడల్‌లు ఉత్పత్తి చేసిన టెక్స్ట్‌కు బదులు టైప్డ్ ఎంపికలు, స్కోర్లు, సంభావ్యతలను తిరిగిస్తాయి. స్థిరమైన ప్రశ్నలకు అవి ఎంపికలను, సంభావ్యతలను తిరిగిస్తాయి, దీనివల్ల థ్రెషోల్డ్ ఆధారిత తనిఖీలు సూటిగా మారతాయి. JevAct వాడే మోడల్ prefill-only, LLM జనరేషన్‌పై ఆధారపడకుండా సంభావ్యత ఆధారిత తీర్పులను ఇస్తుంది. Kev ఓపెన్-సోర్స్ Jev-రకం డెసిషన్ మోడల్. ఎంపిక చేసిన చర్యలు కమిట్ అయ్యే ముందు ప్రత్యేక వెరిఫికేషన్ దశలో దాన్ని ఉంచారు.

ఒక చిక్కు ఉంది, దాన్ని రచయితలే చెబుతారు. డెసిషన్-మోడల్ సంభావ్యతలు కాలిబ్రేట్ అయి ఉంటాయని లేదా సరైనవని హామీ లేదు, కాబట్టి వాటి విలువను ఊహించకుండా ఏజెంట్ లూప్‌లో పరీక్షించాలి. ఆ వాక్యమే మొత్తం ప్రయోగాత్మక విభాగానికి చట్రం. అమలు చేయగల సాధన-స్థితి తనిఖీలతో పాటు డెసిషన్ మోడల్ సంభావ్యత-థ్రెషోల్డ్ వెరిఫైయర్‌గా పనిచేయగలదా అన్నదే కేంద్ర ప్రశ్న. దానికి ప్రయోగమే సమాధానం చెప్పాలి, ఆసక్తికరమైన వివరాలు ఆ ప్రయోగంలోనే ఉన్నాయి.

ఆ పరీక్ష ఎందుకు ముఖ్యమో డెసిషన్ మోడల్‌లపై సంబంధిత పరిశోధన మిశ్రమ చిత్రాన్ని ఇస్తుంది. ప్రాధాన్యం, సాక్ష్యాధారిత వాస్తవికతపై పోటీతత్వ ఫలితాలను, కానీ ఉత్పాదన (derivation) అవసరమైనప్పుడు బలహీనమైన పనితీరును Li et al. నివేదిస్తారు. మిశ్రమ రూబ్రిక్ ఫలితాలను, LLM జడ్జిలతో అతివ్యాప్తి చెందే తప్పులను Rao, Callison-Burch నివేదిస్తారు. కొన్ని తీర్పు పనుల్లో బలంగా, మరికొన్నింటిలో బలహీనంగా ఉండే డెసిషన్ మోడల్, ఒంటరిగా నమ్మకుండా నిర్ణయాత్మక తనిఖీలతో జత చేయాలనుకునే రకం భాగమే.

పోలిక ఎలా నిర్వహించారు #

JevActను రెండు విభాగాల్లోనూ అదే ఏజెంట్ LLMను వాడే ReAct హార్నెస్‌తో పోల్చారు. టాస్క్‌లు τ²-bench లోని Airline, Telecom, BFCL లోని బహుళ-మలుపు ఫంక్షన్-కాలింగ్ టాస్క్‌లను కవర్ చేస్తాయి. రెండు విభాగాల్లోనూ ఏజెంట్ LLMను స్థిరంగా ఉంచడం అడుగుతున్న ప్రశ్నకు సరైన నియంత్రణ: ఏ తేడా అయినా హార్నెస్ నుంచే వస్తుంది, బలమైన లేదా బలహీనమైన ప్రతిపాదకుడి నుంచి కాదు.

Table 2 నుంచి తీసిన pass^3 సంఖ్యలతో పాటు కనీసం-ఒకసారి విజయాన్ని ఉపయోగించి పేపర్ ఫలితాలను నివేదిస్తుంది. ఈ రెండు కొలమానాలు వేర్వేరు దిశల్లో లాగుతాయి, వాటి మధ్య వ్యత్యాసం సమాచారాత్మకంగా మారుతుంది. మూడు రన్‌లలోనూ విజయం ప్రతిసారీ సరిగ్గా చేసే ఏజెంట్‌కు బహుమతి. కనీసం-ఒకసారి విజయం ఏ ప్రయత్నంలోనైనా సరిగ్గా చేసే ఏజెంట్‌కు బహుమతి. తప్పుడు చర్యలను పట్టుకునే వెరిఫైయర్ రెండోదానికంటే మొదటిదానికే ఎక్కువ విశ్వసనీయంగా సహాయపడాలి, ఫలితాలు ఆ పఠనానికి సరిపోతాయి. అయితే BFCL నమూనా కొన్ని టాస్క్‌లపై మరింత పునరావృత పనితీరుకు అనుగుణంగా ఉందని మాత్రమే పేపర్ చెబుతుంది, కాబట్టి మిగతాదాన్ని ఫలితంగా కాకుండా నా వ్యాఖ్యానంగానే సూచిస్తాను.

సంఖ్యలు ఏం చూపిస్తున్నాయి #

Telecomపై ఎనిమిది ఏజెంట్లూ కనీసం-ఒకసారి విజయాన్ని, మూడు రన్‌లలోనూ విజయాన్ని మెరుగుపరిచాయి. పేపర్‌లో అత్యంత స్పష్టమైన ఫలితం అదే: పరీక్షించిన ఏజెంట్లలో, ఏ కొలమానంపైనా మినహాయింపులు లేవు.

BFCLపై తొమ్మిది ఏజెంట్లూ మూడు-రన్ విజయంలో మెరుగుపడ్డాయి, కానీ కనీసం-ఒకసారి ఫలితాలు మిశ్రమంగా ఉన్నాయి. దాన్ని జాగ్రత్తగా చదవండి. BFCLపై కఠినమైన కొలమానం పరీక్షించిన ప్రతి ఏజెంట్‌కు 0.1 నుంచి 9.6 పాయింట్ల వరకు పెరుగుతుంది; సడలింపు కొలమానం నాలుగు ఏజెంట్లకు మెరుగుపడి, ఐదింటికి తగ్గుతుంది. ఏజెంట్ ప్రతిసారీ సరిగ్గా ప్రవర్తించడం మీకు ముఖ్యమైతే, అది అనుకూల దిశ. మళ్లీ ప్రయత్నిస్తే చివరికి విజయవంతం కావచ్చా అన్నది మీకు ముఖ్యమైతే, ఆ ప్రయోజనం ఇక్కడ నిర్ధారణ కాలేదు.

Airline బలహీనమైన చోటు. Airline ప్రభావాలు చిన్నవి, ఏజెంట్‌ను బట్టి మారుతాయి. ఫలితాల సారాంశం దీన్ని Telecom, BFCLపై ప్రత్యేకించి స్థిరమైన లాభాలుగా, Airlineపై పనితీరు మరింత మిశ్రమంగా ఉన్నట్లు చెబుతుంది. దీన్ని చదివే ఫౌండర్ దాన్ని "అన్నింటినీ మెరుగుపరుస్తుంది" అని గుండ్రంగా చెప్పకూడదు. బహుళ మోడల్‌లు, బెంచ్‌మార్క్‌లలో ఏజెంట్ విశ్వసనీయత మెరుగుపడిందని రచయితలు నివేదిస్తారు, కానీ Airlineపై లాభాలు చిన్నవి, మిశ్రమం. తమ ఫలితాలు ఏకరీతి లాభాలను నిర్ధారించవని వారే అంటారు. 50 Airline టాస్క్‌లతో ఒక్క టాస్క్ స్కోరును 2 శాతం పాయింట్లు కదుపుతుందని, కాబట్టి చిన్న తేడాలను జాగ్రత్తగా చదవాలని పేపర్ హెచ్చరిస్తుంది. అంతకు మించి, Airline ఎందుకు వేరుగా ప్రవర్తిస్తుందో నేను ఊహించను.

మొత్తం పఠనాన్ని రచయితలే జాగ్రత్తగా చెబుతారు: నిర్మాణాత్మక డెసిషన్ మోడల్‌లను అమలు చేయగల ధ్రువీకరణతో కలిపితే సాధనాలు వాడే LLM ఏజెంట్ల విశ్వసనీయత మెరుగుపడగలదని ఫలితాలు సూచిస్తున్నాయి. "సూచిస్తున్నాయి" సరైన క్రియ. ఇది ఆశాజనక ఫలితం, రుజువు కాదు.

పోలిక దేన్ని వేరు చేస్తుంది, దేన్ని చేయదు #

సాధారణంగా దక్కేదానికంటే ఎక్కువ ప్రాధాన్యం దక్కాల్సిన పరిమితి ఒకటి ఉంది. JevAct కంపైల్ చేసిన తనిఖీలను, సవరణ అవకాశాలను జోడిస్తుంది కాబట్టి, పోలికలు పూర్తి హార్నెస్‌ను మూల్యాంకనం చేస్తాయి, జడ్జిని విడిగా కాదు. డెసిషన్ మోడలే అసలు భారం మోస్తోందని తేల్చాలనుకునే ఎవరికైనా ఇది ముఖ్యమైన హెచ్చరిక. లాభాలు Kev సంభావ్యతల నుంచి, అమలు చేయగల స్థితి తనిఖీల నుంచి, సవరించుకునే అదనపు అవకాశాల నుంచి లేదా వాటి కలయిక నుంచి రావచ్చు. ప్రధాన పోలికలు వాటిని వేరు చేయవు.

అది లోపం కంటే, ఒక సిస్టమ్ పేపర్ ఏం చూపించగలదో దాని నిజాయితీ వర్ణన అని నా వాదన. అమలు చేయగల సాధన-స్థితి తనిఖీలతో పాటు డెసిషన్ మోడల్ సంభావ్యత-థ్రెషోల్డ్ వెరిఫైయర్‌గా పనిచేయగలదా అని రచయితలు వేసిన ప్రశ్నకు జంట స్థాయిలోనే సమాధానం వస్తుంది, ఎందుకంటే "తో పాటు" అనేది ప్రశ్నలోనే ఉంది. కానీ ఎక్కడ శ్రమ పెట్టాలో నిర్ణయించే పాఠకుడు దీన్ని గుర్తుంచుకోవాలి. మీరు ఇలాంటిదేదైనా నిర్మిస్తుంటే, డెసిషన్ మోడల్ ఒక్కటే మెరుగుదలను మోస్తుందని గానీ, కోడ్ తనిఖీలు ఒక్కటే మోస్తాయని గానీ ఈ సాక్ష్యం నుంచి తేల్చలేరు.

కాలిబ్రేషన్ హెచ్చరిక కూడా అలాగే నిలబడుతుందని దీని అర్థం. సంభావ్యతలు కాలిబ్రేట్ అయి ఉంటాయని లేదా సరైనవని హామీ లేదు, హార్నెస్-స్థాయి ఫలితం ఆ అనిశ్చితిని తొలగించదు. పరీక్షించిన బెంచ్‌మార్క్‌లపై ఏర్పాటు మొత్తంగా సహాయపడిందని మాత్రమే అది చూపిస్తుంది.

ఇతర గార్డ్ డిజైన్‌ల మధ్య దీని స్థానం #

ఏజెంట్ చర్యలకు కాపలా కాసే విధానాల రద్దీ సమూహంలో JevAct చేరుతుంది, తేడాలు బోధనాత్మకమైనవి. వినియోగదారు నిర్వచించిన గార్డ్ అవసరాల నుంచి వెరిఫికేషన్ కోడ్‌ను జనరేట్ చేసి అమలు చేయడానికి GuardAgent ప్రత్యేక ఏజెంట్‌ను వాడుతుంది. Zwerdling et al. కంపెనీ పాలసీలను సాధన చర్యలకు ముందు అనుసరణను తనిఖీ చేసే అమలు చేయగల గార్డ్‌లుగా కంపైల్ చేస్తారు. AgentSpec రన్‌టైమ్ పరిమితులను ట్రిగ్గర్లు, ప్రెడికేట్‌లు, అమలు చర్యలుగా సూచిస్తుంది. ShieldAgent పాలసీ పత్రాల నుంచి ధ్రువీకరించగల నియమాలను రాబడుతుంది.

మరికొన్ని వెరిఫికేషన్ కోసమే మోడల్‌లపై ఆధారపడతాయి. ప్రతిపాదిత సాధన కాల్‌లను అంచనా వేసి ఫీడ్‌బ్యాక్ ఇవ్వడానికి ToolSafe నేర్చుకున్న భద్రతా కంచెను వాడుతుంది. PolicyGuard, PolicyGuide పాలసీ అనుసరణ, వర్క్‌ఫ్లో మార్గదర్శనం కోసం మోడల్ ఆధారిత వెరిఫైయర్లను వాడతాయి. CaMeL వేరే మార్గం పడుతుంది: విశ్వసనీయ కంట్రోల్ ఫ్లోను, అవిశ్వసనీయ డేటాను వేరు చేయడం ద్వారా భద్రతను అమలు చేస్తుంది.

ఆ నేపథ్యంలో JevAct ప్రత్యేక ఎంపిక దాని జత. కంపైల్-టు-ఎగ్జిక్యూటబుల్-గార్డ్స్ పరిశోధనలాగే, ఇది పాలసీని సాధన స్థితిపై తనిఖీలుగా మారుస్తుంది. మోడల్ ఆధారిత వెరిఫైయర్లలాగే, కోడ్ చేయలేని తీర్పుల కోసం మోడల్‌ను వాడుతుంది. ఇది జోడించేది స్థిర-ఎంపిక సంభావ్యతలను తిరిగిచ్చే డెసిషన్ మోడల్, ఎంపిక చేసిన చర్యలు అమలయ్యే ముందు ఆన్‌లైన్‌లో, సవరణ కోసం ఫీడ్‌బ్యాక్‌తో ఉపయోగించేది. ప్రతిపాదనలను ReAct LLMకు వదిలి, ఎంపిక చేసిన చర్యలు కమిట్ అయ్యే ముందు Kevను ప్రత్యేక వెరిఫికేషన్ దశలో ఉంచుతుంది.

ఈ డిజైన్‌ను ఎందుకు గమనించాలి #

ఇక్కడ అత్యంత ఉపయోగకరమైన ఆలోచన Kev కాదని, విభజన క్రమశిక్షణేనని నా అభిప్రాయం. కోడ్ సమాధానం చెప్పగలిగేదాన్ని కోడ్‌ను అడగండి. సంభాషణపై ఆధారపడేదాన్ని మాత్రమే మోడల్‌ను అడగండి. ప్రతిపాదకుడిని, వెరిఫైయర్‌ను వేరుగా ఉంచండి, తద్వారా చర్యను తనిఖీ చేసే మోడల్ దాన్ని సూచించిన మోడల్ కాకుండా ఉంటుంది. వెరిఫైయర్ అవుట్‌పుట్‌ను థ్రెషోల్డ్‌తో పోల్చే సంభావ్యతగా చేయండి, అప్పుడు గేట్ ఎవరో పార్స్ చేయాల్సిన టెక్స్ట్ ముక్క కాకుండా ఒక పోలిక అవుతుంది.

ఆ డిజైన్ బలహీనతలను కూడా స్పష్టంగా కనిపించేలా చేస్తుంది. తనిఖీ తప్పుగా పనిచేస్తే, అది స్థితి తనిఖీయా లేక సంభాషణ ప్రశ్నయా అని అడగవచ్చు. థ్రెషోల్డ్‌లు తప్పైతే, అవి మీరు పరిశీలించగల సంఖ్యలు. సంభావ్యతలను లూప్‌లో పరీక్షించాలన్న పేపర్ సొంత జాగ్రత్త సరైన సహజ ప్రవృత్తి. వెరిఫైయర్ తెలివిగా అనిపిస్తుంది కాబట్టి పనిచేస్తుందని భావించడం కంటే అది మెరుగైన వైఖరి.

అసమాన ఫలితాలు నివేదన నిజాయితీ గురించి భరోసా ఇస్తాయి. ప్రతిచోటా ఏకరీతి లాభాలు చెప్పుకునే ఫ్రేమ్‌వర్క్, Telecomపై ఎనిమిదికి ఎనిమిది, BFCL మూడు-రన్ విజయంపై తొమ్మిదికి తొమ్మిది, BFCLపై మిశ్రమ కనీసం-ఒకసారి ఫలితాలు, Airlineపై మారే ప్రభావాలు చూపించే ఫ్రేమ్‌వర్క్ కంటే ఎక్కువ అనుమానానికి అర్హమైనది. ఈ నమూనా ఆచరణకర్తలకు ప్రణాళిక వేసుకోవడానికి ఆధారం ఇస్తుంది: బలమైన సాక్ష్యం పునరావృత రన్‌లలో విశ్వసనీయతకు ఉంది, బలహీనమైనది ప్రభావాలు ఏజెంట్‌ను బట్టి మారే డొమైన్‌లో ఉంది.

దీనితో ఏం చేయాలి #

సాంకేతిక పాఠకులకు ముఖ్యాంశం ఆర్కిటెక్చరల్. JevActలో ఏజెంట్ LLM, బేస్ ప్రాంప్ట్, సాధనాలు మారకుండా ఉంటాయి, కాబట్టి వెరిఫికేషన్ పొర ఏజెంట్‌లోకి శిక్షణ ద్వారా చొప్పించేది కాదు, ఏజెంట్ చుట్టూ జోడించేది. ఫౌండర్లకు ఆచరణాత్మక పఠనం హెడ్‌లైన్ కంటే సంకుచితమైనది. బహుళ మోడల్‌లు, బెంచ్‌మార్క్‌లలో మెరుగైన విశ్వసనీయతను పేపర్ నివేదిస్తుంది, Airline మరింత మిశ్రమం, దాని పోలికలు జడ్జిని విడిగా కాకుండా పూర్తి హార్నెస్‌ను మూల్యాంకనం చేస్తాయి. మెరుగుదల ఏ భాగం వల్ల వచ్చిందో ప్రధాన పోలికలు నిర్ధారించవు. అయితే పేపర్ Airline అబ్లేషన్ ఆ సెట్టింగ్‌లో దానిలో ఎక్కువ భాగం ప్రోగ్రామాటిక్ వెరిఫికేషన్ వల్లేనని సూచిస్తుంది.

తెరిచి ఉన్న ప్రశ్న పేపర్ సొంత కేంద్ర ప్రశ్నే: రచయితలు గుర్తించినట్లు సంభావ్యతలు కాలిబ్రేట్ అయి ఉంటాయని లేదా సరైనవని హామీ లేనప్పుడు, అమలు చేయగల సాధన-స్థితి తనిఖీలతో పాటు డెసిషన్ మోడల్ సంభావ్యత-థ్రెషోల్డ్ వెరిఫైయర్‌గా పనిచేయగలదా. ప్రభావాలు చిన్నవిగా, ఏజెంట్‌ను బట్టి మారే Airline ఫలితాల వద్దే ముందుగా చూడాలి. ఆ వైవిధ్యం తనిఖీల నుంచి, థ్రెషోల్డ్‌ల నుంచి లేదా కంపైల్ చేస్తున్న పాలసీల నుంచి వస్తోందా అన్నది నివేదించిన ఫలితాలు తెరిచి ఉంచాయి. తర్వాత నేను చూడాలని అత్యంత కోరుకునే ప్రయోగం అదే.

తరచుగా అడిగే ప్రశ్నలు #

JevAct అంటే ఏమిటి? JevAct అనేది IBM పరిశోధకుల రన్‌టైమ్ వెరిఫికేషన్ ఫ్రేమ్‌వర్క్. ఇది ఎంపిక చేసిన ఏజెంట్ చర్యలను, అంటే రైట్ కాల్‌లను, హ్యాండ్-ఆఫ్‌లను అమలుకు ముందే అడ్డగిస్తుంది. ఫ్లాగ్ అయిన ప్రతిపాదన లక్షిత ఫీడ్‌బ్యాక్‌తో, సవరించుకునే పరిమిత అవకాశంతో ఏజెంట్‌కు తిరిగి వెళ్తుంది. ఏజెంట్ LLM, బేస్ ప్రాంప్ట్, సాధనాలు మారకుండా ఉంటాయి.

JevActలో Kev ఏం చేస్తుంది? Kev ఓపెన్-సోర్స్ Jev తరహా డెసిషన్ మోడల్. ఇది స్థిరమైన ప్రశ్నలకు ఉత్పత్తి చేసిన టెక్స్ట్‌తో కాకుండా సంభావ్యతలతో సమాధానమిస్తుంది. JevActలో సంభాషణపై ఆధారపడే ప్రశ్నలకు ఇది సమాధానమిస్తుంది, సాధన రికార్డుల్లో అందుబాటులో ఉన్న వాస్తవాలను కోడ్ తనిఖీ చేస్తుంది. Kev చర్యలను ఎంచుకోదు; ఏజెంటే వాటిని ప్రతిపాదిస్తుంది.

JevActను ఎలా మూల్యాంకనం చేశారు? రెండు విభాగాల్లోనూ అదే ఏజెంట్ LLMను వాడే ReAct హార్నెస్‌తో పేపర్ JevActను పోలుస్తుంది. టాస్క్‌లు τ²-bench లోని Airline, Telecom, BFCL లోని బహుళ-మలుపు ఫంక్షన్-కాలింగ్ టాస్క్‌లను కవర్ చేస్తాయి. విజయాన్ని మూడు రన్‌లలో కనీసం-ఒకసారిగా, మూడు రన్‌లలోనూ విజయంగా రెండు రకాలుగా నివేదించారు.

JevAct ప్రతి బెంచ్‌మార్క్‌పై ప్రతి ఏజెంట్‌నూ మెరుగుపరిచిందా? లేదు. Telecomపై ఎనిమిది ఏజెంట్లూ రెండు కొలమానాల్లోనూ మెరుగుపడ్డాయి. BFCLపై తొమ్మిదీ మూడు-రన్ విజయంలో మెరుగుపడ్డాయి, కనీసం-ఒకసారి ఫలితాలు మిశ్రమంగా ఉన్నాయి. Airline ప్రభావాలు చిన్నవి, ఏజెంట్‌ను బట్టి మారాయి. ఫలితాలు ఏకరీతి లాభాలను నిర్ధారించవని రచయితలు అంటారు.

లాభాలకు డెసిషన్ మోడల్ ఒక్కటే కారణమని పేపర్ చూపిస్తుందా? లేదు. JevAct కంపైల్ చేసిన తనిఖీలను, సవరణ అవకాశాలను జోడిస్తుంది కాబట్టి, ప్రధాన పోలికలు జడ్జిని విడిగా కాకుండా పూర్తి హార్నెస్‌ను మూల్యాంకనం చేస్తాయి. డెసిషన్-మోడల్ సంభావ్యతలు కాలిబ్రేట్ అయి ఉంటాయని లేదా సరైనవని హామీ లేదని కూడా రచయితలు గుర్తిస్తారు.

మూలాలు #

చివరిగా సమీక్షించబడింది .

ఈ వ్యాసాన్ని క్రాస్-పోస్ట్ చేయండి

Medium కోసం ఫార్మాట్ చేసి కాపీ చేయండి

# ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/](https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/)

JevAct ఎంపిక చేసిన LLM ఏజెంట్ చర్యలను అమలుకు ముందే తనిఖీ చేస్తుంది. అదే-మోడల్ ReAct బేస్‌లైన్‌లతో పోలిస్తే Telecom, BFCLపై స్థిర లాభాలు, Airlineపై మిశ్రమం.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/

Mastodon కోసం ఫార్మాట్ చేసి కాపీ చేయండి

ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau

JevAct ఎంపిక చేసిన LLM ఏజెంట్ చర్యలను అమలుకు ముందే తనిఖీ చేస్తుంది. అదే-మోడల్ ReAct బేస్‌లైన్‌లతో పోలిస్తే Telecom, BFCLపై స్థిర లాభాలు, Airlineపై మిశ్రమం.

https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/

LinkedIn కోసం ఫార్మాట్ చేసి కాపీ చేయండి

ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau

JevAct ఎంపిక చేసిన LLM ఏజెంట్ చర్యలను అమలుకు ముందే తనిఖీ చేస్తుంది. అదే-మోడల్ ReAct బేస్‌లైన్‌లతో పోలిస్తే Telecom, BFCLపై స్థిర లాభాలు, Airlineపై మిశ్రమం.

ముఖ్యమైన వ్యూహాత్మక అంశాలు ఇవి:

- సమస్య: ప్రతిపాదన వెంటనే అమలు. విమాన టికెట్ బుక్ చేసే, ఆర్డర్ రద్దు చేసే లేదా అకౌంట్ సెట్టింగ్ మార్చే ఏజెంట్ నిశ్శబ్దంగా వెనక్కి తీసుకోలేని పని చేస్తోంది.
- JevAct అంటే ఏమిటి. JevAct అనేది ఎంపిక చేసిన ప్రతిపాదనలను అమలుకు ముందు తనిఖీ చేసే హార్నెస్.
- రెండు రకాల సాక్ష్యం, ఒకే గేట్. డిజైన్ నిర్ణయాత్మకంగా ధ్రువీకరించగలిగేదానికి, ధ్రువీకరించలేనిదానికి మధ్య విభజనపై నిలబడుతుంది.
- LLM జడ్జికి బదులు డెసిషన్ మోడల్ ఎందుకు. స్పష్టమైన ప్రత్యామ్నాయం ప్రతిపాదనను చదివి తీర్పు రాసే LLM జడ్జి.

ఈ వ్యాసంలో వివరించిన సవాళ్లకు మీ సంస్థ దృక్పథం ఏమిటి?

→ https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/

#Llmఏజెంట్లు #ఏజెంట్ధ్రువీకరణ #రన్‌టైమ్వెరిఫికేషన్ #డెసిషన్మోడల్‌లు #సాధనాలువాడేఏజెంట్లు

Sebastien Rousseau | CC-BY-4.0
ఈ వ్యాసాన్ని ఉదహరించండి

ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau

JevAct ఎంపిక చేసిన LLM ఏజెంట్ చర్యలను అమలుకు ముందే తనిఖీ చేస్తుంది. అదే-మోడల్ ReAct బేస్‌లైన్‌లతో పోలిస్తే Telecom, BFCLపై స్థిర లాభాలు, Airlineపై మిశ్రమం.

BibTeX

@online{rousseau2026ఏజ,
  author  = {Rousseau, Sebastien},
  title   = {{ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/
ER  -

Vancouver

Rousseau S. ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/

Chicago

Rousseau, Sebastien. "ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/.

APA

Rousseau, S. (2026, November 18). ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/

ఈ వ్యాసాన్ని పునఃప్రచురించండి

ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau

JevAct ఎంపిక చేసిన LLM ఏజెంట్ చర్యలను అమలుకు ముందే తనిఖీ చేస్తుంది. అదే-మోడల్ ReAct బేస్‌లైన్‌లతో పోలిస్తే Telecom, BFCLపై స్థిర లాభాలు, Airlineపై మిశ్రమం.

ఈ వ్యాసం కింది లైసెన్స్ కింద ఉంది Creative Commons Attribution 4.0 International. పునఃప్రచురణకు కానానికల్ URLకు ఆపాదన అవసరం.

ఏజెంట్ చర్యలను అమలుకు ముందే ధ్రువీకరించడం: JevAct డెసిషన్-మోడల్ గేట్ — Sebastien Rousseau

JevAct ఎంపిక చేసిన LLM ఏజెంట్ చర్యలను అమలుకు ముందే తనిఖీ చేస్తుంది. అదే-మోడల్ ReAct బేస్‌లైన్‌లతో పోలిస్తే Telecom, BFCLపై స్థిర లాభాలు, Airlineపై మిశ్రమం.

Originally published at https://sebastienrousseau.com/te/2026-11-18-eejemt-charyalanu-amaluku-mumde-dhruvikarimchadam-jevact/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.