Ọ̀pọ̀ agent loop ń ṣe tool call ní kété tí model bá dábàá rẹ̀, àbájáde JevAct sì dábàá pé ibi àyẹ̀wò olówó-pọ́ọ́kú tí ó dá lórí probability, tí a gbé síwájú ìmúṣẹ, lè mú kí àwọn agent tí ń lo irinṣẹ́ ṣeé gbẹ́kẹ̀lé sí i, bí ó tilẹ̀ jẹ́ pé èrè náà yàtọ̀ gidigidi láti benchmark kan sí òmíràn.
Àkópọ̀ fún Àwọn Aláṣẹ
- Àwọn LLM agent ń túbọ̀ gbé ìgbésẹ̀ tí ó ní àbájáde ńlá nípasẹ̀ àwọn irinṣẹ́ òde, síbẹ̀ a sábà máa ń ṣe àwọn ìgbésẹ̀ wọ̀nyẹn láìsí àyẹ̀wò òmìnira lórí ìbámu pẹ̀lú ìlànà tàbí ìparí iṣẹ́.
- JevAct ń ṣàkójọ ìlànà agbègbè kan ní òfflàìnì sí àwọn ìbéèrè, òfin, àyẹ̀wò ipò tí a lè ṣiṣẹ́ àti, níbi tí ó bá pọndandan, àkọsílẹ̀ àyẹ̀wò hand-off.
- Ní àkókò ìṣiṣẹ́, kóòdù ń ṣàyẹ̀wò òtítọ́ nínú àkọsílẹ̀ irinṣẹ́, nígbà tí Kev, decision model oní-orísun-ṣíṣí tí ó jọ Jev, ń dáhùn àwọn ìbéèrè tí ó dá lórí ìjíròrò.
- Ní ìfiwéra pẹ̀lú ReAct harness lórí τ²-bench (Airline, Telecom) àti BFCL, èrè dúró déédéé lórí Telecom àti lórí àṣeyọrí ìgbà mẹ́ta BFCL, ó sì dàpọ̀ sí i lórí Airline.
- Ìgbékalẹ̀ àwọn òǹkọ̀wé fúnra wọn ní ìṣọ́ra: àbájáde náà dábàá pé decision model onítòlẹ́sẹẹsẹ tí a so pọ̀ mọ́ àyẹ̀wò tí a lè ṣiṣẹ́ lè mú ìgbẹ́kẹ̀lé sunwọ̀n sí i.
Ìṣòro náà: ìmúṣẹ ń tẹ̀lé àbá #
Agent tí ó ń ra tíkẹ́ẹ̀tì ọkọ̀ òfurufú, tí ó ń fagi lé àṣẹ, tàbí tí ó ń yí ètò àkọọ́lẹ̀ padà ń ṣe ohun tí a kò lè dá padà ní ìdákẹ́jẹ́ẹ́. Apá tí kò tuni lára ni bí ohun tí ó dúró láàrin àbá model àti àbájáde rẹ̀ ṣe kéré tó. Ọ̀pọ̀ agent loop ń ṣe tool call tí a dábàá ní kété tí model bá gbé e jáde. Kò sí ẹni tí ń ṣàyẹ̀wò lómìnira bóyá ìgbésẹ̀ náà bá ìlànà agbègbè mu, tàbí bóyá iṣẹ́ tí agent rò pé ó ti parí ti parí lóòótọ́.
Àlàfo yẹn ni ìbẹ̀rẹ̀ "Think Before You Act: Decision Gate for LLM Agents", preprint arXiv ti 2026 láti ọwọ́ Iftach Shoham, Yuval David àti àwọn alábàáṣiṣẹ́ wọn ní IBM, tí ó ṣe ìfihàn JevAct. Kì í ṣe àkíyèsí tuntun, ṣùgbọ́n ó yẹ láti sọ ọ́ ní kedere nítorí pé púpọ̀ nínú irinṣẹ́ agent ń fojú sí mímú olùdábàá sunwọ̀n sí i. Àwọn ReAct agent ń da èrò pọ̀ mọ́ lílo irinṣẹ́, àpẹẹrẹ yẹn sì ti di baseline tí ó wọ́pọ̀. Àwọn ọ̀nà ìrònújinlẹ̀ bí Self-Refine àti Reflexion ń fi àríwísí àti ìdáhùn kún un láti mú àbá tàbí ìgbìyànjú tí ó tẹ̀lé e sunwọ̀n sí i, láìṣe àtúnṣe sí weight model. Bí ìyẹn ṣe wúlò tó, àwọn ọ̀nà wọ̀nyẹn fúnra wọn kò ṣàyẹ̀wò ìgbésẹ̀ pàtó kan lòdì sí ìlànà agbègbè ní kété ṣáájú ìmúṣẹ. Àyẹ̀wò tí JevAct bìkítà fún wà ní ibi mìíràn nínú loop: lẹ́yìn tí àbá bá wà àti ṣáájú kí ó tó di àṣẹ.
Kí ni JevAct #
JevAct jẹ́ harness tí ó ń ṣàyẹ̀wò àwọn àbá tí a yàn ṣáájú ìmúṣẹ. A ṣàpèjúwe rẹ̀ gẹ́gẹ́ bí ìlànà runtime verification tí ó ń dá àwọn ìgbésẹ̀ agent tí a yàn dúró, tí ó sì ń jẹ́ kí àtúnṣe tí ìdáhùn ń darí ṣeé ṣe. Ó ń ṣiṣẹ́ láìdá lórí agent model ìsàlẹ̀, kò sì nílò àtúnṣe kankan sí paramita tàbí irinṣẹ́ model náà. Nínú ètò tí a ṣàyẹ̀wò, LLM agent, prompt ìpìlẹ̀ àti àwọn irinṣẹ́ wà láìyípadà.
Ní ti ìgbékalẹ̀, JevAct ń fi kún harness ReAct agent nípa fífi ìpele àyẹ̀wò àṣàyàn sí àárín àbá ìfiránṣẹ́ àti ìmúṣẹ. Ọ̀rọ̀ náà "àṣàyàn" ṣe pàtàkì. Ìlànà náà kò ṣàyẹ̀wò gbogbo ìfiránṣẹ́; ó ń fojú sí irú ìgbésẹ̀ pàtó. Méjì ni ìwé náà ṣàlàyé. Write call ń yí àyíká padà, fún àpẹẹrẹ nípa ríra, fífagi lé tàbí yíyí ètò padà. Hand-off ń parí ìgbìyànjú agent, yálà nípa gbígbé oníṣe lọ sọ́dọ̀ ènìyàn tàbí nípa sísọ fún oníṣe pé kò sí ohun mìíràn tí a lè ṣe. Write ni ibi tí rírú ìlànà ti ń ṣe ìbàjẹ́; hand-off ni ibi tí agent ti lè juwọ́ sílẹ̀ ní kùtùkùtù. Èrò tí ìlànà náà sọ, láti dá àwọn ìgbésẹ̀ tí ó lè jẹ́ àìtọ́ àti ìparí iṣẹ́ ṣáájú àkókò mọ̀, bá àwọn ẹ̀ka méjì yẹn mu.
Nígbà tí àyẹ̀wò bá kùnà, a kì í kàn dí àbá náà. Àwọn àyẹ̀wò lè sún ìmúṣẹ síwájú, kí wọ́n sì béèrè àbá tí a tún ṣe lọ́wọ́ LLM pẹ̀lú ìdáhùn ìgbà díẹ̀, lábẹ́ ìnáwó àtúnṣe tí a ti pinnu. Àbá tí ó yege ń tẹ̀síwájú. Èyí tí a fi àmì sí ń padà sọ́dọ̀ agent pẹ̀lú ìdáhùn pàtó àti àǹfààní tí ó ní ààlà láti tún un ṣe. Pípín iṣẹ́ sì wà ní kedere: agent ṣì ń dábàá ìgbésẹ̀, Kev kò sì yàn wọ́n.
Oríṣi ẹ̀rí méjì, ẹnu-ọ̀nà kan #
Ìgbékalẹ̀ náà dúró lórí pípín láàrin ohun tí a lè ṣàyẹ̀wò ní ọ̀nà tí ó dájú àti ohun tí a kò lè ṣàyẹ̀wò bẹ́ẹ̀. JevAct ń so àyẹ̀wò tí ó dájú lórí òtítọ́ ipò irinṣẹ́ pọ̀ mọ́ àgbéyẹ̀wò probability lórí àyíká ìjíròrò. Ní àkókò ìṣiṣẹ́, kóòdù ń ṣàyẹ̀wò òtítọ́ tí ó wà nínú àkọsílẹ̀ irinṣẹ́, Kev sì ń dáhùn àwọn ìbéèrè tí ó dá lórí ìjíròrò.
Pípín yẹn bọ́gbọ́n mu. Àwọn ipò ìlànà kan jẹ́ òtítọ́ tí ó wà nínú àkọsílẹ̀ irinṣẹ́, ètò kọ̀ǹpútà sì lè kà wọ́n láìsí èrò model kankan. Àwọn ipò mìíràn wà nínú ohun tí oníṣe àti agent sọ fún ara wọn, èyí tí kò sí wíwá nínú database tí yóò yanjú. Fífi oríṣi àkọ́kọ́ lé kóòdù lọ́wọ́ àti èkejì lé model lọ́wọ́ túmọ̀ sí pé a ń béèrè lọ́wọ́ model nípa ohun tí kóòdù kò lè dáhùn nìkan.
Apá òfflàìnì ni ohun tí ó mú kí èyí ṣeé ṣàlàyé ní ìṣe. Compiler kan ń yí ìlànà agbègbè padà sí àwọn ìbéèrè, òfin, àyẹ̀wò tí a lè ṣiṣẹ́ lórí ipò irinṣẹ́, àti níbi tí ó bá pọndandan, àkọsílẹ̀ àyẹ̀wò hand-off. Ní ọ̀rọ̀ mìíràn, JevAct ń ṣàkójọ ìlànà agbègbè sí àyẹ̀wò ipò tí a lè ṣiṣẹ́ àti àwọn ìbéèrè onítòlẹ́sẹẹsẹ tí decision model prefill-only ń ṣe àgbéyẹ̀wò. Àwọn òǹkọ̀wé sọ pé àwọn fi ìpìlẹ̀ lélẹ̀ fún ìlànà iṣẹ́ kan tí ó ń ṣàkójọ ìlànà agbègbè sí àwọn ìbéèrè, òfin ìpinnu, àyẹ̀wò ipò tí a lè ṣiṣẹ́ àti àkọsílẹ̀ àyẹ̀wò hand-off fún ẹnu-ọ̀nà decision-model. Ọ̀nà ìrẹ̀lẹ̀ ni láti sọ ọ́, mo sì máa gbà á bí ó ṣe wà: ẹ̀tọ́ náà jẹ́ nípa ìpìlẹ̀ ìlànà iṣẹ́, kì í ṣe ọjà tí ó ti parí.
Ìdí tí a fi lo decision model dípò LLM onídàájọ́ #
Àṣàyàn mìíràn tí ó hàn gbangba ni LLM onídàájọ́ tí ń ka àbá, tí ó sì ń kọ ìdájọ́. Àtakò ìwé náà jẹ́ ti ìṣe. Àlàyé ọ̀fẹ́ láti ọ̀dọ̀ irú onídàájọ́ bẹ́ẹ̀ ṣì gbọ́dọ̀ ní ìtumọ̀ kí ẹnu-ọ̀nà tó lè ṣiṣẹ́ lé e lórí, ṣíṣe ìpinnu yìí pẹ̀lú frontier model sì gbówó lórí. Ẹnu-ọ̀nà nílò ìpinnu, kì í ṣe àròkọ.
A kọ́ decision model fún ìyẹn. Jev ṣe ìfihàn decision model tí ó ń dá àṣàyàn onírúurú, máàkì àti probability padà dípò ọ̀rọ̀ tí a ṣẹ̀dá. Wọ́n ń dá àṣàyàn àti probability padà fún àwọn ìbéèrè tí a ti pinnu, èyí sì ń mú kí àyẹ̀wò oní-threshold rọrùn. Model tí JevAct ń lò jẹ́ prefill-only, ó sì ń ṣe ìdájọ́ tí ó dá lórí probability láìgbára lé ìṣẹ̀dá LLM. Kev jẹ́ decision model oní-orísun-ṣíṣí ti irú Jev, tí a gbé sí ìgbésẹ̀ àyẹ̀wò ọ̀tọ̀ ṣáájú kí àwọn ìgbésẹ̀ tí a yàn tó di àṣẹ.
Ìdẹkùn kan wà, àwọn òǹkọ̀wé fúnra wọn sì sọ ọ́. A kò ṣe ìdánilójú pé probability decision-model jẹ́ èyí tí a ṣe calibration rẹ̀ tàbí tí ó tọ̀nà, nítorí náà a gbọ́dọ̀ dán iye rẹ̀ wò nínú agent loop dípò kí a kàn gbà á. Gbólóhùn yẹn ló ṣe ìgbékalẹ̀ gbogbo apá ìwádìí ìdánwò. Ìbéèrè àárín ni bóyá decision model lè ṣiṣẹ́ gẹ́gẹ́ bí olùṣàyẹ̀wò oní-threshold probability lẹ́gbẹ̀ẹ́ àyẹ̀wò ipò irinṣẹ́ tí a lè ṣiṣẹ́. Ìbéèrè tí ìdánwò gbọ́dọ̀ dáhùn ni, ìdánwò náà sì ni ibi tí kúlẹ̀kúlẹ̀ tí ó fani mọ́ra wà.
Iṣẹ́ mìíràn lórí decision model fúnni ní àwòrán tí ó dàpọ̀ nípa ìdí tí ìdánwò yẹn fi ṣe pàtàkì. Li et al. ròyìn àbájáde tí ó lè díje lórí preference àti òtítọ́ tí ó dá lórí ẹ̀rí, ṣùgbọ́n iṣẹ́ tí ó lọ sílẹ̀ nígbà tí a bá nílò ìyọkúrò. Rao àti Callison-Burch ròyìn àbájáde rubric tí ó dàpọ̀ àti àṣìṣe tí ó jọ ti LLM onídàájọ́. Decision model tí ó lágbára ní àwọn iṣẹ́ ìdájọ́ kan, tí ó sì lọ sílẹ̀ ní àwọn mìíràn, ni irú ẹ̀yà gan-an tí ẹ ó fẹ́ so pọ̀ mọ́ àyẹ̀wò tí ó dájú dípò gbígbẹ́kẹ̀lé e nìkan.
Bí a ṣe ṣe ìfiwéra náà #
A fi JevAct wé ReAct harness tí ó ń lo agent LLM kan náà ní apá méjèèjì. Àwọn iṣẹ́ náà bo Airline àti Telecom nínú τ²-bench àti àwọn iṣẹ́ function-calling ọ̀pọ̀-ìyípo nínú BFCL. Dídi agent LLM mú láìyípadà ní apá méjèèjì ni ìṣàkóso tí ó tọ́ fún ìbéèrè tí a ń béèrè: ìyàtọ̀ èyíkéyìí wá láti harness, kì í ṣe láti olùdábàá tí ó lágbára sí i tàbí tí ó lọ sílẹ̀.
Ìwé náà ròyìn àbájáde rẹ̀ pẹ̀lú nọ́ńbà pass^3, tí a mú láti Table 2, pẹ̀lú àṣeyọrí ó-kéré-tán-lẹ́ẹ̀kan. Àwọn ìwọ̀n méjì yẹn ń fà sí ọ̀nà ọ̀tọ̀ọ̀tọ̀, ìyàtọ̀ láàrin wọn sì wá jẹ́ èyí tí ó ń fúnni ní ìmọ̀. Àṣeyọrí ní gbogbo ìgbà mẹ́ta ń san èrè fún agent tí ó ṣe é dáadáa ní gbogbo ìgbà. Àṣeyọrí ó-kéré-tán-lẹ́ẹ̀kan ń san èrè fún agent tí ó ṣe é dáadáa ní ìgbìyànjú èyíkéyìí. Olùṣàyẹ̀wò tí ó ń mú ìgbésẹ̀ búburú yẹ kí ó ran àkọ́kọ́ lọ́wọ́ ní ọ̀nà tí ó ṣeé gbẹ́kẹ̀lé ju èkejì lọ, àbájáde náà sì bá ìkàsí yẹn mu, bí ó tilẹ̀ jẹ́ pé ìwé náà sọ nìkan pé àpẹẹrẹ BFCL bá iṣẹ́ tí ó ṣeé tún ṣe sí i mu lórí àwọn iṣẹ́ kan, nítorí náà mo fi àmì sí ìyókù gẹ́gẹ́ bí ìtumọ̀, kì í ṣe àbájáde.
Ohun tí àwọn nọ́ńbà fi hàn #
Lórí Telecom, gbogbo agent mẹ́jọ ló mú àṣeyọrí ó-kéré-tán-lẹ́ẹ̀kan àti àṣeyọrí ní gbogbo ìgbà mẹ́ta sunwọ̀n sí i. Ìyẹn ni àbájáde tí ó mọ́ jù nínú ìwé náà: kò sí ìyàtọ̀ kankan láàrin àwọn agent tí a dánwò, lórí ìwọ̀n èyíkéyìí.
Lórí BFCL, gbogbo agent mẹ́sàn-án ló sunwọ̀n sí i nínú àṣeyọrí ìgbà mẹ́ta, ṣùgbọ́n àbájáde ó-kéré-tán-lẹ́ẹ̀kan dàpọ̀. Ẹ kà á dáadáa. Lórí BFCL, ìwọ̀n tí ó le jù ga sókè fún gbogbo agent tí a dánwò, láti 0.1 sí 9.6 point; ìwọ̀n tí ó rọ̀ jù sunwọ̀n sí i fún agent mẹ́rin, ó sì lọ sílẹ̀ fún márùn-ún. Bí ẹ bá bìkítà fún agent tí ń hùwà dáadáa ní gbogbo ìgbà, ìyẹn ni ìtọ́sọ́nà tí ó dára. Bí ẹ bá bìkítà fún bóyá àtúnṣe lè yọrí sí rere níkẹyìn, a kò fi àǹfààní náà múlẹ̀ níbí.
Airline ni ibi àìlera. Ipa lórí Airline kéré, ó sì yàtọ̀ láti agent kan sí òmíràn. Àkópọ̀ àbájáde náà gbé e kalẹ̀ gẹ́gẹ́ bí èrè tí ó dúró déédéé ní pàtàkì lórí Telecom àti BFCL, nígbà tí iṣẹ́ lórí Airline dàpọ̀ sí i. Olùdásílẹ̀ tí ń ka èyí kò gbọdọ̀ sọ ọ́ di "ó ń mú ohun gbogbo sunwọ̀n sí i". Àwọn òǹkọ̀wé ròyìn ìlọsíwájú nínú ìgbẹ́kẹ̀lé agent káàkiri ọ̀pọ̀ model àti benchmark, ṣùgbọ́n lórí Airline èrè kéré, ó sì dàpọ̀, wọ́n sì sọ pé àbájáde wọn kò fi èrè tí ó dọ́gba níbi gbogbo múlẹ̀. Ìwé náà kìlọ̀ pé pẹ̀lú iṣẹ́ Airline 50, iṣẹ́ kan ṣoṣo ń yí máàkì padà ní 2 percentage point, nítorí náà ó yẹ kí a ka ìyàtọ̀ kékeré pẹ̀lú ìṣọ́ra; yàtọ̀ sí ìyẹn, n kò ní dá ìdí tí Airline fi hùwà yàtọ̀ lámọ̀ràn.
Àwọn òǹkọ̀wé fúnra wọn ṣe ìkàsí gbogbogbò pẹ̀lú ìṣọ́ra: àbájáde náà dábàá pé dída decision model onítòlẹ́sẹẹsẹ pọ̀ mọ́ àyẹ̀wò tí a lè ṣiṣẹ́ lè mú ìgbẹ́kẹ̀lé LLM agent tí ń lo irinṣẹ́ sunwọ̀n sí i. "Dábàá" ni ọ̀rọ̀-ìṣe tí ó tọ́. Àbájáde tí ó ní ìrètí ni, kì í ṣe ẹ̀rí.
Ohun tí ìfiwéra náà yà sọ́tọ̀ àti ohun tí kò yà sọ́tọ̀ #
Ààlà kan yẹ fún ìwúwo ju bí ó ti máa ń rí lọ. Nítorí pé JevAct ń fi àyẹ̀wò tí a ṣàkójọ àti àǹfààní àtúnṣe kún un, àwọn ìfiwéra ń ṣe àgbéyẹ̀wò gbogbo harness, kì í ṣe onídàájọ́ nìkan. Ìkìlọ̀ pàtàkì ni fún ẹnikẹ́ni tí ń retí láti parí pé decision model ló ń ṣe iṣẹ́ ńlá. Èrè náà lè wá láti probability Kev, láti àyẹ̀wò ipò tí a lè ṣiṣẹ́, láti àǹfààní àfikún láti tún ṣe, tàbí láti àpapọ̀ kan. Àwọn ìfiwéra pàtàkì kò yà wọ́n sọ́tọ̀.
Mo jiyàn pé ìyẹn kì í ṣe àbùkù bí kò ṣe àpèjúwe òtítọ́ ohun tí ìwé ètò kan lè fi hàn. Ìbéèrè tí àwọn òǹkọ̀wé gbé kalẹ̀, bóyá decision model lè ṣiṣẹ́ gẹ́gẹ́ bí olùṣàyẹ̀wò oní-threshold probability lẹ́gbẹ̀ẹ́ àyẹ̀wò ipò irinṣẹ́ tí a lè ṣiṣẹ́, ni a dáhùn ní ìpele méjèèjì papọ̀, nítorí pé "lẹ́gbẹ̀ẹ́" wà nínú ìbéèrè náà fúnra rẹ̀. Ṣùgbọ́n olùkàwé tí ń pinnu ibi tí yóò fi akitiyan sí yẹ kí ó rántí rẹ̀. Bí ẹ bá ń kọ́ ohun kan tí ó jọ ọ́, ẹ kò lè fà á yọ láti inú ẹ̀rí yìí pé decision model nìkan yóò gbé ìlọsíwájú náà, bẹ́ẹ̀ ni kóòdù àyẹ̀wò nìkan kò ní.
Ó tún túmọ̀ sí pé ìkìlọ̀ calibration ṣì dúró. A kò ṣe ìdánilójú pé probability jẹ́ èyí tí a ṣe calibration rẹ̀ tàbí tí ó tọ̀nà, àbájáde ìpele harness kò sì mú àìdánilójú yẹn kúrò. Ó fi hàn pé ètò náà lápapọ̀ ṣèrànwọ́ lórí àwọn benchmark tí a dánwò.
Ibi tí èyí wà láàrin àwọn ìgbékalẹ̀ ààbò mìíràn #
JevAct darapọ̀ mọ́ ọ̀pọ̀ ọ̀nà láti ṣọ́ ìgbésẹ̀ agent, àwọn ìyàtọ̀ sì ń kọ́ni. GuardAgent ń lo agent ọ̀tọ̀ láti ṣẹ̀dá àti ṣiṣẹ́ kóòdù àyẹ̀wò láti inú àwọn ìbéèrè ààbò tí oníṣe ṣàlàyé. Zwerdling et al. ń ṣàkójọ ìlànà ilé-iṣẹ́ sí ààbò tí a lè ṣiṣẹ́, tí ó ń ṣàyẹ̀wò ìbámu ṣáájú ìgbésẹ̀ irinṣẹ́. AgentSpec ń ṣojú àwọn ìdènà àkókò ìṣiṣẹ́ gẹ́gẹ́ bí trigger, predicate àti ìgbésẹ̀ ìmúṣẹ. ShieldAgent ń fa òfin tí a lè ṣàyẹ̀wò yọ láti inú ìwé ìlànà.
Àwọn mìíràn gbára lé model fún àyẹ̀wò fúnra rẹ̀. ToolSafe ń lo guardrails tí a kọ́ láti ṣe àgbéyẹ̀wò tool call tí a dábàá àti láti dá ìdáhùn padà, nígbà tí PolicyGuard àti PolicyGuide ń lo olùṣàyẹ̀wò oní-model fún ìtẹ̀lé ìlànà àti ìtọ́sọ́nà ìlànà iṣẹ́. CaMeL gba ọ̀nà mìíràn, ó ń fi ààbò múlẹ̀ nípasẹ̀ yíya ìṣàn ìṣàkóso tí a gbẹ́kẹ̀lé sọ́tọ̀ kúrò lára dátà tí a kò gbẹ́kẹ̀lé.
Ní àyíká yẹn, àṣàyàn tí ó ya JevAct sọ́tọ̀ ni ìsopọ̀ pàtó rẹ̀. Bí ìlà iṣẹ́ ṣíṣàkójọ-sí-ààbò-tí-a-lè-ṣiṣẹ́, ó ń yí ìlànà padà sí àyẹ̀wò lórí ipò irinṣẹ́. Bí àwọn olùṣàyẹ̀wò oní-model, ó ń lo model fún ìdájọ́ tí kóòdù kò lè ṣe. Ohun tí ó fi kún un ni decision model tí ó ń dá probability àṣàyàn tí a ti pinnu padà, tí a ń lò lórí ayélujára ṣáájú kí àwọn ìgbésẹ̀ tí a yàn tó ṣiṣẹ́, pẹ̀lú ìdáhùn fún àtúnṣe. Ó fi àbá sílẹ̀ fún ReAct LLM, ó sì gbé Kev sí ìgbésẹ̀ àyẹ̀wò ọ̀tọ̀ ṣáájú kí àwọn ìgbésẹ̀ tí a yàn tó di àṣẹ.
Ìdí tí ìgbékalẹ̀ yìí fi yẹ láti máa ṣọ́ #
Èrò mi ni pé èrò tí ó wúlò jù níbí kì í ṣe Kev fúnra rẹ̀, bí kò ṣe ìbáwí pípín náà. Ẹ béèrè lọ́wọ́ kóòdù ohun tí kóòdù lè dáhùn. Ẹ béèrè lọ́wọ́ model nìkan ohun tí ó dá lórí ìjíròrò. Ẹ ya olùdábàá àti olùṣàyẹ̀wò sọ́tọ̀, kí model tí ń ṣàyẹ̀wò ìgbésẹ̀ má bàa jẹ́ èyí tí ó dábàá rẹ̀. Kí ẹ sì sọ àbájáde olùṣàyẹ̀wò di probability lòdì sí threshold, kí ẹnu-ọ̀nà jẹ́ ìfiwéra dípò ọ̀rọ̀ tí ẹnìkan gbọ́dọ̀ túmọ̀.
Ìgbékalẹ̀ yẹn tún ń mú kí àwọn ibi àìlera hàn kedere. Bí àyẹ̀wò kan bá ṣìṣe, ẹ lè béèrè bóyá àyẹ̀wò ipò ni tàbí ìbéèrè ìjíròrò. Bí threshold bá ṣì, nọ́ńbà ni wọ́n tí ẹ lè ṣàyẹ̀wò. Ìṣọ́ra ìwé náà fúnra rẹ̀ pé probability nílò ìdánwò nínú loop jẹ́ ìmọ̀lára tí ó tọ́, ó sì dára ju gbígbàgbọ́ pé olùṣàyẹ̀wò ń ṣiṣẹ́ nítorí pé ó dún bí ohun tí ó bọ́gbọ́n mu.
Àbájáde tí kò dọ́gba, bí ó bá jẹ́ ohunkóhun, ń fúnni ní ìdánilójú nípa òtítọ́ ìròyìn náà. Ìlànà tí ó sọ pé èrè dọ́gba níbi gbogbo yẹ fún ìfura ju èyí tí ó fi mẹ́jọ nínú mẹ́jọ hàn lórí Telecom, mẹ́sàn-án nínú mẹ́sàn-án lórí àṣeyọrí ìgbà mẹ́ta BFCL, àbájáde ó-kéré-tán-lẹ́ẹ̀kan tí ó dàpọ̀ lórí BFCL, àti ipa tí ó yàtọ̀ lórí Airline. Àpẹẹrẹ náà fún àwọn oníṣe ní ohun láti gbèrò lé lórí: ẹ̀rí tí ó lágbára jù wà fún ìgbẹ́kẹ̀lé káàkiri ìṣiṣẹ́ àtúnṣe, èyí tí ó lọ sílẹ̀ jù sì wà ní agbègbè tí ipa ti yàtọ̀ láti agent kan sí òmíràn.
Ohun tí a ó ṣe pẹ̀lú èyí #
Fún àwọn olùkàwé ìmọ̀-ẹ̀rọ, ẹ̀kọ́ náà jẹ́ ti ìgbékalẹ̀. LLM agent, prompt ìpìlẹ̀ àti àwọn irinṣẹ́ wà láìyípadà nínú JevAct, nítorí náà ìpele àyẹ̀wò jẹ́ ohun tí ẹ ń fi yí agent ká, kì í ṣe ohun tí ẹ ń kọ́ sínú rẹ̀. Fún àwọn olùdásílẹ̀, ìkàsí ìṣe kéré ju àkọlé lọ. Ìwé náà ròyìn ìgbẹ́kẹ̀lé tí ó sunwọ̀n sí i káàkiri ọ̀pọ̀ model àti benchmark, pẹ̀lú Airline tí ó dàpọ̀ sí i, àwọn ìfiwéra rẹ̀ sì ń ṣe àgbéyẹ̀wò gbogbo harness dípò onídàájọ́ nìkan. Àwọn ìfiwéra pàtàkì kò fi ẹ̀yà tí ó ń jèrè ìlọsíwájú náà múlẹ̀, bí ó tilẹ̀ jẹ́ pé ablation Airline ìwé náà dábàá pé àyẹ̀wò oní-ètò ló ṣe púpọ̀ nínú rẹ̀ ní àyíká yẹn.
Ìbéèrè ṣíṣí ni ìbéèrè àárín ìwé náà fúnra rẹ̀: bóyá decision model lè ṣiṣẹ́ gẹ́gẹ́ bí olùṣàyẹ̀wò oní-threshold probability lẹ́gbẹ̀ẹ́ àyẹ̀wò ipò irinṣẹ́ tí a lè ṣiṣẹ́, nígbà tí, gẹ́gẹ́ bí àwọn òǹkọ̀wé ti ṣàkíyèsí, a kò ṣe ìdánilójú pé probability rẹ̀ jẹ́ èyí tí a ṣe calibration rẹ̀ tàbí tí ó tọ̀nà. Àbájáde Airline, níbi tí ipa ti kéré tí ó sì yàtọ̀ láti agent kan sí òmíràn, ni ibi àkọ́kọ́ láti wò. Bóyá ìyàtọ̀ yẹn wá láti àyẹ̀wò, threshold tàbí ìlànà tí a ń ṣàkójọ jẹ́ ohun tí àbájáde tí a ròyìn fi sílẹ̀ ní ṣíṣí, òun sì ni ìdánwò tí èmi yóò fẹ́ rí jù lọ tẹ̀lé e.
Àwọn Ìbéèrè Tí A Máa Ń Béèrè #
Kí ni JevAct? JevAct jẹ́ ìlànà runtime verification láti ọ̀dọ̀ àwọn olùwádìí IBM tí ó ń dá àwọn ìgbésẹ̀ agent tí a yàn dúró, èyíinì write call àti hand-off, ṣáájú ìmúṣẹ. Àbá tí a fi àmì sí ń padà sọ́dọ̀ agent pẹ̀lú ìdáhùn pàtó àti àǹfààní tí ó ní ààlà láti tún un ṣe. LLM agent, prompt ìpìlẹ̀ àti àwọn irinṣẹ́ wà láìyípadà.
Kí ni Kev ń ṣe nínú JevAct? Kev jẹ́ decision model oní-orísun-ṣíṣí tí ó jọ Jev, tí ó ń dáhùn àwọn ìbéèrè tí a ti pinnu pẹ̀lú probability dípò ọ̀rọ̀ tí a ṣẹ̀dá. Nínú JevAct, ó ń dáhùn àwọn ìbéèrè tí ó dá lórí ìjíròrò, nígbà tí kóòdù ń ṣàyẹ̀wò òtítọ́ tí ó wà nínú àkọsílẹ̀ irinṣẹ́. Kev kò yan ìgbésẹ̀; agent ṣì ń dábàá wọn.
Báwo ni a ṣe ṣe àgbéyẹ̀wò JevAct? Ìwé náà fi JevAct wé ReAct harness tí ó ń lo agent LLM kan náà ní apá méjèèjì. Àwọn iṣẹ́ náà bo Airline àti Telecom nínú τ²-bench àti àwọn iṣẹ́ function-calling ọ̀pọ̀-ìyípo nínú BFCL, a sì ròyìn àṣeyọrí gẹ́gẹ́ bí ó-kéré-tán-lẹ́ẹ̀kan nínú ìṣiṣẹ́ mẹ́ta àti gẹ́gẹ́ bí àṣeyọrí ní gbogbo ìṣiṣẹ́ mẹ́ta.
Ṣé JevAct mú gbogbo agent sunwọ̀n sí i lórí gbogbo benchmark? Rárá. Lórí Telecom, gbogbo agent mẹ́jọ ló sunwọ̀n sí i lórí ìwọ̀n méjèèjì, lórí BFCL sì gbogbo mẹ́sàn-án ló sunwọ̀n sí i nínú àṣeyọrí ìgbà mẹ́ta nígbà tí àbájáde ó-kéré-tán-lẹ́ẹ̀kan dàpọ̀. Ipa lórí Airline kéré, ó sì yàtọ̀ láti agent kan sí òmíràn, àwọn òǹkọ̀wé sì sọ pé àbájáde náà kò fi èrè tí ó dọ́gba níbi gbogbo múlẹ̀.
Ṣé ìwé náà fi hàn pé decision model nìkan ló ń mú èrè wá? Rárá. Nítorí pé JevAct ń fi àyẹ̀wò tí a ṣàkójọ àti àǹfààní àtúnṣe kún un, àwọn ìfiwéra pàtàkì ń ṣe àgbéyẹ̀wò gbogbo harness, kì í ṣe onídàájọ́ nìkan. Àwọn òǹkọ̀wé tún ṣàkíyèsí pé a kò ṣe ìdánilójú pé probability decision-model jẹ́ èyí tí a ṣe calibration rẹ̀ tàbí tí ó tọ̀nà.
Àwọn Ìtọ́kasí #
- Shoham, I., David, Y., Akrabi, O., Bilgory, E., Levy, I., Marreed, S., Zeltyn, S. àti Shlomov, S., (2026). Think Before You Act: Decision Gate for LLM Agents ⧉. arXiv.
- Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K. àti Cao, Y., (2022). ReAct: Synergizing Reasoning and Acting in Language Models ⧉. arXiv.
- Barres, V., Dong, H., Ray, S., Si, X. àti Narasimhan, K., (2025). τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment ⧉. arXiv.
- TypeSafe AI, (2026). Introducing System One Models and Jev ⧉. TypeSafe AI.
- Palmer, J., (2026). KEV: Prefill-only Decision Models ⧉. GitHub.
- Xiang, Z. et al., (2024). GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning ⧉. arXiv.
- Chen, Z., Kang, M. àti Li, B., (2025). ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning ⧉. arXiv.
- Li, Y., Miao, Y., Krishnan, R. àti Padman, R., (2026). Jev-as-a-Judge: Accept When Confident, Escalate When Unsure ⧉. arXiv.
- Rao, D. àti Callison-Burch, C., (2026). Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places ⧉. arXiv.
Àyẹ̀wò àkọ́kọ́ .
Tẹ àpilẹ̀kọ yìí jáde lẹ́ẹ̀kan sí i
Daakọ ọ̀nà fún Medium
# Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/](https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/) JevAct ń ṣàyẹ̀wò àwọn ìgbésẹ̀ LLM agent tí a yàn kí wọ́n tó ṣiṣẹ́. Ní ìfiwéra pẹ̀lú ReAct, èrè dúró lórí Telecom àti BFCL, ṣùgbọ́n ó dàpọ̀ lórí Airline. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/
Daakọ ọ̀nà fún Mastodon
Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau JevAct ń ṣàyẹ̀wò àwọn ìgbésẹ̀ LLM agent tí a yàn kí wọ́n tó ṣiṣẹ́. Ní ìfiwéra pẹ̀lú ReAct, èrè dúró lórí Telecom àti BFCL, ṣùgbọ́n ó dàpọ̀ lórí Airline. https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/
Daakọ tí a ṣe ìtọ́nà fún LinkedIn
Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau JevAct ń ṣàyẹ̀wò àwọn ìgbésẹ̀ LLM agent tí a yàn kí wọ́n tó ṣiṣẹ́. Ní ìfiwéra pẹ̀lú ReAct, èrè dúró lórí Telecom àti BFCL, ṣùgbọ́n ó dàpọ̀ lórí Airline. Èyí ni àwọn èrò àgbékalẹ̀ pàtàkì: - Ìṣòro náà: ìmúṣẹ ń tẹ̀lé àbá. Agent tí ó ń ra tíkẹ́ẹ̀tì ọkọ̀ òfurufú, tí ó ń fagi lé àṣẹ, tàbí tí ó ń yí ètò àkọọ́lẹ̀ padà ń ṣe ohun tí a kò lè dá padà ní ìdákẹ́jẹ́ẹ́. - Kí ni JevAct. JevAct jẹ́ harness tí ó ń ṣàyẹ̀wò àwọn àbá tí a yàn ṣáájú ìmúṣẹ. - Oríṣi ẹ̀rí méjì, ẹnu-ọ̀nà kan. Ìgbékalẹ̀ náà dúró lórí pípín láàrin ohun tí a lè ṣàyẹ̀wò ní ọ̀nà tí ó dájú àti ohun tí a kò lè ṣàyẹ̀wò bẹ́ẹ̀. - Ìdí tí a fi lo decision model dípò LLM onídàájọ́. Àṣàyàn mìíràn tí ó hàn gbangba ni LLM onídàájọ́ tí ń ka àbá, tí ó sì ń kọ ìdájọ́. Kí ni ọ̀nà àgbékalẹ̀ ilé-iṣẹ́ yín sí àwọn ìpèníjà tí a sọ nínú àpilẹ̀kọ yìí? → https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/ #LlmAgent #Àyẹ̀wòAgent #RuntimeVerification #DecisionModel #AgentTíŃLoIrinṣẹ́ Sebastien Rousseau | CC-BY-4.0
Tọka àpilẹkọ yìí
Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau
JevAct ń ṣàyẹ̀wò àwọn ìgbésẹ̀ LLM agent tí a yàn kí wọ́n tó ṣiṣẹ́. Ní ìfiwéra pẹ̀lú ReAct, èrè dúró lórí Telecom àti BFCL, ṣùgbọ́n ó dàpọ̀ lórí Airline.
BibTeX
@online{rousseau2026ṣíṣàyẹ,
author = {Rousseau, Sebastien},
title = {{Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/ ER -
Vancouver
Rousseau S. Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/
Chicago
Rousseau, Sebastien. "Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/.
APA
Rousseau, S. (2026, November 18). Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/
Tun àpilẹkọ yìí jade
Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau
JevAct ń ṣàyẹ̀wò àwọn ìgbésẹ̀ LLM agent tí a yàn kí wọ́n tó ṣiṣẹ́. Ní ìfiwéra pẹ̀lú ReAct, èrè dúró lórí Telecom àti BFCL, ṣùgbọ́n ó dàpọ̀ lórí Airline.
A ti fun àpilẹkọ yìí ni iwe-ẹri labẹ Creative Commons Attribution 4.0 International. Atunjade nilo idanimọ si URL akọkọ.
Ṣíṣàyẹ̀wò Ìgbésẹ̀ Agent Kí Wọ́n Tó Ṣiṣẹ́: Ẹnu-Ọ̀nà JevAct — Sebastien Rousseau JevAct ń ṣàyẹ̀wò àwọn ìgbésẹ̀ LLM agent tí a yàn kí wọ́n tó ṣiṣẹ́. Ní ìfiwéra pẹ̀lú ReAct, èrè dúró lórí Telecom àti BFCL, ṣùgbọ́n ó dàpọ̀ lórí Airline. Originally published at https://sebastienrousseau.com/yo/2026-11-18-sisayewo-igbese-agent-won-to-sise/ by Sebastien Rousseau. Licensed under CC-BY-4.0.
