Sebastien Rousseau

عامل‌های LLM

راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct

بیشتر حلقه‌های عامل، فراخوانی ابزار را همان لحظه‌ای اجرا می‌کنند که مدل آن را پیشنهاد می‌دهد، و نتایج JevAct نشان می‌دهد که یک ایست بازرسی ارزان و مبتنی بر احتمال، درست پیش از اجرا، می‌تواند عامل‌های ابزارمحور را قابل‌اعتمادتر کند، هرچند دستاوردها از یک محک به محک دیگر به‌شدت متفاوت است.

14 دقیقه مطالعه
Banner for: راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct

بیشتر حلقه‌های عامل، فراخوانی ابزار را همان لحظه‌ای اجرا می‌کنند که مدل آن را پیشنهاد می‌دهد، و نتایج JevAct نشان می‌دهد که یک ایست بازرسی ارزان و مبتنی بر احتمال، درست پیش از اجرا، می‌تواند عامل‌های ابزارمحور را قابل‌اعتمادتر کند، هرچند دستاوردها از یک محک به محک دیگر به‌شدت متفاوت است.

خلاصهٔ مدیریتی

  • عامل‌های LLM روزبه‌روز بیشتر از طریق ابزارهای بیرونی اقدام‌های پیامددار انجام می‌دهند، اما این اقدام‌ها اغلب بدون راستی‌آزمایی مستقل انطباق با خط‌مشی یا تکمیل کار اجرا می‌شوند.
  • JevAct خط‌مشی یک حوزه را به‌صورت برون‌خط به پرسش‌ها، قواعد، بررسی‌های اجرایی وضعیت و در صورت نیاز یک فهرست بازبینی واگذاری (hand-off) کامپایل می‌کند.
  • در زمان اجرا، کد واقعیت‌های موجود در سوابق ابزار را بررسی می‌کند، در حالی که Kev، یک مدل تصمیم متن‌باز از گونهٔ Jev، به پرسش‌هایی پاسخ می‌دهد که به گفت‌وگو وابسته‌اند.
  • در مقایسه با یک بستر ReAct بر روی τ²-bench (Airline، Telecom) و BFCL، دستاوردها در Telecom و در موفقیت سه‌اجرایی BFCL پایدارند و در Airline ناهمگون‌تر.
  • چارچوب‌بندی خود نویسندگان محتاطانه است: یافته‌ها نشان می‌دهند که مدل‌های تصمیم ساختاریافته در کنار راستی‌آزمایی اجرایی می‌توانند قابلیت اطمینان را بهبود دهند.

مسئله: اجرا بی‌درنگ از پی پیشنهاد می‌آید #

عاملی که پرواز رزرو می‌کند، سفارشی را لغو می‌کند یا تنظیمات حسابی را تغییر می‌دهد، کاری انجام می‌دهد که نمی‌توان بی‌سروصدا آن را برگرداند. بخش ناخوشایند این است که میان پیشنهاد مدل و اثر آن چه اندک چیزی ایستاده است. بسیاری از حلقه‌های عامل، فراخوانی ابزار پیشنهادی را به محض تولید آن توسط مدل اجرا می‌کنند. هیچ‌کس به‌طور مستقل بررسی نمی‌کند که آیا این اقدام با خط‌مشی حوزه سازگار است، یا اینکه کاری که عامل آن را تمام‌شده می‌داند واقعاً تمام شده است.

این شکاف نقطهٔ آغاز «Think Before You Act: Decision Gate for LLM Agents» است، پیش‌چاپی در arXiv در 2026 از Iftach Shoham، Yuval David و همکارانشان در IBM، که JevAct را معرفی می‌کند. این مشاهده‌ای تازه نیست، اما ارزش دارد که صریح بیان شود، زیرا بخش بزرگی از ابزارهای عامل بر بهتر کردن پیشنهاددهنده متمرکزند. عامل‌های ReAct استدلال را با به‌کارگیری ابزار درمی‌آمیزند، و این الگو به خط پایه‌ای رایج تبدیل شده است. روش‌های بازاندیشی مانند Self-Refine و Reflexion نقد و بازخورد را برای بهبود پیشنهادها یا تلاش‌های بعدی می‌افزایند، بی‌آنکه وزن‌های مدل را به‌روز کنند. این روش‌ها هر قدر هم سودمند باشند، به‌خودی‌خود یک اقدام مشخص را درست پیش از اجرا در برابر خط‌مشی حوزه راستی‌آزمایی نمی‌کنند. بررسی‌ای که JevAct به آن می‌پردازد در نقطهٔ دیگری از حلقه قرار دارد: پس از اینکه پیشنهادی وجود دارد و پیش از آنکه قطعی شود.

JevAct چیست #

JevAct بستری است که پیشنهادهای منتخب را پیش از اجرا بررسی می‌کند. این بستر چارچوبی برای راستی‌آزمایی در زمان اجرا توصیف می‌شود که اقدام‌های منتخب عامل را رهگیری می‌کند و اصلاح مبتنی بر بازخورد را ممکن می‌سازد. مستقل از مدل زیربنایی عامل کار می‌کند و به هیچ تغییری در پارامترها یا ابزارهای مدل نیاز ندارد. در پیکربندی ارزیابی‌شده، LLM، پرامپت پایه و ابزارهای عامل بدون تغییر می‌مانند.

از نظر معماری، JevAct بستر یک عامل ReAct را با افزودن یک مرحلهٔ بررسی گزینشی میان پیشنهاد پیام و اجرا تقویت می‌کند. واژهٔ «گزینشی» مهم است. چارچوب هر پیامی را بازرسی نمی‌کند؛ گونه‌های خاصی از اقدام را هدف می‌گیرد. مقاله دو گونه را تعریف می‌کند. فراخوانی نوشتنی (write call) محیط را تغییر می‌دهد، برای نمونه با رزرو، لغو یا تغییر یک تنظیم. واگذاری (hand-off) تلاش عامل را پایان می‌دهد، یا با انتقال کاربر به یک انسان یا با گفتن به کاربر که کار دیگری از دست برنمی‌آید. نوشتن‌ها جایی‌اند که نقض خط‌مشی آسیب می‌زند؛ واگذاری‌ها جایی‌اند که عامل ممکن است زودتر از موعد دست بکشد. هدف اعلام‌شدهٔ چارچوب، یعنی شناسایی اقدام‌های بالقوه نامعتبر و پایان زودهنگام کار، بر همین دو دسته منطبق است.

وقتی یک بررسی شکست می‌خورد، پیشنهاد صرفاً مسدود نمی‌شود. بررسی‌ها می‌توانند اجرا را به تعویق اندازند و با بازخورد موقت، پیشنهادی بازنگری‌شده از LLM بخواهند، در چارچوب یک بودجهٔ ثابت بازنگری. پیشنهادی که پذیرفته شود پیش می‌رود. پیشنهادی که پرچم بخورد با بازخورد هدفمند و فرصتی محدود برای بازنگری به عامل بازمی‌گردد. و تقسیم کار روشن می‌ماند: عامل همچنان اقدام‌ها را پیشنهاد می‌دهد، و Kev آن‌ها را انتخاب نمی‌کند.

دو گونه شاهد، یک دروازه #

طراحی بر جدایی میان آنچه می‌توان به‌طور قطعی راستی‌آزمایی کرد و آنچه نمی‌توان، استوار است. JevAct راستی‌آزمایی قطعی واقعیت‌های وضعیت ابزار را با ارزیابی احتمالاتی بافت گفت‌وگو ترکیب می‌کند. در زمان اجرا، کد واقعیت‌های موجود در سوابق ابزار را بررسی می‌کند، و Kev به پرسش‌هایی پاسخ می‌دهد که به گفت‌وگو وابسته‌اند.

این جدایی معقول است. برخی شرایط خط‌مشی واقعیت‌هایی‌اند که در سوابق یک ابزار نشسته‌اند، و برنامه می‌تواند بی‌نیاز از نظر هیچ مدلی آن‌ها را بخواند. شرایط دیگر در آنچه کاربر و عامل به هم گفته‌اند جای دارند، که هیچ جست‌وجوی پایگاه داده‌ای آن را حل نمی‌کند. سپردن گونهٔ اول به کد و گونهٔ دوم به مدل یعنی از مدل تنها دربارهٔ چیزهایی پرسیده می‌شود که کد نمی‌تواند پاسخ دهد.

نیمهٔ برون‌خط چیزی است که توصیف این کار را عملی می‌کند. یک کامپایلر خط‌مشی حوزه را به پرسش‌ها، قواعد، بررسی‌های اجرایی بر وضعیت ابزار، و در صورت نیاز یک فهرست بازبینی واگذاری تبدیل می‌کند. به بیان دیگر، JevAct خط‌مشی‌های حوزه را به بررسی‌های اجرایی وضعیت و پرسش‌های ساختاریافته‌ای کامپایل می‌کند که یک مدل تصمیم تنها‌پیش‌پر آن‌ها را ارزیابی می‌کند. نویسندگان می‌گویند شالودهٔ گردش کاری را می‌گذارند که خط‌مشی‌های حوزه را به پرسش‌ها، قواعد تصمیم، بررسی‌های اجرایی وضعیت و فهرست‌های بازبینی واگذاری برای یک دروازهٔ مدل تصمیم کامپایل می‌کند. این بیانی فروتنانه است، و من آن را همان‌گونه که هست می‌پذیرم: ادعا دربارهٔ شالودهٔ یک گردش کار است، نه یک محصول تمام‌شده.

چرا مدل تصمیم و نه داور LLM #

جایگزین بدیهی، داوری LLM است که پیشنهاد را می‌خواند و حکمی می‌نویسد. ایراد مقاله عملی است. توضیحات آزاد چنین داوری باید پیش از آنکه دروازه بتواند بر پایهٔ آن‌ها عمل کند همچنان تفسیر شوند، و گرفتن این تصمیم با یک مدل پیشرو پرهزینه است. دروازه به تصمیم نیاز دارد، نه به انشا.

مدل‌های تصمیم برای همین ساخته شده‌اند. Jev مدل‌های تصمیمی را معرفی کرد که به جای متن تولیدی، گزینه‌های نوع‌دار، امتیازها و احتمال‌ها برمی‌گردانند. این مدل‌ها برای پرسش‌های ثابت، گزینه‌ها و احتمال‌ها را برمی‌گردانند، و این کار بررسی‌های مبتنی بر آستانه را سرراست می‌کند. مدلی که JevAct به کار می‌گیرد تنها‌پیش‌پر است و بی‌آنکه به تولید LLM تکیه کند، داوری‌های مبتنی بر احتمال ارائه می‌دهد. Kev یک مدل تصمیم متن‌باز از گونهٔ Jev است که در یک گام راستی‌آزمایی جداگانه، پیش از قطعی‌شدن اقدام‌های منتخب، قرار می‌گیرد.

یک گیر وجود دارد، و نویسندگان خود آن را بیان می‌کنند. تضمینی نیست که احتمال‌های مدل تصمیم کالیبره یا درست باشند، پس ارزش آن‌ها باید در حلقهٔ عامل آزموده شود، نه اینکه فرض شود. همین جمله کل بخش تجربی را چارچوب می‌دهد. پرسش محوری این است که آیا یک مدل تصمیم می‌تواند در کنار بررسی‌های اجرایی وضعیت ابزار، به‌عنوان راستی‌آزمایی با آستانهٔ احتمال عمل کند. این پرسشی است که باید با آزمایش پاسخ داده شود، و جزئیات جالب در همان آزمایش است.

کارهای مرتبط دربارهٔ مدل‌های تصمیم تصویری ناهمگون از اهمیت این آزمون می‌دهند. Li و همکاران نتایج رقابتی در ترجیح و درستی مبتنی بر شواهد، اما عملکرد ضعیف‌تر در جایی که استنتاج لازم است گزارش می‌کنند. Rao و Callison-Burch نتایج ناهمگون در ارزیابی مبتنی بر روبریک و خطاهای هم‌پوشان با داورهای LLM گزارش می‌کنند. مدل تصمیمی که در برخی کارهای داوری قوی و در برخی دیگر ضعیف‌تر است، دقیقاً همان مؤلفه‌ای است که می‌خواهید آن را با بررسی‌های قطعی جفت کنید، نه اینکه به‌تنهایی به آن اعتماد کنید.

مقایسه چگونه انجام شد #

JevAct با یک بستر ReAct مقایسه می‌شود که در هر دو شاخه از همان LLM عامل بهره می‌گیرد. کارها Airline و Telecom در τ²-bench و کارهای چندنوبتی فراخوانی تابع در BFCL را در بر می‌گیرند. ثابت نگه داشتن LLM عامل در هر دو شاخه کنترل درستی برای پرسش مطرح‌شده است: هر تفاوتی از بستر می‌آید، نه از پیشنهاددهندهٔ قوی‌تر یا ضعیف‌تر.

مقاله نتایج خود را با ارقام pass^3، برگرفته از جدول 2، همراه با موفقیت دست‌کم یک‌باره گزارش می‌کند. این دو سنجه در جهت‌های متفاوتی می‌کشند، و تقابل میانشان آموزنده از آب درمی‌آید. موفقیت در هر سه اجرا به عاملی پاداش می‌دهد که هر بار درست عمل کند. موفقیت دست‌کم یک‌باره به عاملی پاداش می‌دهد که در هر تلاشی درست عمل کند. راستی‌آزمایی که اقدام‌های نادرست را می‌گیرد باید به اولی با اطمینان بیشتری از دومی کمک کند، و نتایج با این خوانش سازگار است، هرچند مقاله تنها می‌گوید الگوی BFCL با عملکرد تکرارپذیرتر در برخی کارها سازگار است، پس بقیه را به‌عنوان تفسیر و نه یافته علامت می‌زنم.

ارقام چه نشان می‌دهند #

در Telecom، هر هشت عامل هم در موفقیت دست‌کم یک‌باره و هم در موفقیت در هر سه اجرا بهبود می‌یابند. این پاکیزه‌ترین نتیجهٔ مقاله است: هیچ استثنایی در میان عامل‌های آزموده‌شده، در هیچ‌یک از دو سنجه.

در BFCL، هر نه عامل در موفقیت سه‌اجرایی بهبود می‌یابند، اما نتایج دست‌کم یک‌باره ناهمگون است. این را با دقت بخوانید. در BFCL، سنجهٔ سخت‌گیرانه‌تر برای هر عامل آزموده‌شده، بین 0.1 تا 9.6 واحد بالا می‌رود؛ سنجهٔ آسان‌گیرتر برای چهار عامل بهبود و برای پنج عامل افت می‌یابد. اگر برایتان مهم است که عامل هر بار درست رفتار کند، این جهت مطلوب است. اگر برایتان مهم است که آیا تلاش دوباره سرانجام موفق می‌شود، سود آن در اینجا اثبات نشده است.

Airline نقطهٔ ضعف است. اثرها در Airline کوچک‌تر است و از عاملی به عامل دیگر فرق می‌کند. جمع‌بندی نتایج آن را چنین بیان می‌کند: دستاوردهای به‌ویژه پایدار در Telecom و BFCL، در حالی که عملکرد در Airline ناهمگون‌تر است. بنیان‌گذاری که این را می‌خواند نباید آن را به «همه‌چیز را بهتر می‌کند» گرد کند. نویسندگان بهبود قابلیت اطمینان عامل را در چند مدل و محک گزارش می‌کنند، اما در Airline دستاوردها کوچک‌تر و ناهمگون‌اند، و می‌گویند یافته‌هایشان دستاوردهای یکنواخت را اثبات نمی‌کند. مقاله هشدار می‌دهد که با 50 کار در Airline، یک کار منفرد امتیاز را 2 واحد درصد جابه‌جا می‌کند، پس تفاوت‌های کوچک را باید با احتیاط خواند؛ فراتر از آن، حدس نمی‌زنم چرا Airline رفتار متفاوتی دارد.

خوانش کلی را خود نویسندگان محتاطانه بیان کرده‌اند: یافته‌ها نشان می‌دهند که ترکیب مدل‌های تصمیم ساختاریافته با راستی‌آزمایی اجرایی می‌تواند قابلیت اطمینان عامل‌های LLM ابزارمحور را بهبود دهد. «نشان می‌دهند» فعل درستی است. این نتیجه‌ای امیدوارکننده است، نه یک اثبات.

آنچه مقایسه جدا می‌کند و جدا نمی‌کند #

یک محدودیت سزاوار وزنی بیش از معمول است. از آنجا که JevAct بررسی‌های کامپایل‌شده و فرصت‌های بازنگری را می‌افزاید، مقایسه‌ها کل بستر را ارزیابی می‌کنند، نه داور را به‌تنهایی. این قیدی مهم برای کسی است که امیدوار است نتیجه بگیرد بار اصلی بر دوش مدل تصمیم است. دستاوردها ممکن است از احتمال‌های Kev، از بررسی‌های اجرایی وضعیت، از فرصت‌های اضافی بازنگری، یا از ترکیبی از آن‌ها بیایند. مقایسه‌های اصلی آن‌ها را از هم جدا نمی‌کنند.

به نظر من این بیش از آنکه نقص باشد، توصیفی صادقانه از چیزی است که یک مقالهٔ سامانه‌ای می‌تواند نشان دهد. پرسشی که نویسندگان طرح می‌کنند، اینکه آیا یک مدل تصمیم می‌تواند در کنار بررسی‌های اجرایی وضعیت ابزار به‌عنوان راستی‌آزمایی با آستانهٔ احتمال عمل کند، در سطح جفت پاسخ داده می‌شود، چون «در کنار» در خود پرسش آمده است. اما خواننده‌ای که تصمیم می‌گیرد تلاش خود را کجا سرمایه‌گذاری کند باید آن را در نظر داشته باشد. اگر چیزی مشابه می‌سازید، نمی‌توانید از این شواهد استنتاج کنید که مدل تصمیم به‌تنهایی بهبود را به دوش می‌کشد، و نه اینکه بررسی‌های کد به‌تنهایی چنین می‌کنند.

این همچنین یعنی قید کالیبراسیون همچنان پابرجاست. تضمینی نیست که احتمال‌ها کالیبره یا درست باشند، و نتیجهٔ سطح بستر این عدم قطعیت را از میان نمی‌برد. این نتیجه نشان می‌دهد که آرایش به‌عنوان یک کل، در محک‌های آزموده‌شده کمک کرد.

جایگاه آن در میان دیگر طرح‌های حفاظتی #

JevAct به مجموعه‌ای شلوغ از رویکردهای حفاظت از اقدام‌های عامل می‌پیوندد، و تفاوت‌ها آموزنده‌اند. GuardAgent از یک عامل جداگانه برای تولید و اجرای کد راستی‌آزمایی از روی الزامات حفاظتی تعریف‌شده توسط کاربر بهره می‌گیرد. Zwerdling و همکاران خط‌مشی‌های شرکت را به حفاظ‌های اجرایی کامپایل می‌کنند که انطباق را پیش از اقدام‌های ابزار بررسی می‌کنند. AgentSpec قیدهای زمان اجرا را به شکل محرک‌ها، گزاره‌ها و اقدام‌های اعمال نمایش می‌دهد. ShieldAgent قواعد راستی‌آزمایی‌پذیر را از اسناد خط‌مشی استخراج می‌کند.

دیگران برای خود راستی‌آزمایی به مدل‌ها تکیه می‌کنند. ToolSafe از یک حفاظ آموخته برای ارزیابی فراخوانی‌های ابزار پیشنهادی و برگرداندن بازخورد بهره می‌گیرد، در حالی که PolicyGuard و PolicyGuide از راستی‌آزماهای مبتنی بر مدل برای پایبندی به خط‌مشی و راهنمایی گردش کار استفاده می‌کنند. CaMeL راه دیگری می‌رود و امنیت را از طریق جداسازی جریان کنترل مورد اعتماد از دادهٔ غیرقابل‌اعتماد اعمال می‌کند.

در برابر این پس‌زمینه، انتخاب متمایزکنندهٔ JevAct جفت‌سازی خاص آن است. همچون خط کاری کامپایل به حفاظ‌های اجرایی، خط‌مشی را به بررسی‌هایی بر وضعیت ابزار تبدیل می‌کند. همچون راستی‌آزماهای مبتنی بر مدل، برای داوری‌هایی که کد نمی‌تواند انجام دهد از یک مدل بهره می‌گیرد. آنچه می‌افزاید، مدل تصمیمی است که احتمال‌های گزینه‌ثابت برمی‌گرداند و به‌صورت برخط پیش از اجرای اقدام‌های منتخب، همراه با بازخورد برای بازنگری، به کار می‌رود. پیشنهادها را به LLM ReAct می‌سپارد و Kev را در یک گام راستی‌آزمایی جداگانه، پیش از قطعی‌شدن اقدام‌های منتخب، قرار می‌دهد.

چرا این طراحی ارزش زیر نظر داشتن دارد #

به نظر من سودمندترین ایده در اینجا خود Kev نیست، بلکه انضباط این جدایی است. از کد آنچه را بپرسید که کد می‌تواند پاسخ دهد. از مدل تنها آنچه را بپرسید که به گفت‌وگو وابسته است. پیشنهاددهنده و راستی‌آزما را جدا نگه دارید، تا مدلی که اقدامی را بررسی می‌کند همان مدلی نباشد که آن را پیشنهاد داده است. و خروجی راستی‌آزما را احتمالی در برابر یک آستانه قرار دهید، تا دروازه یک مقایسه باشد، نه متنی که کسی باید آن را تجزیه کند.

این طراحی نقاط ضعف را نیز خوانا می‌کند. اگر بررسی‌ای اشتباه عمل کند، می‌توانید بپرسید که آیا بررسی وضعیت بود یا پرسشی گفت‌وگویی. اگر آستانه‌ها نادرست باشند، اعدادی‌اند که می‌توانید وارسی کنید. احتیاط خود مقاله، اینکه احتمال‌ها باید در حلقه آزموده شوند، غریزهٔ درستی است، و موضعی بهتر از فرض اینکه یک راستی‌آزما چون معقول به نظر می‌رسد کار می‌کند.

نتایج ناهموار، اگر چیزی باشند، دربارهٔ صداقت گزارش‌دهی اطمینان‌بخش‌اند. چارچوبی که مدعی دستاوردهای یکنواخت در همه‌جا باشد، سزاوار بدگمانی بیشتری است تا چارچوبی که هشت از هشت در Telecom، نه از نه در موفقیت سه‌اجرایی BFCL، نتایج ناهمگون دست‌کم یک‌باره در BFCL و اثرهای متغیر در Airline را نشان می‌دهد. این الگو به متخصصان چیزی می‌دهد که بر پایهٔ آن برنامه‌ریزی کنند: قوی‌ترین شواهد برای قابلیت اطمینان در اجراهای مکرر است، و ضعیف‌ترین آن در حوزه‌ای که اثرها از عاملی به عامل دیگر فرق می‌کند.

با این چه باید کرد #

برای خوانندگان فنی، نکتهٔ اصلی معماری است. در JevAct، LLM، پرامپت پایه و ابزارهای عامل بدون تغییر می‌مانند، پس لایهٔ راستی‌آزمایی چیزی است که پیرامون عامل می‌افزایید، نه چیزی که در آن آموزش می‌دهید. برای بنیان‌گذاران، خوانش عملی محدودتر از تیتر است. مقاله بهبود قابلیت اطمینان را در چند مدل و محک گزارش می‌کند، با Airline ناهمگون‌تر، و مقایسه‌هایش کل بستر را ارزیابی می‌کنند، نه داور را به‌تنهایی. مقایسه‌های اصلی ثابت نمی‌کنند کدام مؤلفه بهبود را به دست می‌آورد، هرچند آزمایش حذفی (ablation) مقاله در Airline نشان می‌دهد که در آن محیط، راستی‌آزمایی برنامه‌ای بخش بزرگی از آن را توضیح می‌دهد.

پرسش باز همان پرسش محوری خود مقاله است: آیا یک مدل تصمیم می‌تواند در کنار بررسی‌های اجرایی وضعیت ابزار به‌عنوان راستی‌آزمایی با آستانهٔ احتمال عمل کند، وقتی، همان‌گونه که نویسندگان یادآور می‌شوند، تضمینی نیست که احتمال‌هایش کالیبره یا درست باشند. نتایج Airline، که در آن اثرها کوچک‌تر و از عاملی به عامل دیگر متفاوت‌اند، نخستین جایی است که باید نگاه کرد. اینکه آیا این تغییرپذیری به بررسی‌ها، آستانه‌ها یا خط‌مشی‌های کامپایل‌شده بازمی‌گردد، چیزی است که نتایج گزارش‌شده باز می‌گذارند، و همان آزمایشی است که بیش از همه می‌خواهم در گام بعد ببینم.

پرسش‌های متداول #

JevAct چیست؟ JevAct چارچوبی برای راستی‌آزمایی در زمان اجرا از پژوهشگران IBM است که اقدام‌های منتخب عامل، یعنی فراخوانی‌های نوشتنی و واگذاری‌ها، را پیش از اجرا رهگیری می‌کند. پیشنهادی که پرچم بخورد با بازخورد هدفمند و فرصتی محدود برای بازنگری به عامل بازمی‌گردد. LLM، پرامپت پایه و ابزارهای عامل بدون تغییر می‌مانند.

Kev در JevAct چه می‌کند؟ Kev یک مدل تصمیم متن‌باز از گونهٔ Jev است که به پرسش‌های ثابت با احتمال‌ها پاسخ می‌دهد، نه با متن تولیدی. در JevAct به پرسش‌هایی پاسخ می‌دهد که به گفت‌وگو وابسته‌اند، در حالی که کد واقعیت‌های موجود در سوابق ابزار را بررسی می‌کند. Kev اقدام‌ها را انتخاب نمی‌کند؛ عامل همچنان آن‌ها را پیشنهاد می‌دهد.

JevAct چگونه ارزیابی شد؟ مقاله JevAct را با یک بستر ReAct مقایسه می‌کند که در هر دو شاخه از همان LLM عامل بهره می‌گیرد. کارها Airline و Telecom در τ²-bench و کارهای چندنوبتی فراخوانی تابع در BFCL را در بر می‌گیرند، و موفقیت هم به‌صورت دست‌کم یک‌باره در سه اجرا و هم به‌صورت موفقیت در هر سه اجرا گزارش می‌شود.

آیا JevAct هر عامل را در هر محک بهبود داد؟ خیر. در Telecom، هر هشت عامل در هر دو سنجه بهبود یافتند، و در BFCL هر نه عامل در موفقیت سه‌اجرایی بهبود یافتند در حالی که نتایج دست‌کم یک‌باره ناهمگون بود. اثرها در Airline کوچک‌تر بود و از عاملی به عامل دیگر فرق می‌کرد، و نویسندگان می‌گویند یافته‌ها دستاوردهای یکنواخت را اثبات نمی‌کنند.

آیا مقاله نشان می‌دهد که دستاوردها تنها از مدل تصمیم می‌آید؟ خیر. از آنجا که JevAct بررسی‌های کامپایل‌شده و فرصت‌های بازنگری را می‌افزاید، مقایسه‌های اصلی کل بستر را ارزیابی می‌کنند، نه داور را به‌تنهایی. نویسندگان همچنین یادآور می‌شوند که تضمینی نیست احتمال‌های مدل تصمیم کالیبره یا درست باشند.

منابع #

آخرین بازبینی .

بازنشر متقابل این مقاله

کپی قالب‌بندی‌شده برای Medium

# راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/](https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/)

JevAct اقدام‌های منتخب عامل LLM را پیش از اجرا بررسی می‌کند. در برابر ReAct با همان مدل، دستاوردها در Telecom و BFCL پایدار و در Airline ناهمگون بود.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/

کپی قالب‌بندی‌شده برای Mastodon

راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau

JevAct اقدام‌های منتخب عامل LLM را پیش از اجرا بررسی می‌کند. در برابر ReAct با همان مدل، دستاوردها در Telecom و BFCL پایدار و در Airline ناهمگون بود.

https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/

کپی قالب‌بندی‌شده برای LinkedIn

راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau

JevAct اقدام‌های منتخب عامل LLM را پیش از اجرا بررسی می‌کند. در برابر ReAct با همان مدل، دستاوردها در Telecom و BFCL پایدار و در Airline ناهمگون بود.

مهم‌ترین نکات راهبردی به این شرح است:

- مسئله: اجرا بی‌درنگ از پی پیشنهاد می‌آید. عاملی که پرواز رزرو می‌کند، سفارشی را لغو می‌کند یا تنظیمات حسابی را تغییر می‌دهد، کاری انجام می‌دهد که نمی‌توان بی‌سروصدا آن را برگرداند.
- JevAct چیست. JevAct بستری است که پیشنهادهای منتخب را پیش از اجرا بررسی می‌کند.
- دو گونه شاهد، یک دروازه. طراحی بر جدایی میان آنچه می‌توان به‌طور قطعی راستی‌آزمایی کرد و آنچه نمی‌توان، استوار است.
- چرا مدل تصمیم و نه داور LLM. جایگزین بدیهی، داوری LLM است که پیشنهاد را می‌خواند و حکمی می‌نویسد.

رویکرد سازمان شما به چالش‌های مطرح‌شده در این نوشته چیست؟

→ https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/

#عامل‌هایLlm #راستی‌آزماییعامل #راستی‌آزماییدرزماناجرا #مدل‌هایتصمیم #عامل‌هایابزارمحور

Sebastien Rousseau | CC-BY-4.0
استناد به این مقاله

راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau

JevAct اقدام‌های منتخب عامل LLM را پیش از اجرا بررسی می‌کند. در برابر ReAct با همان مدل، دستاوردها در Telecom و BFCL پایدار و در Airline ناهمگون بود.

BibTeX

@online{rousseau2026راستی,
  author  = {Rousseau, Sebastien},
  title   = {{راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/
ER  -

Vancouver

Rousseau S. راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/

Chicago

Rousseau, Sebastien. "راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/.

APA

Rousseau, S. (2026, November 18). راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/

بازنشر این مقاله

راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau

JevAct اقدام‌های منتخب عامل LLM را پیش از اجرا بررسی می‌کند. در برابر ReAct با همان مدل، دستاوردها در Telecom و BFCL پایدار و در Airline ناهمگون بود.

این مقاله تحت مجوز زیر منتشر شده است Creative Commons Attribution 4.0 International. بازنشر مستلزم ذکر منبع با ارجاع به نشانی اصلی (canonical) است.

راستی‌آزمایی اقدام‌های عامل پیش از اجرا: دروازهٔ مدل تصمیم JevAct — Sebastien Rousseau

JevAct اقدام‌های منتخب عامل LLM را پیش از اجرا بررسی می‌کند. در برابر ReAct با همان مدل، دستاوردها در Telecom و BFCL پایدار و در Airline ناهمگون بود.

Originally published at https://sebastienrousseau.com/fa/2026-11-18-rastyaazmayy-aqdamhay-aaml-pysh-ajra-drwazh/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.