Sebastien Rousseau

LLM এজেন্ট

চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট

বেশির ভাগ এজেন্ট লুপ মডেল প্রস্তাব করামাত্রই একটি টুল কল চালিয়ে দেয়, আর JevAct-এর ফলাফল ইঙ্গিত দেয় যে কার্যকরের ঠিক আগে বসানো একটি সস্তা, সম্ভাব্যতা-ভিত্তিক চেকপয়েন্ট টুল-ব্যবহারকারী এজেন্টকে আরও নির্ভরযোগ্য করতে পারে, যদিও লাভের মাত্রা বেঞ্চমার্কভেদে তীব্রভাবে আলাদা।

11 মিনিট পঠন
Banner for: চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট

বেশির ভাগ এজেন্ট লুপ মডেল প্রস্তাব করামাত্রই একটি টুল কল চালিয়ে দেয়, আর JevAct-এর ফলাফল ইঙ্গিত দেয় যে কার্যকরের ঠিক আগে বসানো একটি সস্তা, সম্ভাব্যতা-ভিত্তিক চেকপয়েন্ট টুল-ব্যবহারকারী এজেন্টকে আরও নির্ভরযোগ্য করতে পারে, যদিও লাভের মাত্রা বেঞ্চমার্কভেদে তীব্রভাবে আলাদা।

নির্বাহী সারসংক্ষেপ

  • LLM এজেন্ট ক্রমশ বাহ্যিক টুলের মাধ্যমে গুরুত্বপূর্ণ পরিণতির কাজ করছে, অথচ সেই কাজগুলো প্রায়ই নীতি-অনুবর্তিতা বা কাজ সম্পূর্ণ হওয়ার স্বাধীন যাচাই ছাড়াই কার্যকর হয়।
  • JevAct একটি ডোমেইন নীতিকে অফলাইনে প্রশ্ন, নিয়ম, কার্যকরযোগ্য অবস্থা-পরীক্ষা এবং প্রয়োজনে একটি হ্যান্ড-অফ চেকলিস্টে কম্পাইল করে।
  • রানটাইমে কোড টুলের রেকর্ডের তথ্য পরীক্ষা করে, আর Kev, একটি ওপেন-সোর্স Jev-সদৃশ ডিসিশন মডেল, কথোপকথন-নির্ভর প্রশ্নের উত্তর দেয়।
  • τ²-bench (Airline, Telecom) ও BFCL-এ একটি ReAct হারনেসের তুলনায় Telecom ও BFCL-এর তিন-রানের সাফল্যে লাভ ধারাবাহিক, আর Airline-এ বেশি মিশ্র।
  • লেখকদের নিজস্ব উপস্থাপন সতর্ক: ফলাফল ইঙ্গিত দেয় যে কাঠামোবদ্ধ ডিসিশন মডেলের সঙ্গে কার্যকরযোগ্য যাচাই মিলিয়ে নির্ভরযোগ্যতা বাড়ানো যেতে পারে।

সমস্যা: প্রস্তাবের পরপরই কার্যকর #

যে এজেন্ট একটি ফ্লাইট বুক করে, একটি অর্ডার বাতিল করে বা অ্যাকাউন্টের কোনো সেটিং বদলায়, সে এমন কিছু করছে যা নিঃশব্দে ফিরিয়ে নেওয়া যায় না। অস্বস্তিকর দিকটি হলো, মডেলের প্রস্তাব আর তার প্রভাবের মাঝখানে কত সামান্যই দাঁড়িয়ে থাকে। অনেক এজেন্ট লুপ মডেল তৈরি করামাত্রই প্রস্তাবিত টুল কল কার্যকর করে। কাজটি ডোমেইনের নীতি মানে কি না, কিংবা এজেন্ট যে কাজকে শেষ মনে করছে তা আসলে শেষ কি না, কেউ স্বাধীনভাবে যাচাই করে না।

সেই ঘাটতিই "Think Before You Act: Decision Gate for LLM Agents"-এর সূচনাবিন্দু, যা IBM-এর ইফতাখ শোহাম, ইউভাল ডেভিড ও সহকর্মীদের 2026 সালের একটি arXiv প্রিপ্রিন্ট এবং যা JevAct উপস্থাপন করে। পর্যবেক্ষণটি নতুন নয়, তবে স্পষ্ট করে বলার মতো, কারণ এজেন্ট টুলিংয়ের অনেকটাই প্রস্তাবকারীকে উন্নত করার দিকে মনোযোগী। ReAct এজেন্ট যুক্তি ও টুল ব্যবহার পর্যায়ক্রমে মেশায়, এবং সেই ধরনটি একটি সাধারণ বেসলাইনে পরিণত হয়েছে। Self-Refine ও Reflexion-এর মতো প্রতিফলন পদ্ধতি মডেলের ওয়েট হালনাগাদ না করেই পরবর্তী প্রস্তাব বা প্রচেষ্টা উন্নত করতে সমালোচনা ও প্রতিক্রিয়া যোগ করে। যত কাজেরই হোক, এই পদ্ধতিগুলো নিজে থেকে কোনো নির্দিষ্ট কাজকে কার্যকরের ঠিক আগে ডোমেইন নীতির বিপরীতে যাচাই করে না। JevAct যে পরীক্ষা নিয়ে ভাবে, তা লুপের অন্য একটি বিন্দুতে বসে: প্রস্তাব তৈরি হওয়ার পরে এবং তা কার্যকর হওয়ার আগে।

JevAct কী #

JevAct একটি হারনেস, যা নির্বাচিত প্রস্তাবকে কার্যকরের আগে পরীক্ষা করে। একে বর্ণনা করা হয়েছে একটি রানটাইম যাচাই কাঠামো হিসেবে, যা নির্বাচিত এজেন্ট-কাজ আটকায় এবং প্রতিক্রিয়া-চালিত সংশোধন সম্ভব করে। এটি অন্তর্নিহিত এজেন্ট মডেল থেকে স্বাধীনভাবে কাজ করে এবং মডেলের প্যারামিটার বা টুলে কোনো পরিবর্তন চায় না। মূল্যায়িত বিন্যাসে এজেন্টের LLM, মূল প্রম্পট ও টুল অপরিবর্তিত থাকে।

স্থাপত্যের দিক থেকে, JevAct একটি ReAct এজেন্টের হারনেসে বার্তা প্রস্তাব ও কার্যকরের মাঝখানে একটি বাছাইকৃত পরীক্ষার ধাপ ঢুকিয়ে দেয়। "বাছাইকৃত" শব্দটি গুরুত্বপূর্ণ। কাঠামোটি প্রতিটি বার্তা পরীক্ষা করে না; এটি নির্দিষ্ট ধরনের কাজকে লক্ষ্য করে। পত্রে দুটি সংজ্ঞায়িত। একটি রাইট কল পরিবেশ বদলায়, যেমন বুকিং, বাতিল বা সেটিং পরিবর্তন। একটি হ্যান্ড-অফ এজেন্টের প্রচেষ্টার ইতি টানে, হয় ব্যবহারকারীকে একজন মানুষের কাছে স্থানান্তর করে, নয়তো ব্যবহারকারীকে জানিয়ে যে আর কিছু করার নেই। রাইটে নীতি লঙ্ঘন ক্ষতি করে; হ্যান্ড-অফে এজেন্ট খুব তাড়াতাড়ি হাল ছেড়ে দিতে পারে। সম্ভাব্য অবৈধ কাজ ও অকালে কাজ সমাপ্তি শনাক্ত করার যে লক্ষ্য কাঠামোটি ঘোষণা করে, তা এই দুই শ্রেণির সঙ্গেই মেলে।

কোনো পরীক্ষা ব্যর্থ হলে প্রস্তাবটি কেবল আটকে দেওয়া হয় না। পরীক্ষাগুলো কার্যকর স্থগিত রেখে LLM-এর কাছে অস্থায়ী প্রতিক্রিয়াসহ একটি সংশোধিত প্রস্তাব চাইতে পারে, একটি নির্দিষ্ট সংশোধন-বাজেটের মধ্যে। উত্তীর্ণ প্রস্তাব এগিয়ে যায়। চিহ্নিত প্রস্তাব লক্ষ্যভিত্তিক প্রতিক্রিয়া ও সংশোধনের একটি সীমিত সুযোগসহ এজেন্টের কাছে ফেরে। আর শ্রমবিভাজন স্পষ্ট থাকে: এজেন্টই কাজের প্রস্তাব দেয়, Kev সেগুলো বেছে নেয় না।

দুই ধরনের প্রমাণ, একটি গেট #

নকশাটি দাঁড়িয়ে আছে একটি বিভাজনের ওপর: কী নির্ধারণমূলকভাবে যাচাই করা যায় আর কী যায় না। JevAct টুলের অবস্থা-সংক্রান্ত তথ্যের নির্ধারণমূলক যাচাইকে কথোপকথনের প্রেক্ষাপটের সম্ভাব্যতা-ভিত্তিক মূল্যায়নের সঙ্গে মেলায়। রানটাইমে কোড টুলের রেকর্ডে থাকা তথ্য পরীক্ষা করে, আর Kev কথোপকথন-নির্ভর প্রশ্নের উত্তর দেয়।

বিভাজনটি যুক্তিসংগত। কিছু নীতি-শর্ত টুলের রেকর্ডে বসে থাকা তথ্য, এবং কোনো মডেলের মতামত ছাড়াই একটি প্রোগ্রাম সেগুলো পড়তে পারে। অন্য শর্তগুলো থাকে ব্যবহারকারী ও এজেন্ট একে অপরকে যা বলেছে তার মধ্যে, যা কোনো ডেটাবেস অনুসন্ধানে মীমাংসা হবে না। প্রথম ধরনটি কোডের হাতে আর দ্বিতীয়টি মডেলের হাতে দিলে মডেলকে কেবল সেসব বিষয়েই প্রশ্ন করা হয়, যার উত্তর কোড দিতে পারে না।

অফলাইন অংশটিই একে বর্ণনাযোগ্যভাবে বাস্তবসম্মত করে। একটি কম্পাইলার একটি ডোমেইন নীতিকে প্রশ্ন, নিয়ম, টুলের অবস্থার ওপর কার্যকরযোগ্য পরীক্ষা এবং প্রয়োজনে একটি হ্যান্ড-অফ চেকলিস্টে রূপান্তর করে। অন্যভাবে বললে, JevAct ডোমেইন নীতিকে কার্যকরযোগ্য অবস্থা-পরীক্ষা ও কাঠামোবদ্ধ প্রশ্নে কম্পাইল করে, যেগুলো একটি প্রিফিল-অনলি ডিসিশন মডেল মূল্যায়ন করে। লেখকেরা বলেন, তাঁরা এমন একটি কর্মপ্রবাহের ভিত্তি স্থাপন করছেন, যা ডোমেইন নীতিকে একটি ডিসিশন-মডেল গেটের জন্য প্রশ্ন, সিদ্ধান্ত-নিয়ম, কার্যকরযোগ্য অবস্থা-পরীক্ষা ও হ্যান্ড-অফ চেকলিস্টে কম্পাইল করে। এটি বলার একটি বিনয়ী ভঙ্গি, এবং আমি একে আক্ষরিক অর্থেই নেব: দাবিটি একটি কর্মপ্রবাহের ভিত্তি নিয়ে, কোনো সম্পূর্ণ পণ্য নিয়ে নয়।

LLM বিচারকের বদলে কেন ডিসিশন মডেল #

স্পষ্ট বিকল্প হলো একটি LLM বিচারক, যে প্রস্তাব পড়ে রায় লিখবে। পত্রটির আপত্তি বাস্তব। এমন বিচারকের মুক্ত-রূপ ব্যাখ্যা গেট কাজে লাগানোর আগে তবুও ব্যাখ্যা করে নিতে হয়, আর একটি ফ্রন্টিয়ার মডেল দিয়ে এই সিদ্ধান্ত নেওয়া ব্যয়বহুল। গেটের দরকার একটি সিদ্ধান্ত, প্রবন্ধ নয়।

ডিসিশন মডেল ঠিক এর জন্যই তৈরি। Jev এমন ডিসিশন মডেল চালু করেছে, যা তৈরি করা টেক্সটের বদলে টাইপযুক্ত পছন্দ, স্কোর ও সম্ভাব্যতা ফেরত দেয়। এগুলো নির্দিষ্ট প্রশ্নের জন্য পছন্দ ও সম্ভাব্যতা ফেরত দেয়, ফলে থ্রেশহোল্ড-ভিত্তিক পরীক্ষা সহজ হয়। JevAct যে মডেল ব্যবহার করে তা প্রিফিল-অনলি, এবং LLM জেনারেশনের ওপর নির্ভর না করে সম্ভাব্যতা-ভিত্তিক বিচার দেয়। Kev একটি ওপেন-সোর্স Jev-ধরনের ডিসিশন মডেল, যা নির্বাচিত কাজ কার্যকর হওয়ার আগে একটি পৃথক যাচাই ধাপে বসানো।

একটি শর্ত আছে, এবং লেখকেরা নিজেরাই তা বলেন। ডিসিশন মডেলের সম্ভাব্যতা ক্যালিব্রেটেড বা সঠিক হওয়ার নিশ্চয়তা নেই, তাই এর মূল্য ধরে না নিয়ে এজেন্ট লুপের মধ্যে পরীক্ষা করতে হবে। এই বাক্যটিই পুরো পরীক্ষামূলক অংশের কাঠামো ঠিক করে। কেন্দ্রীয় প্রশ্ন হলো, কার্যকরযোগ্য টুল-অবস্থা পরীক্ষার পাশাপাশি একটি ডিসিশন মডেল সম্ভাব্যতা-থ্রেশহোল্ড-ভিত্তিক যাচাইকারী হিসেবে কাজ করতে পারে কি না। এটি পরীক্ষার মাধ্যমে উত্তর দেওয়ার প্রশ্ন, আর আকর্ষণীয় খুঁটিনাটি সেই পরীক্ষাতেই।

ডিসিশন মডেল নিয়ে সংশ্লিষ্ট কাজ দেখায়, কেন সেই পরীক্ষা গুরুত্বপূর্ণ, এবং ছবিটি মিশ্র। Li ও সহকর্মীরা পছন্দ ও প্রমাণ-ভিত্তিক তথ্যনিষ্ঠতায় প্রতিযোগিতামূলক ফল জানান, কিন্তু যেখানে অনুসিদ্ধান্ত টানতে হয় সেখানে দুর্বলতর পারফরম্যান্স। Rao ও Callison-Burch রুব্রিকের ক্ষেত্রে মিশ্র ফল এবং LLM বিচারকের সঙ্গে মিলে যাওয়া ভুলের কথা জানান। যে ডিসিশন মডেল কিছু বিচার-কাজে শক্তিশালী আর অন্যগুলোতে দুর্বল, ঠিক সেই উপাদানকেই আপনি একা বিশ্বাস না করে নির্ধারণমূলক পরীক্ষার সঙ্গে জুড়তে চাইবেন।

তুলনাটি কীভাবে চালানো হয়েছে #

JevAct-কে তুলনা করা হয়েছে একটি ReAct হারনেসের সঙ্গে, দুই বাহুতেই একই এজেন্ট LLM ব্যবহার করে। কাজগুলো বিস্তৃত τ²-bench-এর Airline ও Telecom এবং BFCL-এর বহু-ধাপের ফাংশন-কলিং কাজ জুড়ে। দুই বাহুতে এজেন্ট LLM স্থির রাখা প্রশ্নটির জন্য সঠিক নিয়ন্ত্রণ: যেকোনো পার্থক্য আসে হারনেস থেকে, শক্তিশালী বা দুর্বল প্রস্তাবকারী থেকে নয়।

পত্রটি ফলাফল জানায় Table 2 থেকে নেওয়া pass^3 সংখ্যা ব্যবহার করে, সঙ্গে অন্তত-একবারের সাফল্য। এই দুই মাপ ভিন্ন দিকে টানে, এবং তাদের বৈপরীত্য তথ্যবহুল হয়ে ওঠে। তিনটি রানেই সাফল্য সেই এজেন্টকে পুরস্কৃত করে, যে প্রতিবার ঠিক করে। অন্তত-একবারের সাফল্য পুরস্কৃত করে সেই এজেন্টকে, যে যেকোনো একটি চেষ্টায় ঠিক করে। খারাপ কাজ ধরে ফেলা একটি যাচাইকারী প্রথমটিকে দ্বিতীয়টির চেয়ে বেশি নির্ভরযোগ্যভাবে সাহায্য করার কথা, এবং ফলাফল সেই পাঠের সঙ্গে মেলে; তবে পত্রটি কেবল বলে যে BFCL-এর ধরন কিছু কাজে অধিক পুনরাবৃত্তিযোগ্য পারফরম্যান্সের সঙ্গে সংগতিপূর্ণ, তাই বাকিটাকে আমি ফলাফল নয়, ব্যাখ্যা হিসেবে চিহ্নিত করছি।

সংখ্যাগুলো কী দেখায় #

Telecom-এ আটটি এজেন্টই অন্তত-একবার ও তিন-রানের সাফল্য উভয়ই উন্নত করেছে। এটি পত্রের সবচেয়ে পরিচ্ছন্ন ফল: পরীক্ষিত এজেন্টদের মধ্যে কোনো ব্যতিক্রম নেই, কোনো মাপেই।

BFCL-এ নয়টি এজেন্টই তিন-রানের সাফল্যে উন্নতি করেছে, কিন্তু অন্তত-একবারের ফল মিশ্র। এটি মন দিয়ে পড়ুন। BFCL-এ কঠোরতর মাপটি পরীক্ষিত প্রতিটি এজেন্টের ক্ষেত্রে বেড়েছে, 0.1 থেকে 9.6 পয়েন্ট; শিথিল মাপটি চারটি এজেন্টের ক্ষেত্রে উন্নত হয়েছে, পাঁচটির ক্ষেত্রে কমেছে। এজেন্ট প্রতিবার সঠিক আচরণ করুক, এটি যদি আপনার লক্ষ্য হয়, তবে দিকটি অনুকূল। পুনরায় চেষ্টা করলে শেষ পর্যন্ত সফল হবে কি না, এটি যদি আপনার চিন্তা হয়, তবে এখানে সুফল প্রতিষ্ঠিত নয়।

Airline দুর্বল জায়গা। Airline-এ প্রভাব ছোট এবং এজেন্টভেদে ভিন্ন। ফলাফলের সারাংশ বলছে, Telecom ও BFCL-এ বিশেষভাবে ধারাবাহিক লাভ, আর Airline-এ পারফরম্যান্স বেশি মিশ্র। এটি পড়ে একজন প্রতিষ্ঠাতার একে "সবকিছু উন্নত করে"-তে গোল করে নেওয়া উচিত নয়। লেখকেরা একাধিক মডেল ও বেঞ্চমার্কে এজেন্টের নির্ভরযোগ্যতায় উন্নতি জানান, কিন্তু Airline-এ লাভ ছোট ও মিশ্র, এবং তাঁরা বলেন তাঁদের ফলাফল অভিন্ন লাভ প্রতিষ্ঠা করে না। পত্রটি সতর্ক করে যে 50টি Airline কাজের মধ্যে একটি কাজই স্কোরকে 2 শতাংশ পয়েন্ট সরিয়ে দেয়, তাই ছোট পার্থক্য সতর্কভাবে পড়া উচিত; এর বাইরে Airline কেন ভিন্ন আচরণ করে, তা আমি অনুমান করব না।

সামগ্রিক পাঠে লেখকেরা নিজেরাই সতর্কতা রাখেন: ফলাফল ইঙ্গিত দেয় যে কাঠামোবদ্ধ ডিসিশন মডেলকে কার্যকরযোগ্য যাচাইয়ের সঙ্গে মেলালে টুল-ব্যবহারকারী LLM এজেন্টের নির্ভরযোগ্যতা বাড়তে পারে। "ইঙ্গিত দেয়" সঠিক ক্রিয়াপদ। এটি একটি আশাব্যঞ্জক ফল, প্রমাণ নয়।

তুলনাটি কী আলাদা করে, আর কী করে না #

একটি সীমাবদ্ধতা সাধারণত যতটা গুরুত্ব পায়, তার চেয়ে বেশি পাওয়ার যোগ্য। JevAct যেহেতু কম্পাইল করা পরীক্ষা ও সংশোধনের সুযোগ যোগ করে, তুলনাগুলো পুরো হারনেস মূল্যায়ন করে, বিচারককে আলাদা করে নয়। যাঁরা উপসংহার টানতে চান যে ভারী কাজটি ডিসিশন মডেলই করছে, তাঁদের জন্য এটি উল্লেখযোগ্য সতর্কতা। লাভ আসতে পারে Kev-এর সম্ভাব্যতা থেকে, কার্যকরযোগ্য অবস্থা-পরীক্ষা থেকে, সংশোধনের বাড়তি সুযোগ থেকে, কিংবা এগুলোর কোনো সমন্বয় থেকে। মূল তুলনাগুলো এদের আলাদা করে না।

আমার যুক্তি, এটি ত্রুটি যতটা, তার চেয়ে বেশি একটি সিস্টেম-পত্র কী দেখাতে পারে তার সৎ বর্ণনা। লেখকদের প্রশ্ন, কার্যকরযোগ্য টুল-অবস্থা পরীক্ষার পাশাপাশি একটি ডিসিশন মডেল সম্ভাব্যতা-থ্রেশহোল্ড-ভিত্তিক যাচাইকারী হিসেবে কাজ করতে পারে কি না, তার উত্তর মেলে জোড়ার স্তরে, কারণ "পাশাপাশি" শব্দটি প্রশ্নের মধ্যেই আছে। তবে কোথায় প্রচেষ্টা বিনিয়োগ করবেন, তা ঠিক করছেন এমন পাঠকের এটি মনে রাখা উচিত। আপনি যদি এমন কিছু তৈরি করেন, এই প্রমাণ থেকে অনুমান করতে পারবেন না যে কেবল ডিসিশন মডেলই উন্নতি বহন করবে, কিংবা কেবল কোড-পরীক্ষাই করবে।

এর অর্থ ক্যালিব্রেশন-সংক্রান্ত সতর্কতাও বহাল থাকে। সম্ভাব্যতাগুলো ক্যালিব্রেটেড বা সঠিক হওয়ার নিশ্চয়তা নেই, এবং হারনেস-স্তরের ফল সেই অনিশ্চয়তা দূর করে না। এটি দেখায় যে পরীক্ষিত বেঞ্চমার্কে পুরো বিন্যাসটি সাহায্য করেছে।

অন্যান্য সুরক্ষা নকশার মধ্যে এর অবস্থান #

এজেন্টের কাজ পাহারা দেওয়ার পন্থার ভিড়ে JevAct যোগ দিয়েছে, এবং পার্থক্যগুলো শিক্ষণীয়। GuardAgent ব্যবহারকারী-সংজ্ঞায়িত সুরক্ষা-প্রয়োজনীয়তা থেকে যাচাই কোড তৈরি ও কার্যকর করতে একটি পৃথক এজেন্ট ব্যবহার করে। Zwerdling ও সহকর্মীরা কোম্পানির নীতিকে কার্যকরযোগ্য গার্ডে কম্পাইল করেন, যা টুল-কাজের আগে অনুবর্তিতা পরীক্ষা করে। AgentSpec রানটাইম সীমাবদ্ধতাকে ট্রিগার, প্রেডিকেট ও প্রয়োগ-কাজ হিসেবে উপস্থাপন করে। ShieldAgent নীতি-নথি থেকে যাচাইযোগ্য নিয়ম বের করে।

অন্যরা যাচাইয়ের জন্যই মডেলের ওপর ভর দেয়। ToolSafe প্রস্তাবিত টুল কল মূল্যায়ন ও প্রতিক্রিয়া ফেরত দিতে একটি প্রশিক্ষিত সুরক্ষা বেড়া ব্যবহার করে, আর PolicyGuard ও PolicyGuide নীতি-অনুবর্তিতা ও কর্মপ্রবাহ-নির্দেশনার জন্য মডেল-ভিত্তিক যাচাইকারী ব্যবহার করে। CaMeL ভিন্ন পথ নেয়, বিশ্বস্ত নিয়ন্ত্রণ-প্রবাহ ও অবিশ্বস্ত ডেটা আলাদা করে নিরাপত্তা প্রয়োগ করে।

সেই পটভূমিতে JevAct-এর স্বতন্ত্র পছন্দ তার নির্দিষ্ট জুটি। কম্পাইল-টু-এক্সিকিউটেবল-গার্ড ধারার মতো এটিও নীতিকে টুল-অবস্থার ওপর পরীক্ষায় রূপান্তর করে। মডেল-ভিত্তিক যাচাইকারীদের মতো এটিও এমন বিচারের জন্য মডেল ব্যবহার করে, যা কোড করতে পারে না। এটি যা যোগ করে তা হলো এমন একটি ডিসিশন মডেল, যা নির্দিষ্ট-পছন্দের সম্ভাব্যতা ফেরত দেয়, নির্বাচিত কাজ কার্যকরের আগে অনলাইনে ব্যবহৃত হয়, সংশোধনের প্রতিক্রিয়াসহ। প্রস্তাবের কাজ এটি ReAct LLM-এর হাতে ছাড়ে, আর Kev-কে নির্বাচিত কাজ কার্যকরের আগে একটি পৃথক যাচাই ধাপে বসায়।

এই নকশা কেন নজরে রাখার মতো #

আমার মতে, এখানে সবচেয়ে কাজের ধারণা Kev নিজে নয়, বরং বিভাজনের শৃঙ্খলা। কোড যা উত্তর দিতে পারে, কোডকে তা জিজ্ঞেস করুন। মডেলকে কেবল তা-ই জিজ্ঞেস করুন, যা কথোপকথনের ওপর নির্ভর করে। প্রস্তাবকারী ও যাচাইকারীকে আলাদা রাখুন, যাতে যে মডেল একটি কাজ পরীক্ষা করছে সে-ই তার প্রস্তাবক না হয়। আর যাচাইকারীর আউটপুটকে একটি থ্রেশহোল্ডের বিপরীতে সম্ভাব্যতা বানান, যাতে গেটটি একটি তুলনা হয়, এমন কোনো টেক্সট নয় যা কাউকে পার্স করতে হয়।

এই নকশা দুর্বল জায়গাগুলোকেও পাঠযোগ্য করে। একটি পরীক্ষা ভুল ফল দিলে জিজ্ঞেস করা যায়, সেটি অবস্থা-পরীক্ষা ছিল নাকি কথোপকথনের প্রশ্ন। থ্রেশহোল্ড ভুল হলে সেগুলো এমন সংখ্যা, যা পরীক্ষা করা যায়। সম্ভাব্যতা লুপের মধ্যে পরীক্ষা করা দরকার, পত্রের এই নিজস্ব সতর্কতাই সঠিক প্রবৃত্তি, এবং শুনতে যুক্তিসংগত বলে একটি যাচাইকারী কাজ করে ধরে নেওয়ার চেয়ে এটি ভালো অবস্থান।

অসম ফলাফল বরং প্রতিবেদনের সততা নিয়ে আশ্বস্ত করে। সর্বত্র অভিন্ন লাভ দাবি করা একটি কাঠামো তার চেয়ে বেশি সন্দেহের যোগ্য, যে কাঠামো দেখায় Telecom-এ আটে আট, BFCL-এর তিন-রানের সাফল্যে নয়ে নয়, BFCL-এ মিশ্র অন্তত-একবারের ফল, আর Airline-এ পরিবর্তনশীল প্রভাব। এই ধরন অনুশীলনকারীদের পরিকল্পনার একটি ভিত্তি দেয়: সবচেয়ে জোরালো প্রমাণ বারবার রানে নির্ভরযোগ্যতার পক্ষে, আর সবচেয়ে দুর্বল প্রমাণ সেই ডোমেইনে, যেখানে প্রভাব এজেন্টভেদে ভিন্ন।

এ নিয়ে কী করবেন #

কারিগরি পাঠকদের জন্য শিক্ষাটি স্থাপত্যগত। JevAct-এ এজেন্টের LLM, মূল প্রম্পট ও টুল অপরিবর্তিত থাকে, তাই যাচাই স্তরটি এমন কিছু যা আপনি একটি এজেন্টের চারপাশে যোগ করেন, প্রশিক্ষণের মাধ্যমে তার ভেতরে ঢোকান না। প্রতিষ্ঠাতাদের জন্য বাস্তব পাঠ শিরোনামের চেয়ে সংকীর্ণ। পত্রটি একাধিক মডেল ও বেঞ্চমার্কে উন্নত নির্ভরযোগ্যতা জানায়, Airline বেশি মিশ্র, এবং এর তুলনাগুলো বিচারককে আলাদা করে নয়, পুরো হারনেস মূল্যায়ন করে। মূল তুলনাগুলো প্রতিষ্ঠা করে না কোন উপাদান উন্নতির কৃতিত্ব পায়, যদিও পত্রের Airline অ্যাবলেশন ইঙ্গিত দেয় যে সেই বিন্যাসে এর বড় অংশ প্রোগ্রাম্যাটিক যাচাইয়ের।

খোলা প্রশ্নটি পত্রের নিজস্ব কেন্দ্রীয় প্রশ্ন: কার্যকরযোগ্য টুল-অবস্থা পরীক্ষার পাশাপাশি একটি ডিসিশন মডেল সম্ভাব্যতা-থ্রেশহোল্ড-ভিত্তিক যাচাইকারী হিসেবে কাজ করতে পারে কি না, যখন, লেখকেরা যেমন উল্লেখ করেন, এর সম্ভাব্যতা ক্যালিব্রেটেড বা সঠিক হওয়ার নিশ্চয়তা নেই। Airline-এর ফলাফল, যেখানে প্রভাব ছোট এবং এজেন্টভেদে ভিন্ন, প্রথমে সেখানেই তাকানো উচিত। সেই ভিন্নতা পরীক্ষা, থ্রেশহোল্ড নাকি কম্পাইল করা নীতি থেকে আসে, প্রকাশিত ফলাফল তা খোলা রাখে, এবং এটিই সেই পরীক্ষা, যা আমি এরপর সবচেয়ে বেশি দেখতে চাই।

প্রায়শই জিজ্ঞাসিত প্রশ্ন #

JevAct কী? JevAct হলো IBM গবেষকদের একটি রানটাইম যাচাই কাঠামো, যা নির্বাচিত এজেন্ট-কাজ, অর্থাৎ রাইট কল ও হ্যান্ড-অফ, কার্যকরের আগে আটকায়। চিহ্নিত প্রস্তাব লক্ষ্যভিত্তিক প্রতিক্রিয়া ও সংশোধনের একটি সীমিত সুযোগসহ এজেন্টের কাছে ফেরে। এজেন্টের LLM, মূল প্রম্পট ও টুল অপরিবর্তিত থাকে।

JevAct-এ Kev কী করে? Kev একটি ওপেন-সোর্স Jev-সদৃশ ডিসিশন মডেল, যা নির্দিষ্ট প্রশ্নের উত্তর তৈরি করা টেক্সটের বদলে সম্ভাব্যতা দিয়ে দেয়। JevAct-এ এটি কথোপকথন-নির্ভর প্রশ্নের উত্তর দেয়, আর কোড টুলের রেকর্ডে থাকা তথ্য পরীক্ষা করে। Kev কাজ বেছে নেয় না; প্রস্তাব এজেন্টই দেয়।

JevAct কীভাবে মূল্যায়ন করা হয়েছে? পত্রটি JevAct-কে একটি ReAct হারনেসের সঙ্গে তুলনা করে, দুই বাহুতেই একই এজেন্ট LLM ব্যবহার করে। কাজগুলো বিস্তৃত τ²-bench-এর Airline ও Telecom এবং BFCL-এর বহু-ধাপের ফাংশন-কলিং কাজ জুড়ে, এবং সাফল্য জানানো হয়েছে তিন রানের মধ্যে অন্তত একবার এবং তিনটি রানেই সাফল্য, এই দুই মাপে।

JevAct কি প্রতিটি বেঞ্চমার্কে প্রতিটি এজেন্টকে উন্নত করেছে? না। Telecom-এ আটটি এজেন্টই উভয় মাপে উন্নতি করেছে, আর BFCL-এ নয়টিই তিন-রানের সাফল্যে উন্নতি করেছে, যদিও অন্তত-একবারের ফল মিশ্র। Airline-এ প্রভাব ছোট এবং এজেন্টভেদে ভিন্ন, এবং লেখকেরা বলেন ফলাফল অভিন্ন লাভ প্রতিষ্ঠা করে না।

পত্রটি কি দেখায় যে কেবল ডিসিশন মডেলই লাভ এনেছে? না। JevAct যেহেতু কম্পাইল করা পরীক্ষা ও সংশোধনের সুযোগ যোগ করে, মূল তুলনাগুলো পুরো হারনেস মূল্যায়ন করে, বিচারককে আলাদা করে নয়। লেখকেরা এটিও উল্লেখ করেন যে ডিসিশন মডেলের সম্ভাব্যতা ক্যালিব্রেটেড বা সঠিক হওয়ার নিশ্চয়তা নেই।

তথ্যসূত্র #

সর্বশেষ পর্যালোচনা .

এই নিবন্ধটি ক্রস-পোস্ট করুন

Medium-এর জন্য ফরম্যাট কপি করুন

# চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/](https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/)

JevAct নির্বাচিত LLM এজেন্ট-কাজ কার্যকরের আগে যাচাই করে। একই মডেলের ReAct বেসলাইনের তুলনায় Telecom ও BFCL-এ লাভ ধারাবাহিক, Airline-এ মিশ্র।

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/

Mastodon-এর জন্য ফরম্যাট কপি করুন

চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau

JevAct নির্বাচিত LLM এজেন্ট-কাজ কার্যকরের আগে যাচাই করে। একই মডেলের ReAct বেসলাইনের তুলনায় Telecom ও BFCL-এ লাভ ধারাবাহিক, Airline-এ মিশ্র।

https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/

LinkedIn-এর জন্য বিন্যাসিত কপি করুন

চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau

JevAct নির্বাচিত LLM এজেন্ট-কাজ কার্যকরের আগে যাচাই করে। একই মডেলের ReAct বেসলাইনের তুলনায় Telecom ও BFCL-এ লাভ ধারাবাহিক, Airline-এ মিশ্র।.

এখানে মূল কৌশলগত টেকওয়েগুলি রয়েছে:

- সমস্যা: প্রস্তাবের পরপরই কার্যকর. যে এজেন্ট একটি ফ্লাইট বুক করে, একটি অর্ডার বাতিল করে বা অ্যাকাউন্টের কোনো সেটিং বদলায়, সে এমন কিছু করছে যা নিঃশব্দে ফিরিয়ে নেওয়া যায় না। অস্বস্তিকর দিকটি হলো, মডেলের প্রস্তাব আর তার প্রভাবের মাঝখানে কত সামান্যই…
- JevAct কী. JevAct একটি হারনেস, যা নির্বাচিত প্রস্তাবকে কার্যকরের আগে পরীক্ষা করে। একে বর্ণনা করা হয়েছে একটি রানটাইম যাচাই কাঠামো হিসেবে, যা নির্বাচিত এজেন্ট-কাজ আটকায় এবং প্রতিক্রিয়া-চালিত সংশোধন সম্ভব করে। এটি অন্তর্নিহিত…
- দুই ধরনের প্রমাণ, একটি গেট. নকশাটি দাঁড়িয়ে আছে একটি বিভাজনের ওপর: কী নির্ধারণমূলকভাবে যাচাই করা যায় আর কী যায় না। JevAct টুলের অবস্থা-সংক্রান্ত তথ্যের নির্ধারণমূলক যাচাইকে কথোপকথনের প্রেক্ষাপটের সম্ভাব্যতা-ভিত্তিক মূল্যায়নের সঙ্গে মেলায়।…
- LLM বিচারকের বদলে কেন ডিসিশন মডেল. স্পষ্ট বিকল্প হলো একটি LLM বিচারক, যে প্রস্তাব পড়ে রায় লিখবে। পত্রটির আপত্তি বাস্তব। এমন বিচারকের মুক্ত-রূপ ব্যাখ্যা গেট কাজে লাগানোর আগে তবুও ব্যাখ্যা করে নিতে হয়, আর একটি ফ্রন্টিয়ার মডেল দিয়ে এই সিদ্ধান্ত…

এই নিবন্ধে উল্লিখিত চ্যালেঞ্জগুলির প্রতি আপনার প্রতিষ্ঠানের পদ্ধতি কী?

→ https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/

#Llmএজেন্ট #এজেন্টযাচাই #রানটাইমযাচাই #ডিসিশনমডেল #টুলব্যবহারকারীএজেন্ট

Sebastien Rousseau | CC-BY-4.0
এই নিবন্ধটি উদ্ধৃত করুন

চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau

JevAct নির্বাচিত LLM এজেন্ট-কাজ কার্যকরের আগে যাচাই করে। একই মডেলের ReAct বেসলাইনের তুলনায় Telecom ও BFCL-এ লাভ ধারাবাহিক, Airline-এ মিশ্র।

BibTeX

@online{rousseau2026চ,
  author  = {Rousseau, Sebastien},
  title   = {{চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/},
  urldate = {2026}
}

RIS

TY  - GEN
AU  - Rousseau, Sebastien
TI  - চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/
ER  -

Vancouver

Rousseau S. চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau. sebastienrousseau.com. 2026 Nov 18. Available from: https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/

Chicago

Rousseau, Sebastien. "চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau." sebastienrousseau.com. November 18, 2026. https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/.

APA

Rousseau, S. (2026, November 18). চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/

এই নিবন্ধটি পুনঃপ্রকাশ করুন

চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau

JevAct নির্বাচিত LLM এজেন্ট-কাজ কার্যকরের আগে যাচাই করে। একই মডেলের ReAct বেসলাইনের তুলনায় Telecom ও BFCL-এ লাভ ধারাবাহিক, Airline-এ মিশ্র।

এই নিবন্ধটি লাইসেন্স করা হয়েছে Creative Commons Attribution 4.0 International. পুনঃপ্রকাশনার জন্য মূল URL-এর কৃতিত্ব আবশ্যক।

চালানোর আগে এজেন্টের কাজ যাচাই: JevAct-এর ডিসিশন-মডেল গেট — Sebastien Rousseau

JevAct নির্বাচিত LLM এজেন্ট-কাজ কার্যকরের আগে যাচাই করে। একই মডেলের ReAct বেসলাইনের তুলনায় Telecom ও BFCL-এ লাভ ধারাবাহিক, Airline-এ মিশ্র।

Originally published at https://sebastienrousseau.com/bn/2026-11-18-chalanor-age-ejenter-kaj-jachai-jevact/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.