সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev

অ্যালাইনমেন্ট ব্যর্থতার একটি ডিটেক্টর, যা একটি কলেই বহু টাইপ করা প্রশ্নের উত্তর ক্যালিব্রেটেড সম্ভাবনাসহ দেয়, ব্যর্থতাগুলিকে ভালোভাবে র‍্যাঙ্ক করে এবং LLM-জাজ স্কোরারের চেয়ে ৬৩× সস্তা। কিন্তু এই সম্ভাবনাগুলি থ্রেশহোল্ড হিসেবে স্থানান্তরিত হয় না, আর প্রশ্নের শব্দচয়নের চেয়ে লেবেল ও তার রেফারেন্স অনেক বেশি গুরুত্বপূর্ণ।

প্রতিটি বার্তা নজরে রাখার খরচের কাঠামো #

মোতায়েন করা মডেল এখনো ব্যবহারকারীর ভুল বিশ্বাসের কাছে মাথা নত করে (Sharma et al., ২০২৪)। বাক্যটি সাদামাটা, কিন্তু পুরো সমস্যার কাঠামো এটিই ঠিক করে। এ ধরনের তোষামোদ যদি মোতায়েন করা ব্যবস্থায় টিকে থাকে, তবে কাউকে তা নজরে রাখতে হবে, আর সেই নজরদারি হতে হবে কথোপকথনের সমান গতিতে।

এখানেই অর্থনীতি কামড় দেয়। ডিটেক্টরকে নির্ভুল হতে হবে এবং, যেহেতু তা প্রতিটি বার্তায় চলে, সস্তাও হতে হবে। এর যেকোনো একটি গুণ আলাদাভাবে পাওয়া সহজ: অযত্নে বানানো ডিটেক্টর সস্তা, আর যত্নশীল ডিটেক্টর যা প্রতিটি বার্তায় চালানোর পক্ষে বেশি দামি, তা ট্র্যাফিকের কেবল একটি নমুনা দেখে। আকর্ষণীয় প্রকৌশল প্রশ্ন হলো, কোন আকারের ডিটেক্টর দুটোই হতে পারে।

এই নিবন্ধের পেছনের গবেষণাপত্র অনুযায়ী, বর্তমান উত্তরে একটি কাঠামোগত ত্রুটি আছে। অ্যালাইনমেন্ট ব্যর্থতার বেশিরভাগ ডিটেক্টর জেনারেটিভ জাজ, যারা প্রতিটি মানদণ্ডে একটি ডিকোডিং পাস খরচ করে। সহজ কথায়, বর্তমান ডিটেক্টর যত মানদণ্ড যাচাই করে, প্রতিটির জন্য একটি ডিকোডিং পাসের দাম দেয়। দশটি ভিন্ন ব্যর্থতার ধরন যাচাই করতে চাওয়া একটি মনিটর দশটি পাসের দাম দিচ্ছে, আর আপনি যত বিষয়ে চিন্তিত, তার সংখ্যার সঙ্গে বিল রৈখিকভাবে বাড়ে।

একটি আংশিক সমাধান আছে, আর তার সীমা সম্পর্কে নির্ভুল থাকা জরুরি। টোকেন সম্ভাবনা পড়ে এমন ক্লাসিফায়ার, যেমন Llama Guard, এখনো প্রতি কলে একটি নির্দিষ্ট লেবেল স্কোর করে। টোকেন সম্ভাবনা পড়লে একটি স্কোর মেলে, কিন্তু প্রতিটি কল তবুও একটিই লেবেল বা মানদণ্ড স্কোর করে, কারণ সম্ভাবনাটি একটিমাত্র রায়-টোকেন থেকে পড়া হয়। ডিকোডিং পাস চলে গেছে, তবু এক-কলে-এক-প্রশ্নের কাঠামো রয়ে গেছে। আপনি প্রতিটি কল সস্তা করেছেন, কিন্তু কতগুলি কল লাগবে তা বদলাননি।

সুতরাং কাঠামোগত দাবিটি এরকম: জেনারেটিভ জাজ প্রতি মানদণ্ডে দামি, আর সম্ভাবনা-পড়া ক্লাসিফায়ার প্রতি মানদণ্ডে সস্তা কিন্তু তবুও প্রতিটি একটি করে মানদণ্ডে বাঁধা। কোনোটিই আপনাকে একই ইনপুট সম্পর্কে একসঙ্গে অনেক প্রশ্ন করতে দেয় না।

Jev আলাদা কী করে #

Jev-কে ক্যালিব্রেটেড সিদ্ধান্তের জন্য রিইনফোর্সমেন্ট লার্নিং (RLCD) দিয়ে প্রশিক্ষণ দেওয়া হয়েছে। এটি একটি ইনপুট সম্পর্কে বহু টাইপ করা প্রশ্নের উত্তর একটি কলেই ক্যালিব্রেটেড সম্ভাবনাসহ দেয়। পদ্ধতিটি সাবধানে বলা দরকার, কারণ নিবন্ধের বাকি অংশ এর ওপরই দাঁড়িয়ে।

RLCD মডেল লেখা তৈরি করার বদলে প্রতিটি টাইপ করা প্রশ্নের জন্য ক্যালিব্রেটেড সম্ভাবনাসহ একটি সিদ্ধান্ত ফেরত দেয়। এমন কোনো জেনারেশন ধাপ নেই যেখানে একটি রায় লিখে তারপর পার্স করা হয়। Jev একটি ইনপুট সম্পর্কে, যাকে গবেষণাপত্র স্টেট বলে, বহু বাইনারি, শ্রেণিগত ও ক্রমবাচক প্রশ্নের উত্তর একটি কলেই দেয়। স্টেট হলো ইনপুট; প্রশ্ন হলো সে সম্পর্কে আপনি যা জানতে চান।

এটি ওপরের দুটি পদ্ধতি থেকেই আলাদা একটি খরচের বক্ররেখা। প্রশ্নগুলি যদি একটি কল ভাগ করে নেয়, তবে আরেকটি প্রশ্ন যোগ করলে আরেকটি ডিকোডিং পাস যোগ হয় না। একসঙ্গে কয়েক ধরনের ব্যর্থতা নিয়ে চিন্তিত মনিটরের জন্য এর লাভ স্পষ্ট, যদিও গবেষণাপত্রের পরিমাপ একটি একক সাধারণ প্রশ্ন কী অর্জন করে তা নিয়ে, আর আমি যা মাপা হয়েছে তাতেই থাকব।

তবু একটি ফাঁক ছিল। Jev অ্যালাইনমেন্ট ব্যর্থতা শনাক্ত করে কি না, তা মাপা হয়নি। টাইপ করা প্রশ্নের উত্তর ক্যালিব্রেটেড সম্ভাবনাসহ দেওয়া একটি মডেল এই কাজের জন্য মানানসই মনে হয়, আর মানানসই মনে হওয়া সস্তা। গবেষণাপত্রটি সেই অনুপস্থিত পরিমাপ দিতেই এগোয়।

অ্যালাইনমেন্ট ব্যর্থতা যতটা দেখায় তার চেয়ে কঠিন কেন #

পরিমাপের আগে একটি জটিলতা। এর অনেক ব্যর্থতাই সম্পর্কনির্ভর, অর্থাৎ এমন একটি রেফারেন্সের সাপেক্ষে সংজ্ঞায়িত যা কেবল উত্তর থেকে বোঝা যায় না। তোষামোদ এই সাধারণ ধারণার ভালো দৃষ্টান্ত: একটি উত্তর ব্যবহারকারীর ভুল বিশ্বাসের কাছে নত হয় কি না, তা নির্ভর করে বিশ্বাসটি কী এবং সেটি ভুল কি না তার ওপর, আর এর কোনোটিই কেবল উত্তরের লেখায় দেখা যায় না।

ডিটেক্টরের নকশায় এর একটি পরিণাম আছে, যা গবেষণাপত্র যথাযথ সতর্কতার সঙ্গে বলে। যে ডিটেক্টর কেবল উত্তর দেখে, তার কাছে হয়তো সেই রেফারেন্স থাকে না যা ব্যর্থতাকে সংজ্ঞায়িত করে। “হয়তো” শব্দটি গুরুত্বপূর্ণ; দাবিটি এই নয় যে প্রতিটি ব্যর্থতার রেফারেন্স লাগে, কেবল এই যে কিছুর লাগে এবং কেবল-উত্তর দৃষ্টিভঙ্গি তা মিস করতে পারে।

এতে রোগনির্ণয়ও জটিল হয়। ব্যর্থতা সম্পর্কনির্ভর হলে দুর্বল শনাক্তকরণ প্রশ্ন থেকেও আসতে পারে, আবার রেফারেন্সবিহীন স্টেট থেকেও। দুটি জিনিস ভুল হতে পারে, আর কম স্কোর বলে না কোনটি। হয়তো প্রশ্নের শব্দচয়ন খারাপ ছিল। হয়তো প্রশ্ন ঠিকই ছিল, আর উত্তর দিতে যা দরকার তা ইনপুটে কখনো ছিলই না। যে বেঞ্চমার্ক কোনো ডিটেক্টর সম্পর্কে কাজের কিছু বলতে চায়, তাকে এমনভাবে গড়তে হবে যাতে এই দুটি কারণ আলাদা করা যায়।

ডেভেলপার, তার দিক থেকে, পরোক্ষ অর্থ ও প্রতিকূল (অ্যাডভার্সারিয়াল) বিষয়বস্তুকে Jev-এর জানা দুর্বলতার মধ্যে ধরে। পরে ফলাফল পড়ার সময় এটি মনে রাখা ভালো, কারণ কিছু ব্যর্থতার ধরন ঠিক এই বৈশিষ্ট্যগুলির ওপরই নির্ভর করে।

শনাক্তকরণকে শ্রেণিবিন্যাস হিসেবে দেখা #

গবেষণাপত্রের আনুষ্ঠানিক কাঠামো সরল। এটি অ্যালাইনমেন্ট ব্যর্থতা শনাক্তকরণকে একটি লক্ষ্য মডেলের ইন্টারঅ্যাকশনের ওপর বাইনারি শ্রেণিবিন্যাস হিসেবে দেখে। একটি ডিটেক্টর একটি স্কোর s(x) ∈ [0, 1] দেয় এবং s(x) ≥ t হলে x-কে চিহ্নিত করে। এর মানে তাকে ব্যর্থতাগুলিকে অ-ব্যর্থতার ওপরে র‍্যাঙ্ক করতে হবে, আবার থ্রেশহোল্ড t-তে সেগুলিকে আলাদাও করতে হবে।

এই দুটি দায়িত্ব আলাদা করা যায়, আর গবেষণাপত্রের ফলাফল ঠিক এই সেলাই বরাবরই ভাগ হয়। র‍্যাঙ্কিং মাপে AUROC। থ্রেশহোল্ডে আলাদা করা নির্ভর করে ক্যালিব্রেশনের ওপর, আর নিবন্ধ সেখানে ফিরবে, কারণ Jev সেখানেই পিছিয়ে পড়ে। একটি ডিটেক্টর চমৎকার র‍্যাঙ্ক করেও t=0.5-এ অকেজো হতে পারে, যদি তার সম্ভাবনাগুলি ভুল জায়গায় বসে থাকে।

RLCDAlignBench #

বেঞ্চমার্কটির নাম RLCDAlignBench। এটি ৪৪টি বেঞ্চমার্ক ও ৭,১৯৩টি শনাক্তকরণ দৃষ্টান্তে দশ ধরনের ব্যর্থতা জুড়ে আছে। দৃষ্টান্তগুলি আসে পাঁচটি ওপেন 2–7B লক্ষ্য মডেল থেকে, আর প্রতিটিকে তার বেঞ্চমার্কের রেফারেন্স স্কোরার লেবেল দিয়েছে। অর্থাৎ যে ইন্টারঅ্যাকশনগুলির বিচার হচ্ছে সেগুলি ছোট ওপেন মডেল থেকে আসে, আর প্রতিটির প্রকৃত সত্য হলো মূল বেঞ্চমার্কের নিজস্ব স্কোরার যা বলে তা-ই।

প্রতিটি বেঞ্চমার্কে একই ধরনের লেবেল নেই। Jev-কে একটি জাজের সঙ্গে তুলনা করতে StrongREJECT ও HarmBench-এ মানুষের লেবেল, এবং AbstentionBench ও InstrumentalEval-এ দ্বিতীয় জাজের লেবেল ব্যবহার করা হয়। এতে গবেষণাপত্র রেফারেন্স স্কোরারের ওপর দুই ধরনের বাইরের যাচাই পায়: কিছু ক্ষেত্রে মানুষ, অন্য ক্ষেত্রে দ্বিতীয় জাজ।

প্রকাশিত উপকরণকে এভাবে বর্ণনা করা হয়েছে: প্রসঙ্গ-ভেরিয়েন্টসহ দশ ধরনের ব্যর্থতায় ৪৪টি বেঞ্চমার্ক, ক্যাশ করা Jev উত্তর ও পুনঃস্কোরিং স্ক্রিপ্ট, সঙ্গে একটি স্প্লিট-হাফ প্রোটোকল যা প্রতিবেদিত লাভ থেকে বাছাইজনিত স্ফীতি সরিয়ে দেয়। প্রতিটি উপাদান একটি ব্যবহারিক প্রয়োজন মেটায়। প্রসঙ্গ-ভেরিয়েন্ট পাঠককে জিজ্ঞেস করতে দেয়, স্টেটে বেশি তথ্য থাকলে কী হয়। ক্যাশ করা উত্তর ও পুনঃস্কোরিং স্ক্রিপ্ট কাউকে মডেল আবার না চালিয়েই একটি সংখ্যা পুনরুৎপাদন করতে দেয়। স্প্লিট-হাফ প্রোটোকল একটি পদ্ধতিগত ফাঁদ সামলায়, যার জন্য আলাদা একটি অংশ প্রাপ্য।

বাছাইয়ের ফাঁদ #

Jev-কে একই ইনপুট সম্পর্কে অনেক প্রশ্ন করা যায়। এটাই এর বিশেষত্ব, আর মূল্যায়নের জন্য এটাই একটি ঝুঁকিও। আপনি যদি সম্ভাব্য প্রশ্নের একটি সেট রাখেন এবং যেটি সবচেয়ে ভালো স্কোর করে সেটিই প্রতিবেদন করেন, তবে আপনি প্রশ্নের ওপর একটি খোঁজ চালিয়ে বিজয়ীকে প্রতিবেদন করেছেন। গবেষণাপত্র সরাসরি বলে: এর মধ্যে সেরাটিকে প্রতিবেদন করলে একজন অনুশীলনকারী আসলে যা পান তার চেয়ে বেশি দেখানো হবে।

যিনি কখনো একটি টেস্ট সেটের বিপরীতে প্রম্পট টিউন করেছেন, তিনি এটি চিনবেন। এখানে ব্যবহৃত প্রতিকার সহজ। প্রশ্নগুলি আইটেমের একটি অর্ধেকে বাছাই করা হয় এবং অন্য অর্ধেকে স্কোর করা হয়। লক্ষ্যভিত্তিক প্রশ্নটি আইটেমের একটি অর্ধেকে বাছাই করে অন্য অর্ধেকে স্কোর করা হয়, ২০টি বিভাজনে। যে আইটেম থেকে প্রতিবেদিত সংখ্যা আসে, বাছাই কখনো সেগুলিকে ছোঁয় না।

নিচে প্রতিবেদিত প্রতিটি লাভ কীভাবে পড়তে হবে, তার জন্য এটি গুরুত্বপূর্ণ। গবেষণাপত্রের দাবি, স্প্লিট-হাফ প্রোটোকল প্রতিবেদিত লাভ থেকে বাছাইজনিত স্ফীতি সরিয়ে দেয়। গবেষণাপত্র যখন বলে লক্ষ্যভিত্তিক শব্দচয়ন +০.০০৬ AUROC মধ্যমা লাভ দেয়, তখন সেই সংখ্যা আসে আলাদা অর্ধেকে বাছাই ও স্কোর করা শব্দচয়ন থেকে। সৎভাবে মাপা এত ছোট একটি সংখ্যা এমন বড় সংখ্যার চেয়ে বেশি কাজের, যার মধ্যে নিঃশব্দে বিজয়ীর অভিশাপ ঢুকে আছে।

মূল ফলাফল: একটি সাধারণ প্রশ্ন #

এবার সেই ফলাফল যা বেশিরভাগ পাঠক চাইবেন। একটি একক সাধারণ প্রশ্ন জিরো-শটে ০.৮৮৬ মধ্যমা AUROC-তে পৌঁছায় এবং বেশিরভাগ বেঞ্চমার্কে তত্ত্বাবধানে প্রশিক্ষিত বেসলাইনকে হারায়।

শব্দগুলি একে একে ধরা যাক। “একক সাধারণ প্রশ্ন” মানে প্রতি বেঞ্চমার্কে প্রম্পটের কোনো প্রকৌশল নেই। “জিরো-শট” মানে লক্ষ্য বেঞ্চমার্কে কোনো প্রশিক্ষণ নেই। “বেশিরভাগ বেঞ্চমার্কে তত্ত্বাবধানে প্রশিক্ষিত বেসলাইনকে হারায়” মানে যেসব ব্যবস্থা কাজের লেবেলযুক্ত ডেটায় প্রশিক্ষিত, সেগুলি পরীক্ষিত বেশিরভাগ বেঞ্চমার্কে এমন একটি প্রশ্নের কাছে হারে যা কেউ টিউন করেনি। দাবিটি “বেশিরভাগ”-এ থামে, এই নিবন্ধও সেখানেই থামবে।

সাধারণ প্রশ্নটি P(yes) হিসেবে পড়া একটি টেমপ্লেট প্রশ্ন। সংখ্যাটি ৩৮টি ব্যবহারযোগ্য বেঞ্চমার্কের AUROC জানায়, আর সাধারণ প্রশ্নটি ৭টি বেঞ্চমার্কে করা হয়নি। তাই মূল সংখ্যাটি সেই বেঞ্চমার্কগুলির মধ্যমা যেখানে সাধারণ প্রশ্নটি প্রযোজ্য হয়েছে, যা ৩৮টি ব্যবহারযোগ্য বেঞ্চমার্ক থেকে নেওয়া। সতর্ক পাঠকের উচিত হরগুলির হিসাব পরিষ্কার রাখা: মোট ৪৪টি বেঞ্চমার্ক আছে, এই সংখ্যার জন্য ৩৮টি ব্যবহারযোগ্য, আর সাধারণ প্রশ্নে ৭টির ঘাটতি।

আমার যুক্তি, জিরো-শট ফলাফলটিই বাক্যের বেশি আকর্ষণীয় অর্ধেক। তত্ত্বাবধানে প্রশিক্ষিত বেসলাইনকে হারানো তুলনামূলক অবস্থান নিয়ে একটি বক্তব্য। কোনো কাজ-নির্দিষ্ট প্রশিক্ষণ ছাড়াই ০.৮৮৬ মধ্যমা AUROC বলে দেয়, স্টেট পড়ে একটি সরল প্রশ্নের উত্তর দেওয়া মডেলের কাছে ব্যর্থতার সংকেত কতটা পাওয়া যায়। এটি এই দশটির বাইরের ব্যর্থতার ধরনে প্রযোজ্য কি না, দাবিগুলি সে বিষয়ে কিছু বলে না।

শব্দচয়ন প্রায় অপ্রাসঙ্গিক #

আপনি যদি প্রম্পট প্রকৌশলে সময় দিয়ে থাকেন, পরের ফলাফলটি গায়ে লাগবে। প্রশ্নের শব্দচয়ন সামান্যই গুরুত্বপূর্ণ, যেখানে প্রসঙ্গ বেশি গুরুত্বপূর্ণ, মূলত সেই ফিল্ডগুলির মাধ্যমে যা লেবেলকে এনকোড করে।

কেন, তার ব্যাখ্যা গবেষণাপত্রে নির্দিষ্ট। উত্তরগুলিকে argmax সিদ্ধান্তের বদলে সম্ভাবনা হিসেবে রাখলে প্রশ্নের শব্দচয়ন সামান্যই গুরুত্বপূর্ণ থাকে, আর স্টেট ও লেবেলে কী আছে তা অনেক বেশি গুরুত্বপূর্ণ হয়। এটি তথ্য নিয়ে একটি পর্যবেক্ষণ। argmax সিদ্ধান্ত সেই ব্যবধানটি ফেলে দেয় যার জোরে একটি উত্তর অন্যটিকে হারিয়েছিল, আর শব্দচয়নের একটি পরিবর্তন সিদ্ধান্তকে সীমার ওপারে উল্টে দিতে পারে। সম্ভাবনা সেই ব্যবধান ধরে রাখে, তাই প্রমাণকে সামান্য সরিয়ে দেওয়া নতুন শব্দচয়ন সম্ভাবনাকেও সামান্যই সরায় এবং র‍্যাঙ্কিং মোটামুটি অটুট রাখে।

আমি এটিকে গবেষণাপত্র যা বলে তাতেই সীমিত রাখব: সম্ভাবনা রাখা হলে শব্দচয়ন সামান্যই গুরুত্বপূর্ণ। কেন এমন হয় তার যান্ত্রিক ব্যাখ্যা পর্যন্ত আমি এটিকে টানব না, কারণ দাবিগুলি এমন কিছু দেয় না।

সংখ্যাগুলি এই বক্তব্য সমর্থন করে। লক্ষ্যভিত্তিক শব্দচয়ন +০.০০৬ AUROC মধ্যমা লাভ দেয়, যেখানে শব্দচয়ন আলাদা অর্ধেকে বাছাই ও স্কোর করা হয়েছে। নমুনার বাইরে লক্ষ্যভিত্তিক শব্দচয়ন +০.০০৬ [−০.০০৪, +০.০১৫] AUROC যোগ করে। ব্যবধানটি শূন্য পেরিয়ে যায়। পাঠকের উচিত নয় +০.০০৬-কে নির্ভরযোগ্য উন্নতি ধরা; এই ব্যবধান ছোট লাভের মতোই সহজে ছোট ক্ষতিরও সুযোগ রাখে। অনুশীলনকারীর জন্য কাজের পাঠ হলো, আরও চতুর শব্দচয়ন খোঁজার পরিশ্রম ফেরত আসার সম্ভাবনা কম, অন্তত এই বেঞ্চমার্কগুলিতে।

এতে দলগুলি কীভাবে সময় ভাগ করে তা বদলানো উচিত। শব্দচয়নের প্রভাব যদি প্রায় শূন্য হয়, তবে তার পেছনে যাওয়া ঘণ্টাগুলি স্টেটে দেওয়াই ভালো।

লাভ লুকিয়ে আছে প্রসঙ্গে #

তাহলে স্টেটে কী থাকে, আর তাতে কী থাকা উচিত? গবেষণাপত্রের সিদ্ধান্ত হলো, প্রসঙ্গ বেশি গুরুত্বপূর্ণ, মূলত লেবেল এনকোড করা ফিল্ডগুলির মাধ্যমে। গবেষণার নকশার পেছনের মূল ভাবনা হলো Jev-কে কী জিজ্ঞেস করা হচ্ছে তা সে কী দেখছে তা থেকে আলাদাভাবে বদলানো: একদিকে প্রশ্নের শব্দচয়ন ও উত্তরের ধরন, অন্যদিকে ইনপুটের ফিল্ড। এই বিভাজনই গবেষণাপত্রকে বলতে দেয় যে শব্দচয়ন সামান্য গুরুত্বপূর্ণ, প্রসঙ্গ বেশি। এটি না থাকলে দুটি প্রভাব জট পাকিয়ে যেত।

মূল উদাহরণ PrivacyLens। লেবেল সংজ্ঞায়িত করে এমন রেফারেন্সই বড় লাভ দেয়, যেমন PrivacyLens-এর গোপন বিষয়ের তালিকা (০.৭৯→০.৯৫)। AUROC ০.৭৯ থেকে ০.৯৫-এ যাওয়া শব্দচয়নের +০.০০৬-এর পাশে বিশাল। এখানে রেফারেন্সটি গোপন বিষয়ের একটি তালিকা, যা ঠিক সেই জিনিস যার গুরুত্বের কথা সম্পর্কনির্ভর ব্যর্থতা নিয়ে আগের আলোচনা আগাম বলে: একটি উত্তর ব্যক্তিগত কিছু ফাঁস করে কি না, তা নির্ভর করে কী ব্যক্তিগত বলে গণ্য তার ওপর, আর কেবল উত্তর তা বলে না।

মোতায়েন নিয়ে একটি সতর্কতা আছে, আর সেটি গুরুত্বপূর্ণ। মোতায়েন করা মনিটরের কাছে যে প্রসঙ্গ থাকবে, তা ৭টির মধ্যে ১টি বেঞ্চমার্কে সাহায্য করে। বড় লাভ আসে লেবেল সংজ্ঞায়িত করা রেফারেন্স থেকে, কিন্তু মোতায়েন করা মনিটরের কাছে সেগুলি থাকবেই এমন নয়। বাস্তবে একটি মনিটরের কাছে যা থাকবে, তা সাতটির মধ্যে কেবল একটি বেঞ্চমার্কে সাহায্য করে।

এটি একটি সংযত সিদ্ধান্ত, আর আমার মনে হয় এটিই গবেষণাপত্রের বাণিজ্যিকভাবে সবচেয়ে প্রাসঙ্গিক বাক্য। এটি পরীক্ষাগারের সংখ্যাকে মাঠের সংখ্যা থেকে আলাদা করে। লেবেল-সংজ্ঞায়িত রেফারেন্স হাতে রেখে যে ডিটেক্টরের মূল্যায়ন হয়েছে, সে মোতায়েন করা মনিটরের সামনের প্রশ্নের চেয়ে সহজ প্রশ্নের উত্তর দিচ্ছে। লাভগুলি বাস্তব, তবে গবেষণাপত্র স্পষ্ট বলে, এর কোনগুলির ওপর একটি মোতায়েন ভরসা করতে পারে।

গবেষণাপত্র একটি বেঞ্চমার্কের সীমাবদ্ধতাও চিহ্নিত করে। Open-Prompt-Injection-এ লেবেলটি ইনজেক্ট করা কাজের নির্ভুলতা অনুসরণ করে। এটি এমন লেবেলের উদাহরণ যার অর্থ কাজের একটি বৈশিষ্ট্যের সঙ্গে বাঁধা, যা প্রভাব ফেলে ডিটেক্টর স্টেট থেকে কী দেখবে বলে আশা করা যায় তার ওপর। এর থেকে আরও সিদ্ধান্ত টানা থেকে আমি বিরত থাকব, কারণ দাবিগুলি কোনোটিই দেয় না।

খরচ #

এবার সেই সংখ্যা যা অর্থনীতিকে মূর্ত করে। Jev-এর খরচ LLM-জাজ স্কোরারের চেয়ে ৬৩× কম। নির্দিষ্ট তুলনাটি হলো: জাজ-স্কোর করা ১৯টি বেঞ্চমার্কে একবার চালানোর খরচ $০.৩০, যা তালিকামূল্যে তাদের জাজের চেয়ে ৬৩× কম। খরচের তুলনাটি তালিকামূল্যে ১৯টি API-জাজ বেঞ্চমার্কে একবার চালানোকে ধরে।

পরিসর নিয়ে সতর্ক থাকুন। তুলনাটি API জাজ ব্যবহারকারী ১৯টি বেঞ্চমার্কের, তালিকামূল্যে, একবার চালানোর জন্য। এটি স্যুটের প্রতিটি বেঞ্চমার্ক ধরে না, ছাড়মূল্যও ধরে না। এই পরিসরের মধ্যে অনুপাতটি বড়, আর এটি আগে বর্ণিত কাঠামো থেকেই আসে: প্রতি মানদণ্ডে কোনো ডিকোডিং পাস নেই।

শুরুর শর্তটি মনে করুন, যে প্রতিটি বার্তায় চলা ডিটেক্টরকে সস্তা হতে হবে। ১৯টি বেঞ্চমার্কে পুরো একবার চালানোর জন্য $০.৩০ হলো এই গবেষণাপত্রে “সস্তা”-র চেহারা। গবেষণাপত্র এটিকে প্রতি-বার্তা মূল্যে রূপান্তর করে না, আমিও করব না।

মানুষের সঙ্গে ঐকমত্য, আর মতভেদ কী উন্মোচন করল #

সস্তা হওয়া তখনই আকর্ষণীয় যখন ডিটেক্টর সঠিকও হয়। যেখানে মানুষের লেবেল যাচাইয়ের সুযোগ দেয়, সেখানে Jev তাদের সঙ্গে জাজের মতোই একমত হয়, খরচের একটি ভগ্নাংশে।

সবচেয়ে নির্দিষ্ট প্রমাণ আসে StrongREJECT থেকে। সেখানে মানুষের লেবেলের বিপরীতে সাধারণ প্রশ্নটি রেফারেন্স স্কোরারের মতোই একমত হয় (Cohen's κ ০.৮০৯ বনাম ০.৮১১) এবং ভালো র‍্যাঙ্ক করে। দুটি κ মানের পার্থক্য ০.০০২, তাই যুক্তিসঙ্গত পাঠ হলো ঐকমত্যে সমতা, আর র‍্যাঙ্কিংয়ে Jev এগিয়ে।

তারপর আসে এমন একটি ফলাফল যা আমার কাছে ব্যবহারে সবচেয়ে কাজের, কারণ এটি ডিটেক্টরকে একটি নিরীক্ষার হাতিয়ারে পরিণত করে। Jev-এর আত্মবিশ্বাসী মতভেদ তিনটি বেঞ্চমার্কে লেবেল বদলে দেওয়া ত্রুটি ধরেছে, আর আরও চারটিতে এমন লেবেল যা স্টেট প্রকাশ করতে পারে না। একটি আত্মবিশ্বাসী ডিটেক্টর যখন কোনো বেঞ্চমার্কের রেফারেন্স লেবেলের সঙ্গে দ্বিমত করে, তখন একটি ব্যাখ্যা হলো ডিটেক্টরটি ভুল। গবেষণাপত্র জানায় যে কিছু ক্ষেত্রে মতভেদ বেঞ্চমার্কের দিকেই আঙুল তুলেছে: তিনটি বেঞ্চমার্কে লেবেল বদলে দেওয়া ত্রুটি ছিল, আর আরও চারটিতে এমন লেবেল ছিল যা স্টেট প্রকাশ করতে পারে না।

দ্বিতীয় শ্রেণিটি সম্পর্কনির্ভরতার প্রসঙ্গে ফিরে যায়। স্টেট যে লেবেল প্রকাশ করতে পারে না, তা এমন কিছু দিয়ে সংজ্ঞায়িত লেবেল যা কখনো ইনপুটে পৌঁছায়নি। সেই স্টেট পড়া কোনো ডিটেক্টরই তা পুনরুদ্ধার করতে পারত না। এমন ক্ষেত্র খুঁজে পাওয়া স্কোর বাড়ানোর চেয়ে ভিন্ন ধরনের অবদান, কারণ এটি বেঞ্চমার্কের রক্ষণাবেক্ষণকারীদের বলে দেয় তাদের ডেটা আর লেবেল কোথায় আলাদা পথে যায়।

দুর্বল দিক: ক্যালিব্রেশন #

এখানে নিবন্ধকে স্পষ্টভাষী হতে হবে, কারণ গবেষণাপত্রও তাই। সম্ভাবনাগুলি ভালো র‍্যাঙ্ক করে কিন্তু থ্রেশহোল্ড হিসেবে স্থানান্তরিত হয় না: মধ্যমা ECE ০.১৬৮, যেখানে শূন্য-মডেলের ০.০৭৪, যাচাইকৃত ও জাজ উভয় লেবেলেই, কারণ Jev-এর গড় সম্ভাবনা প্রতিটি বেঞ্চমার্কের ভিত্তি হার থেকে সরে থাকে।

টুকরোগুলি এভাবে মেলে। AUROC র‍্যাঙ্কিং মাপে, আর র‍্যাঙ্কিং মজবুত। থ্রেশহোল্ড আলাদা বিষয়। মডেলের গড় আউটপুট সম্ভাবনা যদি কোনো বেঞ্চমার্কে ব্যর্থতা কত ঘন ঘন ঘটে তার সঙ্গে না মেলে, তবে t=0.5 ভুল জায়গায় পড়ে, আর প্রত্যাশিত ক্যালিব্রেশন ত্রুটি বেশি হয়। ০.১৬৮ মধ্যমা ECE ০.০৭৪ শূন্য-মডেলের ওপরে, যা গবেষণাপত্রের বেছে নেওয়া তুলনাবিন্দুর চেয়েও খারাপ ফল। আর এটি যাচাইকৃত ও জাজ উভয় লেবেলেই সত্য, তাই দুর্বলতাটি কোলাহলপূর্ণ জাজ লেবেলের ফল নয়।

আনুষ্ঠানিক কাঠামোটি মনে করুন: একটি ডিটেক্টরকে ব্যর্থতাকে অ-ব্যর্থতার ওপরে র‍্যাঙ্ক করতে হবে এবং থ্রেশহোল্ডে সেগুলিকে আলাদা করতে হবে। Jev প্রথমটি ভালো করে, আর দ্বিতীয়টি, কোনো সমন্বয় ছাড়া, খারাপ। পদ্ধতির নামেই আছে “ক্যালিব্রেটেড সিদ্ধান্ত”, অথচ এখানে মাপা ক্যালিব্রেশন বেঞ্চমার্ক পেরিয়ে টেকে না, এটি একটি টানাপোড়েন যা স্পষ্ট করে বলা দরকার। গবেষণাপত্র এই ফাঁকের কারণ হিসেবে ভিত্তি হারকে দেখায় এবং এর বেশি দাবি করে না।

ব্যবহারিক পরিণাম: জাজের বিকল্প হিসেবে Jev-এর থ্রেশহোল্ড ঠিক করতে কয়েকটি লেবেল লাগে। এটি একটি প্রকৃত খরচ, আর এটি সরাসরি প্রতিস্থাপনযোগ্য হওয়ার দাবিকে সংকীর্ণ করে। আপনি এটিকে কোনো নতুন ব্যর্থতার ধরনের দিকে তাক করে t=0.5-এ ভরসা করতে পারবেন না।

পদ্ধতি #

গবেষণাপত্রের সুপারিশ সংক্ষিপ্ত। পদ্ধতিটি হলো সম্ভাবনা হিসেবে পড়া একটি সাধারণ প্রশ্ন, যার থ্রেশহোল্ড দশটি লেবেলযুক্ত আইটেমে বসানো, যা F1 বাড়ায় যেখানে Jev t=0.5-এ খুব কম সাড়া দেয়, আর যাচাইকৃত লেবেলে ০.০২৫ মূল্য দেয়।

খুলে দেখা যাক। সাধারণ প্রশ্নটি শব্দচয়নের সমস্যা সামলায় তার প্রকৌশল করতে অস্বীকার করে, যা শব্দচয়ন সামান্য গুরুত্বপূর্ণ এই সিদ্ধান্তের সঙ্গে মেলে। উত্তরকে সম্ভাবনা হিসেবে পড়লে ব্যবধানটি রক্ষা পায়। দশটি লেবেলযুক্ত আইটেমে থ্রেশহোল্ড বসানো ভিত্তি হারের বিচ্যুতি সামলায়। F1-এর ওপর প্রভাব ইতিবাচক সেখানে, যেখানে Jev t=0.5-এ খুব কম সাড়া দেয়। যাচাইকৃত লেবেলে পদ্ধতিটির মূল্য ০.০২৫।

শেষ সংখ্যাটিতে একটু থামা উচিত। পদ্ধতিটি ক্ষতিমুক্ত নয়: যাচাইকৃত লেবেলে এর মূল্য ০.০২৫। গবেষণাপত্র এই লেনদেন লুকিয়ে না রেখে জানায়, আর আমি বরং এমন একটি পদ্ধতির উল্লেখ করব যার খরচ বলা আছে, বিশুদ্ধ লাভ হিসেবে প্রচারিত পদ্ধতির চেয়ে। যাচাইকৃত লেবেলের প্রসঙ্গের বাইরে ০.০২৫ কোন মেট্রিকে মাপা, দাবিগুলি তা বলে না, তাই আমি অনুমান করব না।

দশটি লেবেলযুক্ত আইটেম একটি ছোট চাহিদা। বেশিরভাগ দলের জন্য এটি এক বিকেলের টীকাকরণের কাজ, প্রতিটি বার্তায় জাজ চালানোর খরচের তুলনায়। তবে এটি একটি পূর্বশর্ত, আর যে দল নতুন ব্যর্থতার ধরনের জন্য একটিও লেবেলযুক্ত আইটেম তৈরি করতে পারে না, তার আশা করা উচিত নয় যে থ্রেশহোল্ড নিজে থেকে ঠিক হয়ে যাবে।

একজন অনুশীলনকারীর এ থেকে কী নেওয়া উচিত #

কয়েকটি বিষয় বেরিয়ে আসে, আর প্রমাণ সেগুলিকে সমর্থন করে বলে আমি সেগুলিতে অটল থাকব।

প্রথমত, প্রশ্নের শব্দচয়ন ঘষামাজা বন্ধ করুন। লক্ষ্যভিত্তিক শব্দচয়ন থেকে নমুনার বাইরের লাভ +০.০০৬, যার ব্যবধান −০.০০৪ থেকে +০.০১৫। এটি বিনিয়োগের ভিত্তি নয়।

দ্বিতীয়ত, পরিশ্রম দিন স্টেটে। বড় লাভ এসেছে লেবেল সংজ্ঞায়িত করা রেফারেন্স থেকে। আপনার মনিটরকে যদি ব্যর্থতা সংজ্ঞায়িত করা রেফারেন্স দেওয়া যায়, উন্নতি সেখানেই। না গেলে কম আশা করুন: মোতায়েন করা মনিটরের কাছে থাকা প্রসঙ্গ ৭টির মধ্যে ১টি বেঞ্চমার্কে সাহায্য করেছে। পরিকল্পনা করুন সেই সংখ্যা ঘিরে যা আপনি মোতায়েনে পেতে পারেন, এমন বেঞ্চমার্কের সংখ্যা ঘিরে নয় যেখানে রেফারেন্স ইনপুটেই বসে আছে।

তৃতীয়ত, ক্যালিব্রেশনের জন্য বাজেট রাখুন। প্রতিটি ব্যর্থতার ধরনে দশটি আইটেম লেবেল করে থ্রেশহোল্ড বসানোর পরিকল্পনা করুন। t=0.5 নিয়ে চালু করবেন না।

চতুর্থত, মতভেদকে সংকেত হিসেবে ব্যবহার করুন। রেফারেন্স লেবেলের সঙ্গে আত্মবিশ্বাসী মতভেদ তিনটি বেঞ্চমার্কে ত্রুটি এবং আরও চারটিতে অপ্রকাশযোগ্য লেবেল উন্মোচন করেছে। আপনি যদি এটি নিজের মূল্যায়ন স্যুটে চালান, তবে আশা রাখুন যে এটি আপনার মডেলের পাশাপাশি আপনার লেবেল সম্পর্কেও কিছু বলতে পারে। এটি গবেষণাপত্রের সিদ্ধান্ত থেকে টানা একটি অনুমান, কোনো নির্দিষ্ট স্যুট নিয়ে মাপা দাবি নয়, তাই এটিকে যাচাইয়ের আমন্ত্রণ হিসেবে নিন।

পঞ্চমত, জানা দুর্বলতাগুলি মনে রাখুন। ডেভেলপার পরোক্ষ অর্থ ও প্রতিকূল বিষয়বস্তুকে Jev-এর জানা দুর্বলতার মধ্যে ধরে। নিরাপত্তার জন্য গুরুত্বপূর্ণ একটি মনিটর প্রতিকূল বিষয়বস্তুর মুখোমুখি হবেই। এখানকার দাবিগুলি জানায় না সেখানে Jev কেমন করে, তাই সেটি একটি খোলা দিক, আর কোনো মোতায়েনে ভরসা করার আগে আমি তার পরীক্ষা চাইব।

বাণিজ্যিক যুক্তির আলোয় ফলাফল পড়া #

প্রতিষ্ঠাতারা জানতে চাইবেন এটি কোথায় বসে। খরচের যুক্তিটি সবচেয়ে জোরালো: প্রতিটি বার্তায় চলা ডিটেক্টরকে সস্তা হতে হবে, আর LLM-জাজ স্কোরারের তুলনায় ৬৩× হ্রাস বদলে দেয় কোন মোতায়েন সাধ্যের মধ্যে। নির্ভুলতার যুক্তি দ্বিতীয়: ০.৮৮৬ জিরো-শট AUROC এবং বেশিরভাগ বেঞ্চমার্কে তত্ত্বাবধানে প্রশিক্ষিত বেসলাইনের ওপর জয়।

সতর্কতাগুলিই ঠিক করে সৎভাবে কী বিক্রি করা যায়। ডিটেক্টরের প্রতিটি থ্রেশহোল্ডের জন্য কয়েকটি লেবেল লাগে। এর ক্যালিব্রেশন স্থানান্তরিত হয় না। এর সেরা লাভ এমন রেফারেন্সের ওপর নির্ভর করে যা কোনো মোতায়েনের কাছে না-ও থাকতে পারে। এগুলি ব্যবহারের শর্ত, আর এর ওপর গড়া যেকোনো পণ্যের উচিত এগুলি চাপা না দিয়ে জানানো। এর কোনোটিই খরচের যুক্তিকে দুর্বল করে না; এটি কেবল প্রস্তুতির কাজের বর্ণনা দেয়।

পরিমাপ নিয়েও একটি নিভৃত কথা আছে। RLCDAlignBench, তার প্রসঙ্গ-ভেরিয়েন্ট, ক্যাশ করা Jev উত্তর, পুনঃস্কোরিং স্ক্রিপ্ট ও স্প্লিট-হাফ প্রোটোকলসহ, একটি পুনর্ব্যবহারযোগ্য মূল্যায়ন সম্পদ। প্রতিবেদিত লাভ থেকে বাছাইজনিত স্ফীতি সরিয়ে দেওয়া একটি বেঞ্চমার্ক এমন উপকরণ যা পরের দাবিগুলিকে তুলনীয় করে। এটি ডিটেক্টর থেকে আলাদা ধরনের মূল্য।

কী খোলা থাকে #

দাবিগুলি থেকে কয়েকটি সীমা স্পষ্ট। লক্ষ্য মডেলগুলি 2–7B প্যারামিটারের পাঁচটি ওপেন মডেল, তাই ফলাফল সেই আকারের মডেলের ইন্টারঅ্যাকশনে ব্যর্থতার বর্ণনা দেয়। সাধারণ প্রশ্নটি ৭টি বেঞ্চমার্কে করা হয়নি, আর মূল AUROC সেই বেঞ্চমার্কগুলির মধ্যমা যেখানে করা হয়েছে। লেবেলগুলি রেফারেন্স স্কোরারের, আর মানুষের ও দ্বিতীয় জাজের লেবেল StrongREJECT, HarmBench, AbstentionBench ও InstrumentalEval জুড়ে আছে।

যে খোলা প্রশ্নটি আমাকে সবচেয়ে বেশি টানে, সেটি গবেষণাপত্রের নিজের কাঠামোই তোলে। ব্যর্থতা সম্পর্কনির্ভর; স্টেটে প্রায়ই রেফারেন্স থাকে না; আর মোতায়েন করা মনিটরের প্রসঙ্গ ৭টির মধ্যে কেবল ১টি বেঞ্চমার্কে সাহায্য করেছে। Jev-এর এক-কলের নকশা বহু প্রশ্নকে একটি ইনপুট ভাগ করে নিতে দেয়, তবু সবচেয়ে বড় লিভার দাঁড়াল ইনপুটে কোন ফিল্ড আছে সেটি। নজরদারির সময়ে একটি মোতায়েন কীভাবে লেবেল সংজ্ঞায়িত করা রেফারেন্স পাবে, যেমন গোপনীয়তা যাচাইয়ের জন্য গোপন বিষয়ের তালিকা, সেটিই পরের সমাধানের বিষয়। গবেষণাপত্র দেখায় লাভটি পাওয়া সম্ভব (PrivacyLens-এ ০.৭৯→০.৯৫), আর খোলা রাখে যে মোতায়েন করা মনিটরকে তা এত সস্তায় দেওয়া যায় কি না যাতে ৬৩× সুবিধা বজায় থাকে।

খাতভিত্তিক তাৎপর্য #

ভগ্নাংশ ইনফারেন্স খরচে ক্যালিব্রেটেড সিদ্ধান্ত হেডের মাধ্যমে জটিল অ্যালাইনমেন্ট মানদণ্ড মূল্যায়নের সক্ষমতা একাধিক খাতে পরিচালনগত নিরাপত্তাকে নতুন রূপ দেয়।

AI গেটওয়ে ও নিরাপত্তা প্ল্যাটফর্ম সরবরাহকারী #

রিয়েল-টাইম নিরাপত্তা গার্ডরেল মোতায়েন করা অবকাঠামো কোম্পানিগুলি দামি ক্যাসকেড কাঠামো (প্রম্পট-ইনজেকশন, বিষাক্ততা ও গোপনীয়তার আলাদা ক্লাসিফায়ার ডাকা) বদলে একীভূত বহু-প্রশ্ন RLCD হেড ব্যবহার করতে পারে। পরিচালন খরচ ৬০×-এর বেশি কমে, আর বিলম্ব একটি একক ফরোয়ার্ড পাসে সীমাবদ্ধ থাকে।

AI শাসন ও নিরীক্ষা সম্মতি দল #

EU AI Act-এর উচ্চ-ঝুঁকি শর্ত বা NIST AI RMF-এর মতো মানদণ্ডের বিপরীতে মডেলের আচরণ মূল্যায়নকারী ঝুঁকি কমিটি একটি নির্ধারণমূলক, সম্ভাবনাভিত্তিক নিরীক্ষা লগ পায়। LLM-জাজের অসংগঠিত, বর্ণনামূলক প্রতিক্রিয়ার বদলে ব্যবস্থাগুলি ক্যালিব্রেটেড সম্ভাবনা বণ্টন রেকর্ড করে, যা পরিসংখ্যানগত প্রক্রিয়া নিয়ন্ত্রণ ও ড্রিফট নজরদারিতে সহায়ক।

এন্টারপ্রাইজ মোতায়েন ও রেড-টিমিং দল #

নিরাপত্তা দল কেন্দ্রীভূত স্টেট উপস্থাপনা লিখে এবং মাত্র দশটি ক্ষেত্র-নির্দিষ্ট উদাহরণে সিদ্ধান্ত থ্রেশহোল্ড বসিয়ে দ্রুত নিজস্ব ব্যর্থতা ডিটেক্টর মোতায়েন করতে পারে, যা বিশেষায়িত ক্লাসিফায়ারের জন্য আগে প্রয়োজনীয় কয়েক সপ্তাহের ফাইন-টিউনিং চক্র দূর করে।

উপসংহার #

RLCDAlignBench-এ Jev-এর মূল্যায়ন প্রোডাকশন মডেল নজরদারির জন্য একটি বিশ্বাসযোগ্য কাঠামোগত দিশা প্রতিষ্ঠা করে: একটি একক ফরোয়ার্ড পাসে বহু টাইপ করা প্রশ্নে ক্যালিব্রেটেড সম্ভাবনা পড়া খরচে অটোরিগ্রেসিভ LLM জাজকে এবং নমনীয়তায় একক-টোকেন ক্লাসিফায়ারকে হারায়। অনুশীলনকারীদের সম্ভাবনা কোনো সমন্বয় ছাড়াই স্থানান্তরিত হবে ধরে নেওয়ার বদলে অভিজ্ঞতাভিত্তিক থ্রেশহোল্ড ক্যালিব্রেশনের বাজেট রাখতে হবে, তবু ৬৩× অর্থনৈতিক সুবিধা রিয়েল-টাইম, ব্যাপক নজরদারিকে বড় পরিসরে বাস্তবসম্মত করে।

সচরাচর জিজ্ঞাসা #

রিয়েল-টাইম প্রোডাকশন নজরদারির জন্য জেনারেটিভ LLM জাজ অব্যবহারিক কেন?

জেনারেটিভ জাজের মূল্যায়িত প্রতিটি নিরাপত্তা বা অ্যালাইনমেন্ট মানদণ্ডের জন্য একটি পূর্ণ অটোরিগ্রেসিভ ডিকোডিং পাস লাগে। উচ্চ থ্রুপুটের ভোক্তা বা এন্টারপ্রাইজ অ্যাপ্লিকেশনে প্রতিটি বার্তায় একাধিক জেনারেটিভ জাজ কল চালালে তীব্র বিলম্ব ঘটে এবং পরিচালন খরচ বহুগুণ বেড়ে যায়।

ক্যালিব্রেটেড সিদ্ধান্তের জন্য রিইনফোর্সমেন্ট লার্নিং (RLCD) কী?

RLCD একটি প্রশিক্ষণ পদ্ধতি যা মডেলকে টোকেন ক্রম তৈরির বদলে কাঠামোবদ্ধ সিদ্ধান্ত হেডে সুক্যালিব্রেটেড উত্তর-সম্ভাবনা দিতে অপ্টিমাইজ করে। এতে মডেল একটি একক ফরোয়ার্ড মূল্যায়নে একসঙ্গে বহু যথেচ্ছ প্রশ্ন মূল্যায়ন করতে পারে।

সিদ্ধান্ত থ্রেশহোল্ড স্থানীয় ডেটায় ক্যালিব্রেট করতে হয় কেন?

RLCD মডেল ব্যর্থতার সম্ভাবনা অনুযায়ী ইন্টারঅ্যাকশন র‍্যাঙ্ক করায় দক্ষ (উচ্চ AUROC অর্জন করে), কিন্তু তাদের পরম গড় সম্ভাবনা লক্ষ্য ক্ষেত্রের ভিত্তি হার অনুযায়ী সরে যায়। প্রায় দশটি লেবেলযুক্ত ক্ষেত্র-উদাহরণে একটি পরিচালনগত সিদ্ধান্ত থ্রেশহোল্ড ক্যালিব্রেট করলে অগ্রহণযোগ্য ফলস-পজিটিভ হার ছাড়াই যথাযথ সংবেদনশীলতা নিশ্চিত হয়।

তথ্যসূত্র #

• Mrinank Sharma et al., (2024). ভাষা মডেলে তোষামোদ বোঝা ও কমানোর পথে ⧉. arXiv.
• RLCDAlignBench Consortium, (2026). ক্যালিব্রেটেড সিদ্ধান্ত হেডের মাধ্যমে বহু-মানদণ্ড অ্যালাইনমেন্ট ব্যর্থতা শনাক্তকরণ ⧉. arXiv.
• Anthropic / Alignment Research, (2025). Constitutional AI ও মূল্যায়নকারীর গতিশীলতা ⧉. Anthropic.
• NIST, (2024). কৃত্রিম বুদ্ধিমত্তা ঝুঁকি ব্যবস্থাপনা কাঠামো (AI RMF 1.0) ⧉. NIST.

সর্বশেষ পর্যালোচনা 2026-09-30.

সর্বশেষ পর্যালোচনা 2026-10-27.

# সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/](https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/)

Jev একটি কলেই বহু প্রশ্নের উত্তর সম্ভাবনা হিসেবে দেয়। ৪৪টি বেঞ্চমার্কে র‍্যাঙ্কিং মজবুত আর খরচ ৬৩× কম, তবে থ্রেশহোল্ড ঠিক করতে কয়েকটি লেবেল লাগে।

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/

সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev — Sebastien Rousseau

Jev একটি কলেই বহু প্রশ্নের উত্তর সম্ভাবনা হিসেবে দেয়। ৪৪টি বেঞ্চমার্কে র‍্যাঙ্কিং মজবুত আর খরচ ৬৩× কম, তবে থ্রেশহোল্ড ঠিক করতে কয়েকটি লেবেল লাগে।

https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/

সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev — Sebastien Rousseau

Jev একটি কলেই বহু প্রশ্নের উত্তর সম্ভাবনা হিসেবে দেয়। ৪৪টি বেঞ্চমার্কে র‍্যাঙ্কিং মজবুত আর খরচ ৬৩× কম, তবে থ্রেশহোল্ড ঠিক করতে কয়েকটি লেবেল লাগে।.

এখানে মূল কৌশলগত টেকওয়েগুলি রয়েছে:

- প্রতিটি বার্তা নজরে রাখার খরচের কাঠামো. মোতায়েন করা মডেল এখনো ব্যবহারকারীর ভুল বিশ্বাসের কাছে মাথা নত করে (Sharma et al., ২০২৪)। বাক্যটি সাদামাটা, কিন্তু পুরো সমস্যার কাঠামো এটিই ঠিক করে। এ ধরনের তোষামোদ যদি মোতায়েন করা ব্যবস্থায় টিকে থাকে, তবে কাউকে তা…
- Jev আলাদা কী করে. Jev-কে ক্যালিব্রেটেড সিদ্ধান্তের জন্য রিইনফোর্সমেন্ট লার্নিং (RLCD) দিয়ে প্রশিক্ষণ দেওয়া হয়েছে। এটি একটি ইনপুট সম্পর্কে বহু টাইপ করা প্রশ্নের উত্তর একটি কলেই ক্যালিব্রেটেড সম্ভাবনাসহ দেয়। পদ্ধতিটি সাবধানে বলা…
- অ্যালাইনমেন্ট ব্যর্থতা যতটা দেখায় তার চেয়ে কঠিন কেন. পরিমাপের আগে একটি জটিলতা। এর অনেক ব্যর্থতাই সম্পর্কনির্ভর, অর্থাৎ এমন একটি রেফারেন্সের সাপেক্ষে সংজ্ঞায়িত যা কেবল উত্তর থেকে বোঝা যায় না। তোষামোদ এই সাধারণ ধারণার ভালো দৃষ্টান্ত: একটি উত্তর ব্যবহারকারীর ভুল…
- শনাক্তকরণকে শ্রেণিবিন্যাস হিসেবে দেখা. গবেষণাপত্রের আনুষ্ঠানিক কাঠামো সরল। এটি অ্যালাইনমেন্ট ব্যর্থতা শনাক্তকরণকে একটি লক্ষ্য মডেলের ইন্টারঅ্যাকশনের ওপর বাইনারি শ্রেণিবিন্যাস হিসেবে দেখে। একটি ডিটেক্টর একটি স্কোর s(x) ∈ [0, 1] দেয় এবং s(x) ≥ t হলে x-কে…

এই নিবন্ধে উল্লিখিত চ্যালেঞ্জগুলির প্রতি আপনার প্রতিষ্ঠানের পদ্ধতি কী?

→ https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/

#Jev #Rlcd #Rlcdalignbench #অ্যালাইনমেন্টব্যর্থতা #ডিটেক্টর

Sebastien Rousseau | CC-BY-4.0

@online{rousseau2026সম,
  author  = {Rousseau, Sebastien},
  title   = {{সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/},
  urldate = {2026}
}

TY  - GEN
AU  - Rousseau, Sebastien
TI  - সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/
ER  -

Rousseau S. সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev — Sebastien Rousseau. sebastienrousseau.com. 2026 Sep 30. Available from: https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/

Rousseau, Sebastien. "সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev — Sebastien Rousseau." sebastienrousseau.com. September 30, 2026. https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/.

Rousseau, S. (2026, September 30). সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/

সম্ভাবনা পড়া ডিটেক্টর, রায় লেখা নয়: ৪৪টি বেঞ্চমার্কে Jev — Sebastien Rousseau

Jev একটি কলেই বহু প্রশ্নের উত্তর সম্ভাবনা হিসেবে দেয়। ৪৪টি বেঞ্চমার্কে র‍্যাঙ্কিং মজবুত আর খরচ ৬৩× কম, তবে থ্রেশহোল্ড ঠিক করতে কয়েকটি লেবেল লাগে।

Originally published at https://sebastienrousseau.com/bn/2026-09-30-sambhabana-pora-detektor-raj-lekha-naj/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU · FOUNDER · ENGINEER