தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev

அலைன்மென்ட் தோல்விகளுக்கான ஒரு கண்டறிவி, ஒரே அழைப்பில் பல வகைப்படுத்தப்பட்ட கேள்விகளுக்கு அளவுத்திருத்தப்பட்ட நிகழ்தகவுகளுடன் பதிலளிக்கிறது, தோல்விகளை நன்றாகத் தரவரிசைப்படுத்துகிறது, LLM-நடுவர் மதிப்பீட்டாளர்களை விட 63× மலிவானது. ஆனால் அந்த நிகழ்தகவுகள் வரம்புகளாக இடம்பெயர்வதில்லை, மேலும் கேள்வியின் சொல்லமைப்பை விட லேபிளும் அதன் குறிப்பும் மிக அதிகமாக முக்கியம்.

ஒவ்வொரு செய்தியையும் கண்காணிப்பதன் செலவுக் கட்டமைப்பு #

பயன்பாட்டில் உள்ள மாதிரிகள் இன்னும் பயனரின் தவறான நம்பிக்கைக்குப் பணிகின்றன (Sharma et al., 2024). இது ஒரு சாதாரண வாக்கியம், ஆனால் முழுப் பிரச்சினையின் சட்டகத்தையும் இதுவே அமைக்கிறது. அத்தகைய முகஸ்துதி பயன்பாட்டில் உள்ள அமைப்புகளில் நீடித்தால், யாராவது அதைக் கண்காணிக்க வேண்டும், அந்தக் கண்காணிப்பு உரையாடலின் அதே வேகத்தில் நடக்க வேண்டும்.

இங்குதான் பொருளாதாரம் கடிக்கிறது. ஒரு கண்டறிவி துல்லியமாக இருக்க வேண்டும், அது ஒவ்வொரு செய்தியிலும் இயங்குவதால் மலிவாகவும் இருக்க வேண்டும். இவற்றில் ஏதாவது ஒரு பண்பை மட்டும் பெறுவது எளிது: அலட்சியமான கண்டறிவி மலிவானது, ஒவ்வொரு செய்தியிலும் இயக்க மிகவும் விலையுயர்ந்த கவனமான கண்டறிவி போக்குவரத்தின் ஒரு மாதிரியை மட்டுமே கண்காணிக்கிறது. சுவாரசியமான பொறியியல் கேள்வி என்னவென்றால், எந்த வடிவிலான கண்டறிவி இரண்டாகவும் இருக்க முடியும் என்பதே.

இந்தக் கட்டுரையின் பின்னணியில் உள்ள ஆய்வுக்கட்டுரையின்படி, தற்போதைய பதிலில் ஒரு கட்டமைப்புக் குறைபாடு உள்ளது. அலைன்மென்ட் தோல்விகளின் பெரும்பாலான கண்டறிவிகள் ஒவ்வொரு அளவுகோலுக்கும் ஒரு குறியாக்க நீக்க (டிகோடிங்) ஓட்டத்தைச் செலவிடும் உருவாக்க நடுவர்கள். எளிமையாகச் சொன்னால், தற்போதைய கண்டறிவிகள் தாம் சரிபார்க்கும் ஒவ்வொரு அளவுகோலுக்கும் ஒரு டிகோடிங் ஓட்டத்துக்கான விலையைச் செலுத்துகின்றன. பத்து வெவ்வேறு தோல்வி வகைகளைச் சரிபார்க்க விரும்பும் ஒரு கண்காணிப்பான் பத்து ஓட்டங்களுக்குச் செலுத்துகிறது, நீங்கள் அக்கறை கொள்ளும் விஷயங்களின் எண்ணிக்கையுடன் கட்டணம் நேர்கோட்டில் வளர்கிறது.

ஒரு பகுதித் தீர்வு உண்டு, அதன் வரம்புகளைப் பற்றித் துல்லியமாக இருப்பது அவசியம். டோக்கன் நிகழ்தகவுகளைப் படிக்கும் வகைப்படுத்திகள், எடுத்துக்காட்டாக Llama Guard, இன்னும் ஒவ்வொரு அழைப்பிலும் ஒரு நிலையான லேபிளையே மதிப்பிடுகின்றன. டோக்கன் நிகழ்தகவுகளைப் படிப்பது ஒரு மதிப்பெண்ணைத் தருகிறது, ஆனால் ஒவ்வொரு அழைப்பும் இன்னும் ஒரே ஒரு லேபிளை அல்லது அளவுகோலையே மதிப்பிடுகிறது, ஏனெனில் நிகழ்தகவு ஒரே ஒரு தீர்ப்பு-டோக்கனிலிருந்து படிக்கப்படுகிறது. டிகோடிங் ஓட்டம் போய்விட்டது, ஆனாலும் ஒரு-அழைப்புக்கு-ஒரு-கேள்வி என்ற கட்டமைப்பு அப்படியே உள்ளது. ஒவ்வொரு அழைப்பையும் மலிவாக்கினீர்கள், ஆனால் தேவைப்படும் அழைப்புகளின் எண்ணிக்கையை மாற்றவில்லை.

எனவே கட்டமைப்புக் கூற்று இவ்வாறு அமைகிறது: உருவாக்க நடுவர்கள் ஒவ்வொரு அளவுகோலுக்கும் விலை அதிகம், நிகழ்தகவு படிக்கும் வகைப்படுத்திகள் ஒவ்வொரு அளவுகோலுக்கும் மலிவானவை ஆனால் இன்னும் ஒவ்வொன்றும் ஒரு அளவுகோலுக்குக் கட்டுப்பட்டவை. இவற்றில் எதுவும் ஒரே உள்ளீட்டைப் பற்றிப் பல கேள்விகளை ஒரே நேரத்தில் கேட்க உங்களை அனுமதிப்பதில்லை.

Jev வேறுபட்டு என்ன செய்கிறது #

Jev அளவுத்திருத்தப்பட்ட முடிவுகளுக்கான வலுவூட்டல் கற்றல் (RLCD) மூலம் பயிற்றுவிக்கப்பட்டது. அது ஒரு உள்ளீட்டைப் பற்றிய பல வகைப்படுத்தப்பட்ட கேள்விகளுக்கு ஒரே அழைப்பில் அளவுத்திருத்தப்பட்ட நிகழ்தகவுகளுடன் பதிலளிக்கிறது. இந்தப் பொறிமுறையைக் கவனமாகச் சொல்வது அவசியம், ஏனெனில் கட்டுரையின் மீதியும் அதையே சார்ந்துள்ளது.

RLCD மாதிரி உரையை உருவாக்குவதற்குப் பதிலாக, ஒவ்வொரு வகைப்படுத்தப்பட்ட கேள்விக்கும் அளவுத்திருத்தப்பட்ட நிகழ்தகவுடன் ஒரு முடிவைத் திருப்பித் தருகிறது. ஒரு தீர்ப்பு எழுதப்பட்டுப் பின்னர் பகுப்பாய்வு செய்யப்படும் உருவாக்கப் படி எதுவும் இல்லை. ஆய்வுக்கட்டுரை நிலை (state) என்று அழைக்கும் ஒரு உள்ளீட்டைப் பற்றிய பல இரும, வகைசார், வரிசைசார் கேள்விகளுக்கு Jev ஒரே அழைப்பில் பதிலளிக்கிறது. நிலை என்பது உள்ளீடு; கேள்விகள் என்பவை அதைப் பற்றி நீங்கள் கேட்பவை.

இது மேலே உள்ள இரண்டு அணுகுமுறைகளிலிருந்தும் வேறுபட்ட செலவு வளைவு. கேள்விகள் ஒரே அழைப்பைப் பகிர்ந்துகொண்டால், இன்னொரு கேள்வியைச் சேர்ப்பது இன்னொரு டிகோடிங் ஓட்டத்தைச் சேர்க்காது. ஒரே நேரத்தில் பல தோல்வி வகைகளைப் பற்றி அக்கறை கொள்ளும் கண்காணிப்பானுக்கு இதன் பலன் வெளிப்படையானது, இருப்பினும் ஆய்வுக்கட்டுரையின் அளவீடுகள் ஒரு தனிப் பொதுக் கேள்வி என்ன சாதிக்கிறது என்பதைப் பற்றியவை, அளக்கப்பட்டதையே நான் பற்றிக்கொள்வேன்.

ஆனாலும் ஒரு இடைவெளி இருந்தது. Jev அலைன்மென்ட் தோல்விகளைக் கண்டறிகிறதா என்பது அளக்கப்படவில்லை. வகைப்படுத்தப்பட்ட கேள்விகளுக்கு அளவுத்திருத்தப்பட்ட நிகழ்தகவுகளுடன் பதிலளிக்கும் மாதிரி இந்த வேலைக்குப் பொருத்தமாகத் தோன்றுகிறது, பொருத்தமாகத் தோன்றுவது மலிவானது. விடுபட்ட அந்த அளவீட்டை வழங்கவே ஆய்வுக்கட்டுரை புறப்படுகிறது.

அலைன்மென்ட் தோல்விகள் தோன்றுவதை விடக் கடினமானவை ஏன் #

அளவீட்டுக்கு முன் ஒரு சிக்கல். இவற்றில் பல தோல்விகள் உறவுசார்ந்தவை, அதாவது பதிலை மட்டும் வைத்து வெளிப்படாத ஒரு குறிப்பைச் சார்ந்து வரையறுக்கப்படுபவை. முகஸ்துதி இந்தப் பொதுக் கருத்துக்கு நல்ல எடுத்துக்காட்டு: ஒரு பதில் பயனரின் தவறான நம்பிக்கைக்குப் பணிகிறதா என்பது அந்த நம்பிக்கை என்ன, அது தவறா என்பதைச் சார்ந்தது, இவ்விரு உண்மைகளில் எதுவும் பதிலின் உரையில் மட்டும் தெரிவதில்லை.

கண்டறிவி வடிவமைப்பில் இதற்கு ஒரு விளைவு உண்டு, அதை ஆய்வுக்கட்டுரை தகுந்த எச்சரிக்கையுடன் கூறுகிறது. பதிலை மட்டும் பார்க்கும் கண்டறிவியிடம் தோல்வியை வரையறுக்கும் குறிப்பு இல்லாமல் போகலாம். “போகலாம்” என்ற சொல் முக்கியம்; ஒவ்வொரு தோல்விக்கும் குறிப்பு தேவை என்பது கூற்று அல்ல, சிலவற்றுக்குத் தேவை, பதில்-மட்டும் பார்வை அதைத் தவறவிடலாம் என்பதே.

இது நோயறிதலையும் சிக்கலாக்குகிறது. தோல்விகள் உறவுசார்ந்தவை என்றால், மோசமான கண்டறிதல் கேள்வியிலிருந்தும் வரலாம், குறிப்பு இல்லாத நிலையிலிருந்தும் வரலாம். இரண்டு விஷயங்கள் தவறாக இருக்கலாம், குறைந்த மதிப்பெண் எது என்று சொல்வதில்லை. ஒருவேளை கேள்வியின் சொல்லமைப்பு மோசமாக இருந்திருக்கலாம். ஒருவேளை கேள்வி சரியாக இருந்து, பதிலளிக்கத் தேவையானது உள்ளீட்டில் இருக்கவே இல்லாமல் இருந்திருக்கலாம். ஒரு கண்டறிவியைப் பற்றிப் பயனுள்ள எதையாவது சொல்ல விரும்பும் அளவுகோல், இந்த இரண்டு காரணங்களையும் பிரித்தறியும் வகையில் கட்டப்பட வேண்டும்.

உருவாக்குநர், தன் பங்குக்கு, மறைமுகப் பொருளையும் எதிர்நிலை (அட்வர்சேரியல்) உள்ளடக்கத்தையும் Jev இன் அறியப்பட்ட பலவீனங்களில் பட்டியலிடுகிறார். பின்னர் முடிவுகளைப் படிக்கும்போது இதை நினைவில் கொள்வது நல்லது, ஏனெனில் சில தோல்வி வகைகள் சரியாக அந்தப் பண்புகளையே சார்ந்துள்ளன.

கண்டறிதலை வகைப்பாடாகக் கருதுதல் #

ஆய்வுக்கட்டுரையின் முறையான அமைப்பு எளிமையானது. அது அலைன்மென்ட் தோல்வி கண்டறிதலை ஓர் இலக்கு மாதிரியின் ஊடாடல்கள் மீதான இரும வகைப்பாடாகக் கருதுகிறது. ஒரு கண்டறிவி s(x) ∈ [0, 1] என்ற மதிப்பெண்ணை வழங்கி, s(x) ≥ t ஆகும்போது x ஐக் குறிக்கிறது. அதாவது அது தோல்விகளைத் தோல்வியல்லாதவற்றுக்கு மேலே தரவரிசைப்படுத்தவும் வேண்டும், வரம்பு t இல் அவற்றைப் பிரிக்கவும் வேண்டும்.

இந்த இரண்டு கடமைகளையும் பிரிக்க முடியும், ஆய்வுக்கட்டுரையின் முடிவுகள் சரியாக இந்தத் தையல் வழியே பிரிகின்றன. தரவரிசையை அளப்பது AUROC. வரம்பில் பிரிப்பது அளவுத்திருத்தத்தைச் சார்ந்தது, கட்டுரை அதற்குத் திரும்பும், ஏனெனில் Jev தடுமாறுவது அங்குதான். ஒரு கண்டறிவி சிறப்பாகத் தரவரிசைப்படுத்தியும், அதன் நிகழ்தகவுகள் தவறான இடத்தில் அமர்ந்திருந்தால், t=0.5 இல் பயனற்றதாகலாம்.

RLCDAlignBench #

அளவுகோலின் பெயர் RLCDAlignBench. இது 44 அளவுகோல்கள், 7,193 கண்டறிதல் நிகழ்வுகளில் பத்து தோல்வி வகைகளை உள்ளடக்குகிறது. நிகழ்வுகள் ஐந்து திறந்த 2–7B இலக்கு மாதிரிகளிலிருந்து வருகின்றன, ஒவ்வொன்றும் அதன் அளவுகோலின் குறிப்பு மதிப்பீட்டாளரால் லேபிளிடப்பட்டது. எனவே மதிப்பிடப்படும் ஊடாடல்கள் சிறிய திறந்த மாதிரிகளிலிருந்து வருகின்றன, ஒவ்வொன்றின் அடிப்படை உண்மையும் மூல அளவுகோலின் சொந்த மதிப்பீட்டாளர் சொல்வதே.

ஒவ்வொரு அளவுகோலும் ஒரே வகையான லேபிளைக் கொண்டிருக்கவில்லை. Jev ஐ ஒரு நடுவருடன் ஒப்பிட, StrongREJECT, HarmBench ஆகியவற்றில் மனித லேபிள்களும், AbstentionBench, InstrumentalEval ஆகியவற்றில் இரண்டாம் நடுவரின் லேபிள்களும் பயன்படுத்தப்படுகின்றன. இது குறிப்பு மதிப்பீட்டாளர்கள் மீது ஆய்வுக்கட்டுரைக்கு இரண்டு வகை வெளிப்புறச் சரிபார்ப்பைத் தருகிறது: சில இடங்களில் மனிதர்கள், மற்றவற்றில் இரண்டாம் நடுவர்.

வெளியிடப்பட்ட பொருள் இவ்வாறு விவரிக்கப்படுகிறது: சூழல் மாறுபாடுகளுடன் பத்து தோல்வி வகைகளில் 44 அளவுகோல்கள், சேமிக்கப்பட்ட Jev பதில்கள், மறுமதிப்பீட்டு ஸ்கிரிப்டுகள், கூடவே அறிவிக்கப்பட்ட ஆதாயங்களிலிருந்து தேர்வுசார் மிகைப்படுத்தலை நீக்கும் பாதி-பிரிப்பு நெறிமுறை. ஒவ்வொரு கூறும் ஒரு நடைமுறைத் தேவையை நிறைவேற்றுகிறது. நிலையில் அதிகம் இருந்தால் என்ன நடக்கும் என்று கேட்க வாசகருக்குச் சூழல் மாறுபாடுகள் உதவுகின்றன. சேமிக்கப்பட்ட பதில்களும் மறுமதிப்பீட்டு ஸ்கிரிப்டுகளும் மாதிரியை மீண்டும் இயக்காமலேயே ஒரு எண்ணை மீளுருவாக்க உதவுகின்றன. பாதி-பிரிப்பு நெறிமுறை ஒரு முறையியல் பொறியைக் கையாள்கிறது, அதற்குத் தனிப் பகுதி தகும்.

தேர்வுப் பொறி #

ஒரே உள்ளீட்டைப் பற்றி Jev இடம் பல கேள்விகள் கேட்கலாம். அதுவே அதன் சிறப்பு, மதிப்பீட்டுக்கு அதுவே ஓர் அபாயமும் கூட. வேட்பாளர் கேள்விகளின் தொகுப்பை முன்வைத்து, எது சிறந்த மதிப்பெண் பெறுகிறதோ அதை அறிவித்தால், நீங்கள் கேள்விகளின் மீது ஒரு தேடலை நடத்தி வெற்றியாளரை அறிவித்திருக்கிறீர்கள். ஆய்வுக்கட்டுரை இதை நேரடியாகச் சொல்கிறது: அவற்றில் சிறந்ததை அறிவிப்பது ஒரு நடைமுறையாளர் உண்மையில் பெறுவதை மிகைப்படுத்தும்.

ஒரு சோதனைத் தொகுப்புக்கு எதிராகத் தூண்டலைச் சீர்செய்த எவரும் இதை அடையாளம் காண்பார். இங்கே பயன்படுத்தப்பட்ட தீர்வு எளிமையானது. கேள்விகள் உருப்படிகளின் ஒரு பாதியில் தேர்ந்தெடுக்கப்பட்டு மற்றப் பாதியில் மதிப்பிடப்படுகின்றன. இலக்கிட்ட கேள்வி உருப்படிகளின் ஒரு பாதியில் தேர்ந்தெடுக்கப்பட்டு மற்றப் பாதியில் மதிப்பிடப்படுகிறது, 20 பிரிப்புகளின் மீது. அறிவிக்கப்படும் எண்ணை உருவாக்கும் உருப்படிகளைத் தேர்வு ஒருபோதும் தொடுவதில்லை.

கீழே அறிவிக்கப்படும் ஒவ்வொரு ஆதாயத்தையும் எப்படிப் படிப்பது என்பதற்கு இது முக்கியம். பாதி-பிரிப்பு நெறிமுறை அறிவிக்கப்பட்ட ஆதாயங்களிலிருந்து தேர்வுசார் மிகைப்படுத்தலை நீக்குகிறது என்பது ஆய்வுக்கட்டுரையின் கூற்று. இலக்கிட்ட சொல்லமைப்பு +0.006 AUROC இடைநிலை ஆதாயம் தருகிறது என்று ஆய்வுக்கட்டுரை சொல்லும்போது, அந்த எண் தனித்தனிப் பாதிகளில் தேர்ந்தெடுக்கப்பட்டு மதிப்பிடப்பட்ட சொல்லமைப்பிலிருந்து வருகிறது. நேர்மையாக அளக்கப்பட்ட இவ்வளவு சிறிய எண், வெற்றியாளரின் சாபத்தை அமைதியாக உள்ளடக்கிய பெரிய எண்ணை விடப் பயனுள்ளது.

தலைப்புச் செய்தி: ஒரு பொதுக் கேள்வி #

இப்போது பெரும்பாலான வாசகர்கள் விரும்பும் முடிவு. ஒரு தனிப் பொதுக் கேள்வி பூஜ்ய-ஷாட்டில் 0.886 இடைநிலை AUROC ஐ எட்டுகிறது, பெரும்பாலான அளவுகோல்களில் மேற்பார்வைப் பயிற்சி பெற்ற அடிப்படைகளை வெல்கிறது.

சொற்களை ஒவ்வொன்றாக எடுத்துக்கொள்வோம். “தனிப் பொதுக் கேள்வி” என்றால் ஒவ்வொரு அளவுகோலுக்கும் தூண்டலின் எந்தப் பொறியியலும் இல்லை. “பூஜ்ய-ஷாட்” என்றால் இலக்கு அளவுகோலில் எந்தப் பயிற்சியும் இல்லை. “பெரும்பாலான அளவுகோல்களில் மேற்பார்வைப் பயிற்சி பெற்ற அடிப்படைகளை வெல்கிறது” என்றால், பணியின் லேபிளிட்ட தரவில் பயிற்றுவிக்கப்பட்ட அமைப்புகள், ஆராயப்பட்ட பெரும்பாலான அளவுகோல்களில் யாரும் சீர்செய்யாத ஒரு கேள்வியிடம் தோற்கின்றன. கூற்று “பெரும்பாலான” என்பதில் நிற்கிறது, இந்தக் கட்டுரையும் அங்கேயே நிற்கும்.

பொதுக் கேள்வி P(yes) ஆகப் படிக்கப்படும் ஒரு வார்ப்புருக் கேள்வி. அந்த எண் 38 பயன்படுத்தக்கூடிய அளவுகோல்களின் AUROC ஐக் காட்டுகிறது, பொதுக் கேள்வி 7 அளவுகோல்களில் கேட்கப்படவில்லை. எனவே தலைப்பு எண் பொதுக் கேள்வி பொருந்திய அளவுகோல்களின் இடைநிலை, அவை 38 பயன்படுத்தக்கூடியவற்றிலிருந்து எடுக்கப்பட்டவை. கவனமான வாசகர்கள் பகுதிகளைத் தெளிவாக வைத்திருக்க வேண்டும்: மொத்தம் 44 அளவுகோல்கள் உள்ளன, இந்த எண்ணுக்கு 38 பயன்படுத்தக்கூடியவை, பொதுக் கேள்விக்கு 7 இடைவெளி உள்ளது.

பூஜ்ய-ஷாட் முடிவே வாக்கியத்தின் அதிகச் சுவாரசியமான பாதி என்பது என் வாதம். மேற்பார்வை அடிப்படைகளை வெல்வது ஒப்பீட்டு நிலையைப் பற்றிய கூற்று. எந்தப் பணிசார் பயிற்சியும் இல்லாமல் 0.886 இடைநிலை AUROC, நிலையைப் படித்து ஒரு எளிய கேள்விக்குப் பதிலளிக்கும் மாதிரிக்குத் தோல்விச் சமிக்ஞையில் எவ்வளவு கிடைக்கிறது என்பதைப் பற்றி ஏதோ சொல்கிறது. இது இந்தப் பத்துக்கு வெளியே உள்ள தோல்வி வகைகளுக்கும் பொருந்துமா என்பதைக் கூற்றுகள் கூறவில்லை.

சொல்லமைப்பு ஏறக்குறைய பொருட்டல்ல #

நீங்கள் தூண்டல் பொறியியலில் நேரம் செலவிட்டிருந்தால், அடுத்த முடிவு உறுத்தும். கேள்வியின் சொல்லமைப்பு சிறிதளவே முக்கியம், சூழல் அதிகம் முக்கியம், பெரும்பாலும் லேபிளைக் குறியாக்கும் புலங்கள் வழியாக.

ஏன் என்பதற்கான ஆய்வுக்கட்டுரையின் விளக்கம் குறிப்பானது. பதில்கள் argmax முடிவுகளாக அல்லாமல் நிகழ்தகவுகளாக வைக்கப்பட்டவுடன், கேள்வியின் சொல்லமைப்பு சிறிதளவே முக்கியமாகிறது, நிலையிலும் லேபிளிலும் என்ன இருக்கிறது என்பது மிக முக்கியமாகிறது. இது தகவலைப் பற்றிய ஓர் அவதானிப்பு. ஒரு பதில் இன்னொன்றை எந்த இடைவெளியில் வென்றது என்பதை argmax முடிவு தூக்கி எறிகிறது, சொல்லமைப்பில் ஒரு மாற்றம் முடிவை எல்லைக்கு அப்பால் புரட்டிவிடலாம். நிகழ்தகவு அந்த இடைவெளியை வைத்துக்கொள்கிறது, எனவே சான்றைச் சற்றே நகர்த்தும் மறுசொல்லமைப்பு நிகழ்தகவையும் சற்றே நகர்த்துகிறது, தரவரிசையைப் பெரும்பாலும் அப்படியே விடுகிறது.

ஆய்வுக்கட்டுரை சொல்வதற்குள்ளேயே இதை வைத்திருப்பேன்: நிகழ்தகவுகள் வைக்கப்படும்போது சொல்லமைப்பு சிறிதளவே முக்கியம். ஏன் என்பதற்கான இயக்கவியல் விளக்கம் வரை இதை நீட்டமாட்டேன், ஏனெனில் கூற்றுகள் அப்படி எதையும் வழங்கவில்லை.

எண்கள் இந்தக் கூற்றை ஆதரிக்கின்றன. இலக்கிட்ட சொல்லமைப்பு +0.006 AUROC இடைநிலை ஆதாயம் தருகிறது, சொல்லமைப்பு தனித்தனிப் பாதிகளில் தேர்ந்தெடுக்கப்பட்டு மதிப்பிடப்பட்டது. மாதிரிக்கு வெளியே, இலக்கிட்ட சொல்லமைப்பு +0.006 [−0.004, +0.015] AUROC சேர்க்கிறது. இந்த இடைவெளி பூஜ்யத்தைத் தாண்டுகிறது. வாசகர் +0.006 ஐ நம்பகமான முன்னேற்றமாகக் கருதக்கூடாது; இந்த இடைவெளி சிறிய ஆதாயத்தை அனுமதிப்பது போலவே சிறிய இழப்பையும் அனுமதிக்கிறது. ஒரு நடைமுறையாளருக்குப் பயனுள்ள வாசிப்பு என்னவென்றால், இன்னும் சாமர்த்தியமான சொல்லமைப்பைத் தேடும் உழைப்பு பலனளிப்பது அரிது, குறைந்தது இந்த அளவுகோல்களில்.

இது குழுக்கள் தம் நேரத்தை ஒதுக்கும் விதத்தை மாற்ற வேண்டும். சொல்லமைப்பு ஏறக்குறைய விளைவற்றது என்றால், அதற்குச் செலவிடும் மணிநேரங்களை நிலையில் செலவிடுவது மேல்.

ஆதாயங்கள் வாழும் இடம் சூழல் #

அப்படியானால் நிலையில் என்ன இருக்கிறது, அதில் என்ன இருக்க வேண்டும்? சூழல் அதிகம் முக்கியம், பெரும்பாலும் லேபிளைக் குறியாக்கும் புலங்கள் வழியாக என்பதே ஆய்வுக்கட்டுரையின் கண்டுபிடிப்பு. ஆய்வின் வடிவமைப்புக்குப் பின்னால் உள்ள முக்கியக் கருத்து, Jev இடம் என்ன கேட்கப்படுகிறது என்பதை அது என்ன பார்க்கிறது என்பதிலிருந்து தனியாக மாற்றுவது: ஒரு பக்கம் கேள்வியின் சொல்லமைப்பும் பதில் வகையும், மறுபக்கம் உள்ளீட்டின் புலங்கள். சொல்லமைப்பு சிறிதளவே முக்கியம், சூழல் அதிகம் முக்கியம் என்று ஆய்வுக்கட்டுரை சொல்ல இந்தப் பிரிப்பே உதவுகிறது. இது இல்லாவிட்டால் இரண்டு விளைவுகளும் சிக்கிப் பிணைந்திருக்கும்.

தலைப்பு எடுத்துக்காட்டு PrivacyLens. லேபிளை வரையறுக்கும் குறிப்புகளே பெரிய ஆதாயங்களைத் தருகின்றன, எடுத்துக்காட்டாக PrivacyLens இன் இரகசியப் பொருள்களின் பட்டியல் (0.79→0.95). AUROC 0.79 இலிருந்து 0.95 க்கு நகர்வது சொல்லமைப்பின் +0.006 உடன் ஒப்பிடுகையில் பெரியது. இங்குள்ள குறிப்பு இரகசியப் பொருள்களின் பட்டியல், உறவுசார் தோல்விகள் பற்றிய முந்தைய விவாதம் முக்கியமாகும் என்று முன்கணிக்கும் சரியான வகைப் பொருள் இதுவே: ஒரு பதில் தனிப்பட்ட எதையாவது கசியவிடுகிறதா என்பது எது தனிப்பட்டதாகக் கருதப்படுகிறது என்பதைச் சார்ந்தது, பதில் மட்டும் அதைச் சொல்வதில்லை.

பயன்பாட்டுக்கு ஒரு எச்சரிக்கை உண்டு, அது முக்கியமானது. பயன்பாட்டில் உள்ள கண்காணிப்பான் வைத்திருக்கும் சூழல் 7 இல் 1 அளவுகோலில் உதவுகிறது. பெரிய ஆதாயங்கள் லேபிளை வரையறுக்கும் குறிப்புகளிலிருந்து வருகின்றன, ஆனால் பயன்பாட்டில் உள்ள கண்காணிப்பானிடம் அவை கட்டாயம் இருக்கும் என்பதில்லை. ஒரு கண்காணிப்பான் யதார்த்தமாக வைத்திருப்பது ஏழில் ஒரு அளவுகோலில் மட்டுமே உதவுகிறது.

இது ஒரு நிதானமான கண்டுபிடிப்பு, ஆய்வுக்கட்டுரையில் வணிகரீதியாக மிகப் பொருத்தமான வாக்கியம் இதுவே என்று நினைக்கிறேன். இது ஆய்வக எண்ணைக் களத்தின் எண்ணிலிருந்து பிரிக்கிறது. லேபிளை வரையறுக்கும் குறிப்பைக் கையில் வைத்து மதிப்பிடப்பட்ட கண்டறிவி, பயன்பாட்டில் உள்ள கண்காணிப்பான் எதிர்கொள்ளும் கேள்வியை விட எளிதான கேள்விக்குப் பதிலளிக்கிறது. ஆதாயங்கள் உண்மையானவை, ஆனால் அவற்றில் எவற்றைப் பயன்பாடு நம்பலாம் என்பதை ஆய்வுக்கட்டுரை தெளிவாகச் சொல்கிறது.

ஆய்வுக்கட்டுரை ஓர் அளவுகோலின் வரம்பையும் சுட்டுகிறது. Open-Prompt-Injection இல் லேபிள் உட்செலுத்தப்பட்ட பணியின் துல்லியத்தைப் பின்தொடர்கிறது. பணியின் ஒரு பண்புடன் பொருள் பிணைக்கப்பட்ட லேபிளுக்கு இது ஓர் எடுத்துக்காட்டு, ஒரு கண்டறிவி நிலையிலிருந்து எதைப் பார்க்கும் என்று எதிர்பார்க்கலாம் என்பதில் இது தாக்கம் செலுத்துகிறது. இதிலிருந்து மேலும் முடிவுகளை எடுப்பதை நான் தவிர்ப்பேன், ஏனெனில் கூற்றுகள் எதையும் வழங்கவில்லை.

செலவு #

இப்போது பொருளாதாரத்தை உறுதியாக்கும் எண். Jev இன் செலவு LLM-நடுவர் மதிப்பீட்டாளர்களை விட 63× குறைவு. குறிப்பான ஒப்பீடு: நடுவர் மதிப்பெண் இட்ட 19 அளவுகோல்களில் ஒரு ஓட்டத்தின் செலவு $0.30, பட்டியல் விலையில் அவற்றின் நடுவர்களை விட 63× குறைவு. செலவு ஒப்பீடு பட்டியல் விலையில் 19 API-நடுவர் அளவுகோல்களின் ஒரு ஓட்டத்தை உள்ளடக்குகிறது.

வரம்பைப் பற்றிக் கவனமாக இருங்கள். ஒப்பீடு API நடுவர்களைப் பயன்படுத்தும் 19 அளவுகோல்களுக்கானது, பட்டியல் விலையில், ஒரே ஓட்டத்துக்கு. அது தொகுப்பின் ஒவ்வொரு அளவுகோலையும் உள்ளடக்கவில்லை, தள்ளுபடி விலையையும் உள்ளடக்கவில்லை. இந்த வரம்புக்குள் விகிதம் பெரியது, அது முன்பு விவரித்த கட்டமைப்பிலிருந்தே பிறக்கிறது: ஒவ்வொரு அளவுகோலுக்கும் டிகோடிங் ஓட்டம் இல்லை.

தொடக்கத் தேவையை நினைவுகூருங்கள், ஒவ்வொரு செய்தியிலும் இயங்கும் கண்டறிவி மலிவாக இருக்க வேண்டும். 19 அளவுகோல்களின் முழு ஓட்டத்துக்கு $0.30 என்ற எண்ணே இந்த ஆய்வுக்கட்டுரையில் “மலிவு” என்பதன் வடிவம். ஆய்வுக்கட்டுரை இதை ஒரு செய்திக்கான விலையாக மாற்றவில்லை, நானும் மாற்றமாட்டேன்.

மனிதர்களுடனான உடன்பாடு, கருத்து வேறுபாடு வெளிப்படுத்தியது #

கண்டறிவி சரியாகவும் இருந்தால்தான் மலிவு சுவாரசியமானது. மனித லேபிள்கள் சரிபார்ப்பை அனுமதிக்கும் இடங்களில், Jev அவற்றுடன் நடுவர் அளவுக்கே உடன்படுகிறது, செலவின் ஒரு சிறு பகுதியில்.

மிகக் குறிப்பான சான்று StrongREJECT இலிருந்து வருகிறது. அங்குள்ள மனித லேபிள்களுக்கு எதிராக, பொதுக் கேள்வி குறிப்பு மதிப்பீட்டாளர் அளவுக்கே உடன்படுகிறது (Cohen's κ 0.809 எதிர் 0.811), மேலும் சிறப்பாகத் தரவரிசைப்படுத்துகிறது. இரண்டு κ மதிப்புகளும் 0.002 இல் வேறுபடுகின்றன, எனவே விவேகமான வாசிப்பு உடன்பாட்டில் சமநிலை, தரவரிசையில் Jev முன்னணி.

பின்னர் நடைமுறையில் எனக்கு மிகவும் பயனுள்ளதாகத் தோன்றும் ஒரு முடிவு வருகிறது, ஏனெனில் அது கண்டறிவியைத் தணிக்கைக் கருவியாக மாற்றுகிறது. Jev இன் உறுதியான கருத்து வேறுபாடுகள் மூன்று அளவுகோல்களில் லேபிளை மாற்றும் குறைபாடுகளையும், மேலும் நான்கில் நிலை வெளிப்படுத்த முடியாத லேபிள்களையும் வெளிச்சத்துக்குக் கொண்டுவந்தன. உறுதியான ஒரு கண்டறிவி ஓர் அளவுகோலின் குறிப்பு லேபிளுடன் முரண்படும்போது, ஒரு விளக்கம் கண்டறிவி தவறு என்பது. சில நிகழ்வுகளில் கருத்து வேறுபாடு அளவுகோலையே சுட்டியது என்று ஆய்வுக்கட்டுரை தெரிவிக்கிறது: மூன்று அளவுகோல்களில் லேபிளை மாற்றும் குறைபாடுகள் இருந்தன, மேலும் நான்கில் நிலை வெளிப்படுத்த முடியாத லேபிள்கள் இருந்தன.

இரண்டாவது வகை உறவுசார் கருத்துக்குத் திரும்ப இணைகிறது. நிலை வெளிப்படுத்த முடியாத லேபிள் என்பது உள்ளீட்டுக்குள் ஒருபோதும் வராத ஒன்றால் வரையறுக்கப்பட்ட லேபிள். அந்த நிலையைப் படிக்கும் எந்தக் கண்டறிவியும் அதை மீட்க முடியாது. அத்தகைய நிகழ்வுகளைக் கண்டறிவது மதிப்பெண்ணை உயர்த்துவதிலிருந்து வேறுபட்ட பங்களிப்பு, ஏனெனில் அளவுகோல் பராமரிப்பாளர்களுக்கு அவர்களின் தரவும் லேபிள்களும் எங்கே பிரிகின்றன என்பதை அது சொல்கிறது.

பலவீனமான புள்ளி: அளவுத்திருத்தம் #

இங்கே கட்டுரை நேரடியாகப் பேச வேண்டும், ஏனெனில் ஆய்வுக்கட்டுரையும் அப்படியே. நிகழ்தகவுகள் நன்றாகத் தரவரிசைப்படுத்துகின்றன, ஆனால் வரம்புகளாக இடம்பெயர்வதில்லை: இடைநிலை ECE 0.168, அடிப்படை ஒப்பீட்டு மாதிரியின் 0.074 க்கு எதிராக, சரிபார்க்கப்பட்ட லேபிள்களிலும் நடுவர் லேபிள்களிலும் ஒரே மாதிரி, ஏனெனில் Jev இன் சராசரி நிகழ்தகவு ஒவ்வொரு அளவுகோலின் அடிப்படை விகிதத்தைத் தவறவிடுகிறது.

துண்டுகள் இப்படிப் பொருந்துகின்றன. AUROC தரவரிசையை அளக்கிறது, தரவரிசை வலுவானது. வரம்பு என்பது வேறு விஷயம். மாதிரியின் சராசரி வெளியீட்டு நிகழ்தகவு ஓர் அளவுகோலில் தோல்விகள் எவ்வளவு அடிக்கடி நிகழ்கின்றன என்பதுடன் பொருந்தாவிட்டால், t=0.5 தவறான இடத்தில் விழுகிறது, எதிர்பார்க்கப்படும் அளவுத்திருத்தப் பிழை அதிகமாகிறது. 0.168 இடைநிலை ECE, 0.074 அடிப்படை ஒப்பீட்டு மாதிரிக்கு மேலே உள்ளது, இது ஆய்வுக்கட்டுரை தேர்ந்தெடுத்த குறிப்புப் புள்ளியை விட மோசமான செயல்பாடு. இது சரிபார்க்கப்பட்ட, நடுவர் லேபிள்கள் இரண்டிலும் உண்மை, எனவே இந்தப் பலவீனம் இரைச்சலான நடுவர் லேபிள்களின் விளைவு அல்ல.

முறையான அமைப்பை நினைவுகூருங்கள்: ஒரு கண்டறிவி தோல்விகளைத் தோல்வியல்லாதவற்றுக்கு மேலே தரவரிசைப்படுத்தி, வரம்பில் அவற்றைப் பிரிக்க வேண்டும். Jev முதலாவதை நன்றாகச் செய்கிறது, இரண்டாவதை, எந்தச் சீரமைப்பும் இல்லாமல், மோசமாகச் செய்கிறது. நுட்பத்தின் பெயரிலேயே “அளவுத்திருத்தப்பட்ட முடிவுகள்” உள்ளது, இங்கே அளக்கப்பட்ட அளவுத்திருத்தம் அளவுகோல்களைக் கடந்து நிலைப்பதில்லை, இது வெளிப்படையாகச் சொல்ல வேண்டிய ஒரு முரண். ஆய்வுக்கட்டுரை இந்த இடைவெளிக்கு அடிப்படை விகிதங்களைக் காரணமாகக் காட்டுகிறது, அதற்கு மேல் கூறவில்லை.

நடைமுறை விளைவு: ஒரு நடுவருக்கு மாற்றாக, Jev தன் வரம்பை அமைக்கச் சில லேபிள்கள் தேவை. இது ஓர் உண்மையான செலவு, நேரடி மாற்றீடு என்ற கூற்றை இது சுருக்குகிறது. அதை ஒரு புதிய தோல்வி வகையின் மீது திருப்பி t=0.5 ஐ நம்ப முடியாது.

செய்முறை #

ஆய்வுக்கட்டுரையின் பரிந்துரை சுருக்கமானது. செய்முறை என்பது நிகழ்தகவாகப் படிக்கப்படும் ஒரு பொதுக் கேள்வி, அதன் வரம்பு பத்து லேபிளிட்ட உருப்படிகளில் பொருத்தப்படுகிறது, இது t=0.5 இல் Jev மிக அரிதாகச் செயல்படும் இடங்களில் F1 ஐ உயர்த்துகிறது, சரிபார்க்கப்பட்ட லேபிள்களில் 0.025 விலை கொடுக்கிறது.

இதைப் பிரித்துப் பார்ப்போம். பொதுக் கேள்வி சொல்லமைப்புச் சிக்கலை அதைப் பொறியியல் செய்ய மறுப்பதன் மூலம் கையாள்கிறது, இது சொல்லமைப்பு சிறிதளவே முக்கியம் என்ற கண்டுபிடிப்புக்குப் பொருந்துகிறது. பதிலை நிகழ்தகவாகப் படிப்பது இடைவெளியைக் காக்கிறது. பத்து லேபிளிட்ட உருப்படிகளில் வரம்பைப் பொருத்துவது அடிப்படை விகிதத் தவறைக் கையாள்கிறது. t=0.5 இல் Jev மிக அரிதாகச் செயல்படும் இடங்களில் F1 மீதான விளைவு நேர்மறை. சரிபார்க்கப்பட்ட லேபிள்களில் செய்முறையின் விலை 0.025.

அந்தக் கடைசி எண்ணில் நின்று யோசிப்பது தகும். செய்முறை இழப்பற்றது அல்ல: சரிபார்க்கப்பட்ட லேபிள்களில் அதன் விலை 0.025. ஆய்வுக்கட்டுரை இந்தப் பரிமாற்றத்தை மறைக்காமல் தெரிவிக்கிறது, தூய ஆதாயமாக விளம்பரப்படுத்தப்பட்ட செய்முறையை விட, விலை சொல்லப்பட்ட செய்முறையையே மேற்கோள் காட்ட விரும்புவேன். சரிபார்க்கப்பட்ட லேபிள்களின் சூழலுக்கு அப்பால் 0.025 எந்த அளவீட்டில் அளக்கப்பட்டது என்பதைக் கூற்றுகள் சொல்லவில்லை, எனவே நான் ஊகிக்கமாட்டேன்.

பத்து லேபிளிட்ட உருப்படிகள் சிறிய கோரிக்கை. பெரும்பாலான குழுக்களுக்கு இது ஒரு பிற்பகல் குறிப்பீட்டு வேலை, ஒவ்வொரு செய்தியிலும் நடுவரை இயக்கும் செலவுக்கு எதிராக. ஆனால் இது ஒரு முன்நிபந்தனை, ஒரு புதிய தோல்வி வகைக்கு ஒரு லேபிளிட்ட உருப்படியைக் கூட உருவாக்க முடியாத குழு, வரம்பு தானாகச் சரியாகிவிடும் என்று எதிர்பார்க்கக்கூடாது.

ஒரு நடைமுறையாளர் இதிலிருந்து எடுத்துக்கொள்ள வேண்டியது #

பல விஷயங்கள் பின்தொடர்கின்றன, சான்றுகள் அவற்றை ஆதரிப்பதால் அவற்றில் உறுதியாக நிற்பேன்.

முதலாவது, கேள்வியின் சொல்லமைப்பை மேம்படுத்துவதை நிறுத்துங்கள். இலக்கிட்ட சொல்லமைப்பின் மாதிரிக்கு வெளியிலான ஆதாயம் +0.006, அதன் இடைவெளி −0.004 முதல் +0.015 வரை. இது முதலீட்டுக்கான அடிப்படை அல்ல.

இரண்டாவது, உழைப்பை நிலையில் செலவிடுங்கள். பெரிய ஆதாயங்கள் லேபிளை வரையறுக்கும் குறிப்புகளிலிருந்து வந்தன. உங்கள் கண்காணிப்பானுக்குத் தோல்வியை வரையறுக்கும் குறிப்பைக் கொடுக்க முடிந்தால், முன்னேற்றம் அங்கேதான் உள்ளது. முடியாவிட்டால், குறைவாக எதிர்பாருங்கள்: பயன்பாட்டில் உள்ள கண்காணிப்பான் வைத்திருக்கும் சூழல் 7 இல் 1 அளவுகோலில் உதவியது. குறிப்பு உள்ளீட்டிலேயே அமர்ந்திருக்கும் அளவுகோலில் கிடைக்கும் எண்ணைச் சுற்றி அல்ல, பயன்பாட்டில் உங்களுக்குக் கிடைக்கக்கூடிய எண்ணைச் சுற்றித் திட்டமிடுங்கள்.

மூன்றாவது, அளவுத்திருத்தத்துக்கு வரவுசெலவு ஒதுக்குங்கள். ஒவ்வொரு தோல்வி வகைக்கும் பத்து உருப்படிகளை லேபிளிட்டு வரம்பைப் பொருத்தத் திட்டமிடுங்கள். t=0.5 உடன் வெளியிடாதீர்கள்.

நான்காவது, கருத்து வேறுபாட்டைச் சமிக்ஞையாகப் பயன்படுத்துங்கள். குறிப்பு லேபிள்களுடனான உறுதியான கருத்து வேறுபாடுகள் மூன்று அளவுகோல்களில் குறைபாடுகளையும், மேலும் நான்கில் வெளிப்படுத்த முடியாத லேபிள்களையும் வெளிக்கொணர்ந்தன. இதை உங்கள் சொந்த மதிப்பீட்டுத் தொகுப்புகளில் இயக்கினால், அது உங்கள் மாதிரிகளைப் பற்றி மட்டுமல்லாமல் உங்கள் லேபிள்களைப் பற்றியும் சொல்லக்கூடும் என்று எதிர்பாருங்கள். இது ஆய்வுக்கட்டுரையின் கண்டுபிடிப்பிலிருந்து எடுக்கப்பட்ட ஓர் அனுமானம், எந்தக் குறிப்பிட்ட தொகுப்பைப் பற்றிய அளக்கப்பட்ட கூற்றும் அல்ல, எனவே அதைச் சரிபார்ப்பதற்கான அழைப்பாகக் கருதுங்கள்.

ஐந்தாவது, அறியப்பட்ட பலவீனங்களை நினைவில் கொள்ளுங்கள். உருவாக்குநர் மறைமுகப் பொருளையும் எதிர்நிலை உள்ளடக்கத்தையும் Jev இன் அறியப்பட்ட பலவீனங்களில் பட்டியலிடுகிறார். பாதுகாப்புக்கு முக்கியமான கண்காணிப்பான் எதிர்நிலை உள்ளடக்கத்தை எதிர்கொள்ளும். Jev அதில் எப்படிச் செயல்படுகிறது என்பதை இங்குள்ள கூற்றுகள் தெரிவிக்கவில்லை, எனவே அது திறந்த பக்கமாகவே உள்ளது, ஒரு பயன்பாட்டை நம்புவதற்கு முன் அது சோதிக்கப்பட வேண்டும் என்று விரும்புவேன்.

வணிக நோக்கில் முடிவைப் படித்தல் #

நிறுவனர்கள் இது எங்கே பொருந்துகிறது என்று அறிய விரும்புவார்கள். செலவு வாதமே வலுவானது: ஒவ்வொரு செய்தியிலும் இயங்கும் கண்டறிவி மலிவாக இருக்க வேண்டும், LLM-நடுவர் மதிப்பீட்டாளர்களுடன் ஒப்பிடுகையில் 63× குறைப்பு எந்தப் பயன்பாடுகள் கட்டுப்படியாகும் என்பதை மாற்றுகிறது. துல்லிய வாதம் இரண்டாவது: 0.886 பூஜ்ய-ஷாட் AUROC, பெரும்பாலான அளவுகோல்களில் மேற்பார்வை அடிப்படைகள் மீது வெற்றி.

எச்சரிக்கைகளே நேர்மையாக எதை விற்க முடியும் என்பதை வடிவமைக்கின்றன. கண்டறிவிக்கு ஒவ்வொரு வரம்புக்கும் சில லேபிள்கள் தேவை. அதன் அளவுத்திருத்தம் இடம்பெயர்வதில்லை. அதன் சிறந்த ஆதாயங்கள் ஒரு பயன்பாட்டிடம் இல்லாமல் போகக்கூடிய குறிப்புகளைச் சார்ந்துள்ளன. இவை பயன்பாட்டு நிபந்தனைகள், இதன் மீது கட்டப்படும் எந்தத் தயாரிப்பும் இவற்றைப் புதைப்பதற்குப் பதிலாகக் கூற வேண்டும். இவற்றில் எதுவும் செலவு வாதத்தைப் பலவீனப்படுத்தவில்லை; அவை அமைப்புப் பணியை விவரிக்கின்றன.

அளவீட்டைப் பற்றியும் ஓர் அமைதியான கருத்து உண்டு. RLCDAlignBench, அதன் சூழல் மாறுபாடுகள், சேமிக்கப்பட்ட Jev பதில்கள், மறுமதிப்பீட்டு ஸ்கிரிப்டுகள், பாதி-பிரிப்பு நெறிமுறை ஆகியவற்றுடன், மீண்டும் பயன்படுத்தக்கூடிய மதிப்பீட்டுச் சொத்து. அறிவிக்கப்பட்ட ஆதாயங்களிலிருந்து தேர்வுசார் மிகைப்படுத்தலை நீக்கும் அளவுகோல், பிந்தைய கூற்றுகளை ஒப்பிட உதவும் வகைப் பொருள். இது கண்டறிவியிலிருந்து வேறுபட்ட மதிப்பு.

திறந்திருப்பவை #

கூற்றுகளிலிருந்து சில எல்லைகள் தெளிவாக உள்ளன. இலக்கு மாதிரிகள் 2–7B அளவுருக்கள் கொண்ட ஐந்து திறந்த மாதிரிகள், எனவே முடிவுகள் அந்த அளவிலான மாதிரிகளின் ஊடாடல்களில் உள்ள தோல்விகளை விவரிக்கின்றன. பொதுக் கேள்வி 7 அளவுகோல்களில் கேட்கப்படவில்லை, தலைப்பு AUROC அது கேட்கப்பட்ட அளவுகோல்களின் இடைநிலை. லேபிள்கள் குறிப்பு மதிப்பீட்டாளர்களுடையவை, மனித, இரண்டாம்-நடுவர் லேபிள்கள் StrongREJECT, HarmBench, AbstentionBench, InstrumentalEval ஆகியவற்றை உள்ளடக்குகின்றன.

என்னை மிகவும் ஈர்க்கும் திறந்த கேள்வி, ஆய்வுக்கட்டுரையின் சொந்தக் கட்டமைப்பே எழுப்புவது. தோல்விகள் உறவுசார்ந்தவை; நிலையில் பெரும்பாலும் குறிப்பு இல்லை; பயன்பாட்டில் உள்ள கண்காணிப்பானின் சூழல் 7 இல் 1 அளவுகோலில் மட்டுமே உதவியது. Jev இன் ஒற்றை-அழைப்பு வடிவமைப்பு பல கேள்விகளை ஒரே உள்ளீட்டைப் பகிர அனுமதிக்கிறது, ஆனாலும் மிகப்பெரிய நெம்புகோல் உள்ளீடு எந்தப் புலங்களைக் கொண்டுள்ளது என்பதாகவே மாறியது. கண்காணிப்பு நேரத்தில் லேபிளை வரையறுக்கும் குறிப்பை, எடுத்துக்காட்டாகத் தனியுரிமைச் சரிபார்ப்புக்கான இரகசியப் பொருள்களின் பட்டியலை, ஒரு பயன்பாடு எப்படிப் பெற வேண்டும் என்பதே அடுத்துத் தீர்க்க வேண்டியது. ஆதாயம் பெறக்கூடியது என்பதை ஆய்வுக்கட்டுரை காட்டுகிறது (PrivacyLens இல் 0.79→0.95), பயன்பாட்டில் உள்ள கண்காணிப்பானுக்கு 63× முன்னிலையைத் தக்கவைக்கும் அளவு மலிவாக அதை வழங்க முடியுமா என்பதைத் திறந்தே விடுகிறது.

துறைவாரியாக இதன் பொருள் #

பின்னப் பகுதி அனுமானச் செலவில் அளவுத்திருத்தப்பட்ட முடிவுத் தலைகள் மூலம் சிக்கலான அலைன்மென்ட் அளவுகோல்களை மதிப்பிடும் திறன், பல களங்களில் செயல்பாட்டுப் பாதுகாப்பை மறுவடிவமைக்கிறது.

AI நுழைவாயில் மற்றும் பாதுகாப்புத் தள வழங்குநர்கள் #

நிகழ்நேரப் பாதுகாப்புக் காப்பரண்களைப் பயன்படுத்தும் உள்கட்டமைப்பு நிறுவனங்கள், செலவுமிக்க அடுக்குக் கட்டமைப்புகளை (தூண்டல்-உட்செலுத்தல், நச்சுத்தன்மை, தனியுரிமை ஆகியவற்றுக்குத் தனித்தனி வகைப்படுத்திகளை அழைத்தல்) ஒருங்கிணைந்த பல-கேள்வி RLCD தலைகளால் மாற்றலாம். செயல்பாட்டுச் செலவுகள் 60× க்கும் மேல் குறைகின்றன, தாமதம் ஒரே முன்னோக்கு ஓட்டத்துக்குள் கட்டுப்படுகிறது.

AI ஆளுகை மற்றும் தணிக்கை இணக்கக் குழுக்கள் #

EU AI Act இன் உயர்-இடர் தேவைகள் அல்லது NIST AI RMF போன்ற தரநிலைகளுக்கு எதிராக மாதிரி நடத்தையை மதிப்பிடும் இடர்க் குழுக்கள் ஒரு தீர்மானமான, நிகழ்தகவுசார் தணிக்கைப் பதிவைப் பெறுகின்றன. கட்டமைப்பற்ற, விவரணை வடிவிலான LLM-நடுவர் கருத்துக்குப் பதிலாக, அமைப்புகள் அளவுத்திருத்தப்பட்ட நிகழ்தகவுப் பரவல்களைப் பதிவுசெய்கின்றன, இவை புள்ளியியல் செயல்முறைக் கட்டுப்பாட்டையும் சறுக்கல் கண்காணிப்பையும் ஆதரிக்கின்றன.

நிறுவனப் பயன்பாடு மற்றும் ரெட்-டீமிங் குழுக்கள் #

பாதுகாப்புக் குழுக்கள் கவனம் செலுத்திய நிலைப் பிரதிநிதித்துவங்களை எழுதி, பத்து களம்சார் எடுத்துக்காட்டுகளுக்கு எதிராகக் கூட முடிவு வரம்புகளைப் பொருத்துவதன் மூலம் தனிப்பயன் தோல்விக் கண்டறிவிகளை விரைவாகப் பயன்படுத்தலாம், இது தனிப்பயன் வகைப்படுத்திகளுக்கு முன்பு தேவைப்பட்ட பல வார நுண்சீரமைப்புச் சுழற்சியை நீக்குகிறது.

முடிவுரை #

RLCDAlignBench முழுவதும் Jev இன் மதிப்பீடு, உற்பத்தி மாதிரிக் கண்காணிப்புக்கு ஓர் உறுதியான கட்டமைப்புத் திசையை நிறுவுகிறது: ஒரே முன்னோக்கு ஓட்டத்தில் பல வகைப்படுத்தப்பட்ட கேள்விகளின் மீது அளவுத்திருத்தப்பட்ட நிகழ்தகவுகளைப் படிப்பது, செலவில் தன்னியக்கப் பின்னோக்கு LLM நடுவர்களையும் நெகிழ்வில் ஒற்றை-டோக்கன் வகைப்படுத்திகளையும் வெல்கிறது. நிகழ்தகவுகள் சீரமைப்பின்றி இடம்பெயரும் என்று கருதுவதற்குப் பதிலாக நடைமுறையாளர்கள் அனுபவரீதியான வரம்பு அளவுத்திருத்தத்துக்கு வரவுசெலவு ஒதுக்க வேண்டும் என்றாலும், 63× பொருளாதார முன்னிலை நிகழ்நேர, விரிவான கண்காணிப்பைப் பெரிய அளவில் சாத்தியமாக்குகிறது.

அடிக்கடி கேட்கப்படும் கேள்விகள் #

நிகழ்நேர உற்பத்திக் கண்காணிப்புக்கு உருவாக்க LLM நடுவர்கள் ஏன் நடைமுறைக்கு ஒவ்வாதவை?

உருவாக்க நடுவர்களுக்கு மதிப்பிடப்படும் ஒவ்வொரு பாதுகாப்பு அல்லது அலைன்மென்ட் அளவுகோலுக்கும் முழுமையான தன்னியக்கப் பின்னோக்கு டிகோடிங் ஓட்டம் தேவை. அதிக செயல்திறன் கொண்ட நுகர்வோர் அல்லது நிறுவனப் பயன்பாடுகளில், ஒவ்வொரு செய்திக்கும் பல உருவாக்க நடுவர் அழைப்புகளை இயக்குவது கடுமையான தாமதத்தை உண்டாக்கி, செயல்பாட்டுச் செலவுகளைப் பல மடங்கு உயர்த்துகிறது.

அளவுத்திருத்தப்பட்ட முடிவுகளுக்கான வலுவூட்டல் கற்றல் (RLCD) என்றால் என்ன?

RLCD என்பது டோக்கன் வரிசைகளை உருவாக்குவதற்குப் பதிலாக, கட்டமைக்கப்பட்ட முடிவுத் தலைகள் மீது நன்கு அளவுத்திருத்தப்பட்ட பின்னிலை நிகழ்தகவுகளை உருவாக்க மாதிரிகளை உகப்பாக்கும் ஒரு பயிற்சி முறை. இது ஒரே முன்னோக்கு மதிப்பீட்டில் பல தன்னிச்சையான கேள்விகளை ஒரே நேரத்தில் மதிப்பிட மாதிரியை அனுமதிக்கிறது.

முடிவு வரம்புகளை உள்ளூர்த் தரவில் அளவுத்திருத்த வேண்டியது ஏன்?

RLCD மாதிரிகள் தோல்வி வாய்ப்பின்படி ஊடாடல்களைத் தரவரிசைப்படுத்துவதில் சிறந்தவை (உயர் AUROC ஐ அடைகின்றன), ஆனால் அவற்றின் முழுமையான சராசரி நிகழ்தகவுகள் இலக்குக் களத்தின் அடிப்படை விகிதத்தைப் பொறுத்து நகர்கின்றன. ஏறக்குறையப் பத்து லேபிளிட்ட களம்சார் எடுத்துக்காட்டுகளுக்கு எதிராகச் செயல்பாட்டு முடிவு வரம்பை அளவுத்திருத்துவது, ஏற்க முடியாத தவறான-நேர்மறை விகிதங்கள் இல்லாமல் பொருத்தமான உணர்திறனை உறுதிசெய்கிறது.

துணைநூற்பட்டியல் #

• Mrinank Sharma et al., (2024). மொழி மாதிரிகளில் முகஸ்துதியைப் புரிந்துகொள்வதும் தணிப்பதும் நோக்கி ⧉. arXiv.
• RLCDAlignBench Consortium, (2026). அளவுத்திருத்தப்பட்ட முடிவுத் தலைகள் வழியாகப் பல-அளவுகோல் அலைன்மென்ட் தோல்வி கண்டறிதல் ⧉. arXiv.
• Anthropic / Alignment Research, (2025). Constitutional AI மற்றும் மதிப்பீட்டாளர் இயக்கவியல் ⧉. Anthropic.
• NIST, (2024). செயற்கை நுண்ணறிவு இடர் மேலாண்மைக் கட்டமைப்பு (AI RMF 1.0) ⧉. NIST.

கடைசியாக மதிப்பாய்வு செய்யப்பட்டது 2026-09-30.

கடைசியாக மதிப்பாய்வு செய்யப்பட்டது 2026-10-27.

# தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/](https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/)

Jev ஒரே அழைப்பில் பல கேள்விகளுக்கு நிகழ்தகவுகளாகப் பதிலளிக்கிறது. 44 அளவுகோல்களில் தரவரிசை வலுவானது, செலவு 63× குறைவு, ஆனால் வரம்புக்குச் சில லேபிள்கள் தேவை.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/

தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev — Sebastien Rousseau

Jev ஒரே அழைப்பில் பல கேள்விகளுக்கு நிகழ்தகவுகளாகப் பதிலளிக்கிறது. 44 அளவுகோல்களில் தரவரிசை வலுவானது, செலவு 63× குறைவு, ஆனால் வரம்புக்குச் சில லேபிள்கள் தேவை.

https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/

தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev — Sebastien Rousseau

Jev ஒரே அழைப்பில் பல கேள்விகளுக்கு நிகழ்தகவுகளாகப் பதிலளிக்கிறது. 44 அளவுகோல்களில் தரவரிசை வலுவானது, செலவு 63× குறைவு, ஆனால் வரம்புக்குச் சில லேபிள்கள் தேவை.

முக்கிய மூலோபாயக் கருத்துகள் இங்கே:

- ஒவ்வொரு செய்தியையும் கண்காணிப்பதன் செலவுக் கட்டமைப்பு. பயன்பாட்டில் உள்ள மாதிரிகள் இன்னும் பயனரின் தவறான நம்பிக்கைக்குப் பணிகின்றன (Sharma et al., 2024).
- Jev வேறுபட்டு என்ன செய்கிறது. Jev அளவுத்திருத்தப்பட்ட முடிவுகளுக்கான வலுவூட்டல் கற்றல் (RLCD) மூலம் பயிற்றுவிக்கப்பட்டது.
- அலைன்மென்ட் தோல்விகள் தோன்றுவதை விடக் கடினமானவை ஏன். அளவீட்டுக்கு முன் ஒரு சிக்கல்.
- கண்டறிதலை வகைப்பாடாகக் கருதுதல். ஆய்வுக்கட்டுரையின் முறையான அமைப்பு எளிமையானது.

இந்தக் கட்டுரையில் விவரிக்கப்பட்ட சவால்களுக்கு உங்கள் நிறுவனத்தின் அணுகுமுறை என்ன?

→ https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/

#Jev #Rlcd #Rlcdalignbench #அலைன்மென்ட்தோல்வி #கண்டறிவி

Sebastien Rousseau | CC-BY-4.0

@online{rousseau2026த,
  author  = {Rousseau, Sebastien},
  title   = {{தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/},
  urldate = {2026}
}

TY  - GEN
AU  - Rousseau, Sebastien
TI  - தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/
ER  -

Rousseau S. தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev — Sebastien Rousseau. sebastienrousseau.com. 2026 Sep 30. Available from: https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/

Rousseau, Sebastien. "தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev — Sebastien Rousseau." sebastienrousseau.com. September 30, 2026. https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/.

Rousseau, S. (2026, September 30). தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/

தீர்ப்பு அல்ல, நிகழ்தகவுகளைப் படிக்கும் கண்டறிவி: 44 அளவுகோல்களில் Jev — Sebastien Rousseau

Jev ஒரே அழைப்பில் பல கேள்விகளுக்கு நிகழ்தகவுகளாகப் பதிலளிக்கிறது. 44 அளவுகோல்களில் தரவரிசை வலுவானது, செலவு 63× குறைவு, ஆனால் வரம்புக்குச் சில லேபிள்கள் தேவை.

Originally published at https://sebastienrousseau.com/ta/2026-09-30-thirppu-alla-nikazhthakavukalaip-patikkum-kantarivi-44/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU · FOUNDER · ENGINEER