తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev

అలైన్‌మెంట్ వైఫల్యాలను గుర్తించే ఒక డిటెక్టర్, ఒకే కాల్‌లో అనేక టైప్ చేసిన ప్రశ్నలకు కాలిబ్రేట్ చేసిన సంభావ్యతలతో సమాధానం ఇస్తుంది, వైఫల్యాలను బాగా ర్యాంక్ చేస్తుంది, LLM-జడ్జ్ స్కోరర్ల కంటే 63× చౌక. కానీ ఆ సంభావ్యతలు థ్రెషోల్డ్‌లుగా బదిలీ కావు, ప్రశ్న పదజాలం కంటే లేబుల్, దాని రిఫరెన్స్ చాలా ఎక్కువ ముఖ్యం.

ప్రతి సందేశాన్ని గమనించడంలోని ఖర్చు నిర్మాణం #

వినియోగంలో ఉన్న మోడళ్లు ఇప్పటికీ వినియోగదారుడి తప్పుడు నమ్మకానికి తలవంచుతాయి (Sharma et al., 2024). ఈ వాక్యం సాదాసీదాది, కానీ మొత్తం సమస్య చట్రాన్ని ఇదే నిర్ణయిస్తుంది. అలాంటి ముఖస్తుతి వినియోగంలో ఉన్న వ్యవస్థల్లో కొనసాగితే, ఎవరైనా దాన్ని గమనించాలి, ఆ పర్యవేక్షణ సంభాషణ వేగంలోనే జరగాలి.

ఇక్కడే ఆర్థికశాస్త్రం కాటేస్తుంది. డిటెక్టర్ ఖచ్చితంగా ఉండాలి, అది ప్రతి సందేశంపై నడుస్తుంది కాబట్టి చౌకగానూ ఉండాలి. ఈ రెండింటిలో ఏదో ఒక్క లక్షణాన్ని పొందడం సులభం: అజాగ్రత్త డిటెక్టర్ చౌక, ప్రతి సందేశంపై నడపడానికి మరీ ఖరీదైన జాగ్రత్తగల డిటెక్టర్ ట్రాఫిక్‌లో ఒక నమూనాను మాత్రమే గమనిస్తుంది. ఆసక్తికరమైన ఇంజినీరింగ్ ప్రశ్న ఏమిటంటే, ఏ ఆకారపు డిటెక్టర్ రెండూ కాగలదు.

ఈ వ్యాసం వెనుక ఉన్న పరిశోధనా పత్రం ప్రకారం, ప్రస్తుత సమాధానంలో ఒక నిర్మాణ లోపం ఉంది. అలైన్‌మెంట్ వైఫల్యాల డిటెక్టర్లలో చాలావరకు ప్రతి ప్రమాణంపై ఒక డీకోడింగ్ పాస్ ఖర్చు చేసే జనరేటివ్ జడ్జ్‌లు. సరళంగా చెప్పాలంటే, ప్రస్తుత డిటెక్టర్లు తాము తనిఖీ చేసే ప్రతి ప్రమాణానికీ ఒక డీకోడింగ్ పాస్ ధర చెల్లిస్తాయి. పది వేర్వేరు వైఫల్య రకాలను తనిఖీ చేయాలనుకునే మానిటర్ పది పాస్‌లకు చెల్లిస్తుంది, మీరు శ్రద్ధ పెట్టే విషయాల సంఖ్యతో బిల్లు రేఖీయంగా పెరుగుతుంది.

ఒక పాక్షిక పరిష్కారం ఉంది, దాని పరిమితుల గురించి ఖచ్చితంగా ఉండటం అవసరం. టోకెన్ సంభావ్యతలను చదివే క్లాసిఫైయర్లు, ఉదాహరణకు Llama Guard, ఇప్పటికీ ప్రతి కాల్‌లో ఒక స్థిరమైన లేబుల్‌నే స్కోర్ చేస్తాయి. టోకెన్ సంభావ్యతలను చదవడం ఒక స్కోర్ ఇస్తుంది, కానీ ప్రతి కాల్ ఇంకా ఒకే లేబుల్ లేదా ప్రమాణాన్ని స్కోర్ చేస్తుంది, ఎందుకంటే సంభావ్యత ఒకే తీర్పు-టోకెన్ నుంచి చదవబడుతుంది. డీకోడింగ్ పాస్ పోయింది, అయినా ఒక-కాల్‌కు-ఒక-ప్రశ్న నిర్మాణం అలాగే ఉంది. మీరు ప్రతి కాల్‌ను చౌక చేశారు, కానీ ఎన్ని కాల్స్ కావాలో మార్చలేదు.

కాబట్టి నిర్మాణపరమైన వాదన ఇలా సాగుతుంది: జనరేటివ్ జడ్జ్‌లు ఒక్కో ప్రమాణానికి ఖరీదైనవి, సంభావ్యతలు చదివే క్లాసిఫైయర్లు ఒక్కో ప్రమాణానికి చౌకైనవి కానీ ఇంకా ఒక్కొక్కటి ఒక ప్రమాణానికి కట్టుబడి ఉంటాయి. వీటిలో ఏదీ ఒకే ఇన్‌పుట్ గురించి ఒకేసారి అనేక ప్రశ్నలు అడగనివ్వదు.

Jev భిన్నంగా ఏం చేస్తుంది #

Jev కాలిబ్రేట్ చేసిన నిర్ణయాల కోసం రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ (RLCD)తో శిక్షణ పొందింది. అది ఒక ఇన్‌పుట్ గురించిన అనేక టైప్ చేసిన ప్రశ్నలకు ఒకే కాల్‌లో కాలిబ్రేట్ చేసిన సంభావ్యతలతో సమాధానమిస్తుంది. ఈ యంత్రాంగాన్ని జాగ్రత్తగా చెప్పడం అవసరం, ఎందుకంటే మిగతా వ్యాసమంతా దీనిపైనే ఆధారపడి ఉంది.

RLCD మోడల్ వచనాన్ని ఉత్పత్తి చేయడానికి బదులుగా ప్రతి టైప్ చేసిన ప్రశ్నకు కాలిబ్రేట్ చేసిన సంభావ్యతతో ఒక నిర్ణయాన్ని తిరిగి ఇస్తుంది. తీర్పు రాసి, ఆపై దాన్ని పార్స్ చేసే ఉత్పత్తి దశ ఏదీ లేదు. పరిశోధనా పత్రం స్టేట్ అని పిలిచే ఒక ఇన్‌పుట్ గురించి అనేక ద్విమాన, వర్గ, క్రమ ప్రశ్నలకు Jev ఒకే కాల్‌లో సమాధానమిస్తుంది. స్టేట్ అంటే ఇన్‌పుట్; ప్రశ్నలు అంటే దాని గురించి మీరు అడిగేవి.

ఇది పైన చెప్పిన రెండు విధానాలకూ భిన్నమైన ఖర్చు వక్రరేఖ. ప్రశ్నలు ఒకే కాల్‌ను పంచుకుంటే, మరో ప్రశ్న జోడించడం మరో డీకోడింగ్ పాస్‌ను జోడించదు. ఒకేసారి అనేక వైఫల్య రకాల గురించి పట్టించుకునే మానిటర్‌కు దీని లాభం స్పష్టం, అయితే పరిశోధనా పత్రం కొలతలు ఒక్క సాధారణ ప్రశ్న ఏం సాధిస్తుందో దాని గురించినవి, కొలిచిన దానికే నేను కట్టుబడి ఉంటాను.

అయినా ఒక ఖాళీ ఉండేది. Jev అలైన్‌మెంట్ వైఫల్యాలను గుర్తిస్తుందో లేదో కొలవలేదు. టైప్ చేసిన ప్రశ్నలకు కాలిబ్రేట్ చేసిన సంభావ్యతలతో సమాధానమిచ్చే మోడల్ ఈ పనికి తగినదిగా కనిపిస్తుంది, తగినదిగా కనిపించడం చౌక. ఆ తప్పిపోయిన కొలతను అందించడానికే పరిశోధనా పత్రం బయలుదేరుతుంది.

అలైన్‌మెంట్ వైఫల్యాలు కనిపించే దానికంటే ఎందుకు కష్టం #

కొలతకు ముందు ఒక చిక్కు. వీటిలో చాలా వైఫల్యాలు సంబంధపరమైనవి, అంటే కేవలం సమాధానం వెల్లడించని ఒక రిఫరెన్స్‌కు సాపేక్షంగా నిర్వచించబడేవి. ముఖస్తుతి ఈ సాధారణ ఆలోచనకు మంచి ఉదాహరణ: ఒక సమాధానం వినియోగదారుడి తప్పుడు నమ్మకానికి తలవంచుతుందా అనేది ఆ నమ్మకం ఏమిటి, అది తప్పా అనే దానిపై ఆధారపడుతుంది, ఈ రెండు వాస్తవాల్లో ఏదీ కేవలం సమాధాన వచనంలో కనిపించదు.

డిటెక్టర్ రూపకల్పనపై దీనికి ఒక పర్యవసానం ఉంది, దాన్ని పరిశోధనా పత్రం తగిన జాగ్రత్తతో చెబుతుంది. కేవలం సమాధానాన్నే చూసే డిటెక్టర్ దగ్గర వైఫల్యాన్ని నిర్వచించే రిఫరెన్స్ లేకపోవచ్చు. “లేకపోవచ్చు” అనే పదం ముఖ్యం; ప్రతి వైఫల్యానికీ రిఫరెన్స్ కావాలనేది వాదన కాదు, కొన్నింటికి కావాలి, కేవలం-సమాధాన దృష్టి దాన్ని తప్పిపోవచ్చు అనేదే.

ఇది నిర్ధారణను కూడా సంక్లిష్టం చేస్తుంది. వైఫల్యాలు సంబంధపరమైనవైతే, బలహీనమైన గుర్తింపు ప్రశ్న నుంచీ రావచ్చు, రిఫరెన్స్ లేని స్టేట్ నుంచీ రావచ్చు. రెండు విషయాలు తప్పు కావచ్చు, తక్కువ స్కోర్ ఏది అని చెప్పదు. బహుశా ప్రశ్న పదజాలం సరిగా లేకపోవచ్చు. బహుశా ప్రశ్న బాగానే ఉండి, సమాధానం ఇవ్వడానికి కావాల్సింది ఇన్‌పుట్‌లో ఎప్పుడూ లేకపోవచ్చు. ఒక డిటెక్టర్ గురించి ఉపయోగకరమైనది ఏదైనా చెప్పాలనుకునే బెంచ్‌మార్క్ ఈ రెండు కారణాలను వేరు చేయగలిగేలా నిర్మించబడాలి.

డెవలపర్, తన వంతుగా, పరోక్ష అర్థాన్ని, ప్రతికూల (అడ్వర్సేరియల్) కంటెంట్‌ను Jev యొక్క తెలిసిన బలహీనతల్లో పేర్కొంటారు. తర్వాత ఫలితాలు చదివేటప్పుడు దీన్ని గుర్తుంచుకోవడం మంచిది, ఎందుకంటే కొన్ని వైఫల్య రకాలు సరిగ్గా ఆ లక్షణాలపైనే ఆధారపడతాయి.

గుర్తింపును వర్గీకరణగా చూడటం #

పరిశోధనా పత్రం యొక్క అధికారిక ఏర్పాటు సరళమైనది. అది అలైన్‌మెంట్ వైఫల్య గుర్తింపును ఒక లక్ష్య మోడల్ పరస్పర చర్యలపై ద్విమాన వర్గీకరణగా చూస్తుంది. ఒక డిటెక్టర్ s(x) ∈ [0, 1] అనే స్కోర్ కేటాయించి, s(x) ≥ t అయినప్పుడు xను గుర్తిస్తుంది. అంటే అది వైఫల్యాలను వైఫల్యం కానివాటి కంటే పైన ర్యాంక్ చేయాలి, థ్రెషోల్డ్ t వద్ద వాటిని వేరు చేయాలి కూడా.

ఈ రెండు బాధ్యతలను వేరు చేయవచ్చు, పరిశోధనా పత్రం ఫలితాలు సరిగ్గా ఈ కుట్టు వెంటే చీలుతాయి. ర్యాంకింగ్‌ను AUROC కొలుస్తుంది. థ్రెషోల్డ్ వద్ద వేరు చేయడం కాలిబ్రేషన్‌పై ఆధారపడుతుంది, వ్యాసం దానికి తిరిగి వస్తుంది, ఎందుకంటే Jev వెనుకబడేది అక్కడే. ఒక డిటెక్టర్ అద్భుతంగా ర్యాంక్ చేసినా, దాని సంభావ్యతలు తప్పు చోట కూర్చుంటే t=0.5 వద్ద నిరుపయోగం కావచ్చు.

RLCDAlignBench #

బెంచ్‌మార్క్ పేరు RLCDAlignBench. ఇది 44 బెంచ్‌మార్క్‌లు, 7,193 గుర్తింపు ఉదాహరణలలో పది వైఫల్య రకాలను కవర్ చేస్తుంది. ఉదాహరణలు ఐదు ఓపెన్ 2–7B లక్ష్య మోడళ్ల నుంచి వస్తాయి, ప్రతిదానికీ దాని బెంచ్‌మార్క్ రిఫరెన్స్ స్కోరర్ లేబుల్ ఇచ్చింది. అంటే తీర్పు ఇస్తున్న పరస్పర చర్యలు చిన్న ఓపెన్ మోడళ్ల నుంచి వస్తాయి, ప్రతిదాని వాస్తవ సత్యం మూల బెంచ్‌మార్క్ సొంత స్కోరర్ చెప్పేదే.

ప్రతి బెంచ్‌మార్క్‌లో ఒకే రకమైన లేబుల్ లేదు. Jevను ఒక జడ్జ్‌తో పోల్చడానికి StrongREJECT, HarmBench లలో మానవ లేబుల్స్, AbstentionBench, InstrumentalEval లలో రెండవ జడ్జ్ లేబుల్స్ ఉపయోగిస్తారు. దీంతో రిఫరెన్స్ స్కోరర్లపై పరిశోధనా పత్రానికి రెండు రకాల బాహ్య తనిఖీ లభిస్తుంది: కొన్ని సందర్భాల్లో మనుషులు, మరికొన్నింటిలో రెండవ జడ్జ్.

విడుదల చేసిన సామగ్రిని ఇలా వర్ణించారు: సందర్భ వేరియంట్లతో పది వైఫల్య రకాలలో 44 బెంచ్‌మార్క్‌లు, కాష్ చేసిన Jev సమాధానాలు, రీస్కోరింగ్ స్క్రిప్ట్‌లు, వాటితో పాటు నివేదించిన లాభాల నుంచి ఎంపిక వల్ల వచ్చే ఉబ్బును తొలగించే స్ప్లిట్-హాఫ్ ప్రోటోకాల్. ప్రతి అంశం ఒక ఆచరణాత్మక అవసరాన్ని తీరుస్తుంది. స్టేట్‌లో ఎక్కువ ఉంటే ఏమవుతుందని అడగడానికి సందర్భ వేరియంట్లు పాఠకుడికి వీలు కల్పిస్తాయి. కాష్ చేసిన సమాధానాలు, రీస్కోరింగ్ స్క్రిప్ట్‌లు మోడల్‌ను మళ్లీ నడపకుండానే ఒక సంఖ్యను పునరుత్పత్తి చేయనిస్తాయి. స్ప్లిట్-హాఫ్ ప్రోటోకాల్ ఒక పద్ధతిపరమైన ఉచ్చును ఎదుర్కొంటుంది, దానికి ప్రత్యేక విభాగం తగును.

ఎంపిక ఉచ్చు #

ఒకే ఇన్‌పుట్ గురించి Jevను అనేక ప్రశ్నలు అడగవచ్చు. అదే దాని ప్రత్యేకత, మూల్యాంకనానికి అదే ఒక ప్రమాదం కూడా. మీరు అభ్యర్థి ప్రశ్నల సమూహాన్ని ఉంచి, ఏది ఉత్తమంగా స్కోర్ చేస్తే దాన్ని నివేదిస్తే, మీరు ప్రశ్నలపై ఒక శోధన జరిపి విజేతను నివేదించారు. పరిశోధనా పత్రం దీన్ని నేరుగా చెబుతుంది: వాటిలో ఉత్తమమైనదాన్ని నివేదించడం ఒక ఆచరణకర్తకు నిజంగా లభించేదాన్ని అతిశయోక్తి చేస్తుంది.

ఒక టెస్ట్ సెట్‌కు వ్యతిరేకంగా ప్రాంప్ట్‌ను ట్యూన్ చేసిన ఎవరైనా దీన్ని గుర్తిస్తారు. ఇక్కడ ఉపయోగించిన పరిష్కారం సరళమైనది. ప్రశ్నలను అంశాలలో ఒక సగంపై ఎంచుకుని, మరో సగంపై స్కోర్ చేస్తారు. లక్ష్యిత ప్రశ్నను అంశాలలో ఒక సగంపై ఎంచుకుని, మరో సగంపై స్కోర్ చేస్తారు, 20 విభజనలపై. నివేదించిన సంఖ్యను ఉత్పత్తి చేసే అంశాలను ఎంపిక ఎప్పుడూ తాకదు.

కింద నివేదించిన ప్రతి లాభాన్ని ఎలా చదవాలో దీనికి ముఖ్యం. స్ప్లిట్-హాఫ్ ప్రోటోకాల్ నివేదించిన లాభాల నుంచి ఎంపిక వల్ల వచ్చే ఉబ్బును తొలగిస్తుందనేది పరిశోధనా పత్రం వాదన. లక్ష్యిత పదజాలం +0.006 AUROC మధ్యగత లాభం ఇస్తుందని పరిశోధనా పత్రం చెప్పినప్పుడు, ఆ సంఖ్య వేర్వేరు సగాలపై ఎంచుకుని స్కోర్ చేసిన పదజాలం నుంచి వస్తుంది. నిజాయితీగా కొలిచిన ఇంత చిన్న సంఖ్య, విజేత శాపాన్ని నిశ్శబ్దంగా కలుపుకున్న పెద్ద సంఖ్య కంటే ఎక్కువ ఉపయోగకరం.

ముఖ్య ఫలితం: ఒక సాధారణ ప్రశ్న #

ఇప్పుడు చాలా మంది పాఠకులు కోరుకునే ఫలితం. ఒక్క సాధారణ ప్రశ్న జీరో-షాట్‌లో 0.886 మధ్యగత AUROC సాధించి, చాలా బెంచ్‌మార్క్‌లపై పర్యవేక్షిత బేస్‌లైన్‌లను ఓడిస్తుంది.

పదాలను ఒక్కొక్కటిగా తీసుకుందాం. “ఒక్క సాధారణ ప్రశ్న” అంటే ప్రతి బెంచ్‌మార్క్‌కు ప్రాంప్ట్ ఇంజినీరింగ్ ఏదీ లేదు. “జీరో-షాట్” అంటే లక్ష్య బెంచ్‌మార్క్‌పై శిక్షణ ఏదీ లేదు. “చాలా బెంచ్‌మార్క్‌లపై పర్యవేక్షిత బేస్‌లైన్‌లను ఓడిస్తుంది” అంటే పని యొక్క లేబుల్ చేసిన డేటాపై శిక్షణ పొందిన వ్యవస్థలు, పరిశీలించిన చాలా బెంచ్‌మార్క్‌లపై ఎవరూ ట్యూన్ చేయని ఒక ప్రశ్న చేతిలో ఓడిపోతాయి. వాదన “చాలా” వద్ద ఆగుతుంది, ఈ వ్యాసమూ అక్కడే ఆగుతుంది.

సాధారణ ప్రశ్న P(yes)గా చదివే ఒక టెంప్లేట్ ప్రశ్న. ఆ సంఖ్య 38 ఉపయోగయోగ్య బెంచ్‌మార్క్‌ల AUROCను చూపుతుంది, సాధారణ ప్రశ్నను 7 బెంచ్‌మార్క్‌లపై అడగలేదు. కాబట్టి ముఖ్య సంఖ్య సాధారణ ప్రశ్న వర్తించిన బెంచ్‌మార్క్‌లపై మధ్యగతం, అవి 38 ఉపయోగయోగ్యమైనవాటి నుంచి తీసుకున్నవి. జాగ్రత్తగల పాఠకులు హారాలను స్పష్టంగా ఉంచుకోవాలి: మొత్తం 44 బెంచ్‌మార్క్‌లు ఉన్నాయి, ఈ సంఖ్యకు 38 ఉపయోగయోగ్యం, సాధారణ ప్రశ్నకు 7 ఖాళీ ఉంది.

జీరో-షాట్ ఫలితమే వాక్యంలో మరింత ఆసక్తికరమైన సగం అని నా వాదన. పర్యవేక్షిత బేస్‌లైన్‌లను ఓడించడం తులనాత్మక స్థానం గురించిన ప్రకటన. ఎటువంటి పని-నిర్దిష్ట శిక్షణ లేకుండా 0.886 మధ్యగత AUROC, స్టేట్‌ను చదివి ఒక సాదా ప్రశ్నకు సమాధానమిచ్చే మోడల్‌కు వైఫల్య సంకేతం ఎంత అందుబాటులో ఉందో చెబుతుంది. ఇది ఈ పదింటి వెలుపలి వైఫల్య రకాలకూ వర్తిస్తుందా అనే దాని గురించి వాదనలు ఏమీ చెప్పవు.

పదజాలం దాదాపు అసంబద్ధం #

మీరు ప్రాంప్ట్ ఇంజినీరింగ్‌పై సమయం వెచ్చించి ఉంటే, తదుపరి ఫలితం గుచ్చుకుంటుంది. ప్రశ్న పదజాలం కొంచెమే ముఖ్యం, సందర్భం ఎక్కువ ముఖ్యం, ప్రధానంగా లేబుల్‌ను ఎన్‌కోడ్ చేసే ఫీల్డ్‌ల ద్వారా.

ఎందుకో పరిశోధనా పత్రం వివరణ నిర్దిష్టమైనది. సమాధానాలను argmax నిర్ణయాలుగా కాకుండా సంభావ్యతలుగా ఉంచిన తర్వాత, ప్రశ్న పదజాలం కొంచెమే ముఖ్యమవుతుంది, స్టేట్‌లో, లేబుల్‌లో ఏముందనేది చాలా ముఖ్యమవుతుంది. ఇది సమాచారం గురించిన పరిశీలన. ఒక సమాధానం మరొకదాన్ని ఏ తేడాతో ఓడించిందో argmax నిర్ణయం పారేస్తుంది, పదజాలంలో ఒక మార్పు నిర్ణయాన్ని సరిహద్దు దాటి తిప్పేయవచ్చు. సంభావ్యత ఆ తేడాను నిలుపుకుంటుంది, కాబట్టి సాక్ష్యాన్ని కొద్దిగా జరిపే కొత్త పదజాలం సంభావ్యతను కొద్దిగానే కదిలిస్తుంది, ర్యాంకింగ్‌ను చాలావరకు అలాగే ఉంచుతుంది.

పరిశోధనా పత్రం చెప్పేదానికే నేను దీన్ని పరిమితం చేస్తాను: సంభావ్యతలు ఉంచినప్పుడు పదజాలం కొంచెమే ముఖ్యం. ఎందుకో దాని యాంత్రిక వివరణ వరకు నేను దీన్ని విస్తరించను, ఎందుకంటే వాదనలు అలాంటిది ఏదీ ఇవ్వవు.

సంఖ్యలు ఈ ప్రకటనకు మద్దతిస్తాయి. లక్ష్యిత పదజాలం +0.006 AUROC మధ్యగత లాభం ఇస్తుంది, పదజాలాన్ని వేర్వేరు సగాలపై ఎంచుకుని స్కోర్ చేశారు. నమూనా వెలుపల, లక్ష్యిత పదజాలం +0.006 [−0.004, +0.015] AUROC జోడిస్తుంది. ఈ విరామం సున్నాను దాటుతుంది. పాఠకుడు +0.006ను నమ్మదగిన మెరుగుదలగా భావించకూడదు; ఈ విరామం చిన్న లాభాన్ని అనుమతించినంత సులభంగా చిన్న నష్టాన్నీ అనుమతిస్తుంది. ఒక ఆచరణకర్తకు ఉపయోగకరమైన పఠనం ఏమిటంటే, మరింత తెలివైన పదజాలం కోసం వెతికే శ్రమ ఫలించే అవకాశం తక్కువ, కనీసం ఈ బెంచ్‌మార్క్‌లపై.

ఇది బృందాలు తమ సమయాన్ని ఎలా కేటాయిస్తాయో మార్చాలి. పదజాలం దాదాపు ప్రభావరహితమైతే, దానిపై వెచ్చించే గంటలను స్టేట్‌పై వెచ్చించడం మేలు.

లాభాలు ఉండేది సందర్భంలో #

మరి స్టేట్‌లో ఏముంది, అందులో ఏముండాలి? సందర్భం ఎక్కువ ముఖ్యం, ప్రధానంగా లేబుల్‌ను ఎన్‌కోడ్ చేసే ఫీల్డ్‌ల ద్వారా అనేది పరిశోధనా పత్రం కనుగొన్న విషయం. అధ్యయన రూపకల్పన వెనుక ఉన్న ముఖ్య ఆలోచన, Jevను ఏం అడుగుతున్నారో దాన్ని అది ఏం చూస్తుందో దాని నుంచి వేరుగా మార్చడం: ఒక వైపు ప్రశ్న పదజాలం, సమాధాన రకం, మరో వైపు ఇన్‌పుట్ ఫీల్డ్‌లు. పదజాలం కొంచెమే ముఖ్యం, సందర్భం ఎక్కువ ముఖ్యం అని పరిశోధనా పత్రం చెప్పగలగడానికి ఈ విభజనే కారణం. అది లేకపోతే రెండు ప్రభావాలు చిక్కుపడిపోయేవి.

ముఖ్య ఉదాహరణ PrivacyLens. లేబుల్‌ను నిర్వచించే రిఫరెన్స్‌లే పెద్ద లాభాలు ఇస్తాయి, ఉదాహరణకు PrivacyLens యొక్క రహస్య అంశాల జాబితా (0.79→0.95). AUROC 0.79 నుంచి 0.95కు వెళ్లడం పదజాలం ఇచ్చిన +0.006 పక్కన పెద్దది. ఇక్కడి రిఫరెన్స్ రహస్య అంశాల జాబితా, సంబంధపరమైన వైఫల్యాలపై ముందటి చర్చ ముఖ్యమవుతుందని ఊహించే సరిగ్గా అలాంటి విషయం: ఒక సమాధానం ఏదైనా వ్యక్తిగతమైనదాన్ని లీక్ చేస్తుందా అనేది దేన్ని వ్యక్తిగతంగా పరిగణిస్తారనే దానిపై ఆధారపడుతుంది, కేవలం సమాధానం అది చెప్పదు.

వినియోగానికి సంబంధించి ఒక హెచ్చరిక ఉంది, అది ముఖ్యమైనది. వినియోగంలో ఉన్న మానిటర్ దగ్గర ఉండే సందర్భం 7లో 1 బెంచ్‌మార్క్‌పై సహాయపడుతుంది. పెద్ద లాభాలు లేబుల్‌ను నిర్వచించే రిఫరెన్స్‌ల నుంచి వస్తాయి, కానీ వినియోగంలో ఉన్న మానిటర్ దగ్గర అవి తప్పనిసరిగా ఉండవు. ఒక మానిటర్ దగ్గర వాస్తవంగా ఉండేది ఏడింటిలో ఒక్క బెంచ్‌మార్క్‌పైనే సహాయపడుతుంది.

ఇది ఒక సంయమనమైన ఫలితం, పరిశోధనా పత్రంలో వ్యాపారపరంగా అత్యంత సంబంధితమైన వాక్యం ఇదేనని నా అభిప్రాయం. ఇది ప్రయోగశాల సంఖ్యను క్షేత్ర సంఖ్య నుంచి వేరు చేస్తుంది. లేబుల్‌ను నిర్వచించే రిఫరెన్స్ చేతిలో ఉంచుకుని మూల్యాంకనం చేసిన డిటెక్టర్, వినియోగంలో ఉన్న మానిటర్ ఎదుర్కొనే ప్రశ్న కంటే సులభమైన ప్రశ్నకు సమాధానమిస్తోంది. లాభాలు నిజమైనవే, కానీ వాటిలో వేటిపై వినియోగం ఆధారపడగలదో పరిశోధనా పత్రం స్పష్టంగా చెబుతుంది.

పరిశోధనా పత్రం ఒక బెంచ్‌మార్క్ పరిమితిని కూడా సూచిస్తుంది. Open-Prompt-Injection పై లేబుల్ ఇంజెక్ట్ చేసిన పని యొక్క ఖచ్చితత్వాన్ని అనుసరిస్తుంది. అర్థం పని యొక్క ఒక లక్షణానికి కట్టుబడి ఉన్న లేబుల్‌కు ఇది ఉదాహరణ, ఒక డిటెక్టర్ స్టేట్ నుంచి ఏం చూడగలదని ఆశించవచ్చో దానిపై ఇది ప్రభావం చూపుతుంది. దీని నుంచి మరిన్ని తీర్మానాలు తీయడం నేను మానుకుంటాను, ఎందుకంటే వాదనలు ఏవీ ఇవ్వవు.

ఖర్చు #

ఇప్పుడు ఆర్థికశాస్త్రాన్ని స్పష్టం చేసే సంఖ్య. Jev ఖర్చు LLM-జడ్జ్ స్కోరర్ల కంటే 63× తక్కువ. నిర్దిష్ట పోలిక: జడ్జ్ స్కోర్ చేసిన 19 బెంచ్‌మార్క్‌లపై ఒక పాస్ ఖర్చు $0.30, జాబితా ధరల వద్ద వాటి జడ్జ్‌ల కంటే 63× తక్కువ. ఖర్చు పోలిక జాబితా ధరల వద్ద 19 API-జడ్జ్ బెంచ్‌మార్క్‌లపై ఒక పాస్‌ను కవర్ చేస్తుంది.

పరిధి గురించి జాగ్రత్తగా ఉండండి. పోలిక API జడ్జ్‌లను ఉపయోగించే 19 బెంచ్‌మార్క్‌లది, జాబితా ధర వద్ద, ఒక్క పాస్‌కు. అది సూట్‌లోని ప్రతి బెంచ్‌మార్క్‌నూ కవర్ చేయదు, రాయితీ ధరలనూ కవర్ చేయదు. ఆ పరిధిలో నిష్పత్తి పెద్దది, అది ముందు వివరించిన నిర్మాణం నుంచే వస్తుంది: ఒక్కో ప్రమాణానికి డీకోడింగ్ పాస్ లేదు.

ప్రారంభ అవసరాన్ని గుర్తుచేసుకోండి, ప్రతి సందేశంపై నడిచే డిటెక్టర్ చౌకగా ఉండాలి. 19 బెంచ్‌మార్క్‌లపై పూర్తి పాస్‌కు $0.30 అనే సంఖ్యే ఈ పరిశోధనా పత్రంలో “చౌక” రూపం. పరిశోధనా పత్రం దీన్ని ఒక్కో సందేశానికి ధరగా మార్చదు, నేనూ మార్చను.

మనుషులతో ఏకీభావం, అసమ్మతి బయటపెట్టింది #

డిటెక్టర్ సరైనదీ అయితేనే చౌక ఆసక్తికరం. మానవ లేబుల్స్ తనిఖీకి వీలిచ్చిన చోట, Jev వాటితో జడ్జ్ అంతే ఏకీభవిస్తుంది, ఖర్చులో ఒక భాగానికి.

అత్యంత నిర్దిష్ట సాక్ష్యం StrongREJECT నుంచి వస్తుంది. అక్కడి మానవ లేబుల్స్‌కు వ్యతిరేకంగా, సాధారణ ప్రశ్న రిఫరెన్స్ స్కోరర్ అంతే ఏకీభవిస్తుంది (Cohen's κ 0.809 వర్సెస్ 0.811), మెరుగ్గా ర్యాంక్ చేస్తుంది. రెండు κ విలువలు 0.002 తేడాతో ఉన్నాయి, కాబట్టి సరైన పఠనం ఏకీభావంలో సమం, ర్యాంకింగ్‌లో Jev ముందంజ.

తర్వాత ఆచరణలో నాకు అత్యంత ఉపయోగకరంగా అనిపించే ఫలితం వస్తుంది, ఎందుకంటే అది డిటెక్టర్‌ను ఆడిట్ సాధనంగా మారుస్తుంది. Jev యొక్క నమ్మకమైన అసమ్మతులు మూడు బెంచ్‌మార్క్‌లలో లేబుల్‌ను మార్చే లోపాలను, మరో నాలుగింటిలో స్టేట్ వెల్లడించలేని లేబుల్స్‌ను బయటపెట్టాయి. నమ్మకంగా ఉన్న డిటెక్టర్ ఒక బెంచ్‌మార్క్ రిఫరెన్స్ లేబుల్‌తో విభేదించినప్పుడు, డిటెక్టర్ తప్పు అనేది ఒక వివరణ. కొన్ని సందర్భాల్లో అసమ్మతి బెంచ్‌మార్క్ వైపే వేలు చూపిందని పరిశోధనా పత్రం నివేదిస్తుంది: మూడు బెంచ్‌మార్క్‌లలో లేబుల్‌ను మార్చే లోపాలు ఉన్నాయి, మరో నాలుగింటిలో స్టేట్ వెల్లడించలేని లేబుల్స్ ఉన్నాయి.

రెండవ వర్గం సంబంధపరమైన అంశానికి తిరిగి కలుస్తుంది. స్టేట్ వెల్లడించలేని లేబుల్ అంటే ఇన్‌పుట్‌లోకి ఎప్పుడూ చేరని దానితో నిర్వచించిన లేబుల్. ఆ స్టేట్‌ను చదివే ఏ డిటెక్టరూ దాన్ని తిరిగి పొందలేదు. అలాంటి సందర్భాలను కనుగొనడం స్కోర్ పెంచడం కంటే భిన్నమైన సహకారం, ఎందుకంటే బెంచ్‌మార్క్ నిర్వాహకులకు వారి డేటా, వారి లేబుల్స్ ఎక్కడ విడిపోతాయో అది చెబుతుంది.

బలహీనమైన చోటు: కాలిబ్రేషన్ #

ఇక్కడ వ్యాసం సూటిగా ఉండాలి, ఎందుకంటే పరిశోధనా పత్రమూ అలాగే ఉంది. సంభావ్యతలు బాగా ర్యాంక్ చేస్తాయి కానీ థ్రెషోల్డ్‌లుగా బదిలీ కావు: మధ్యగత ECE 0.168, శూన్య నమూనా యొక్క 0.074కు వ్యతిరేకంగా, ధృవీకరించిన లేబుల్స్‌పైనా జడ్జ్ లేబుల్స్‌పైనా ఒకేలా, ఎందుకంటే Jev సగటు సంభావ్యత ప్రతి బెంచ్‌మార్క్ మూల రేటును తప్పుతుంది.

ముక్కలు ఇలా అతుకుతాయి. AUROC ర్యాంకింగ్‌ను కొలుస్తుంది, ర్యాంకింగ్ బలంగా ఉంది. థ్రెషోల్డ్ వేరే విషయం. మోడల్ సగటు అవుట్‌పుట్ సంభావ్యత ఒక బెంచ్‌మార్క్‌లో వైఫల్యాలు ఎంత తరచుగా వస్తాయో దానితో సరిపోలకపోతే, t=0.5 తప్పు చోట పడుతుంది, అంచనా కాలిబ్రేషన్ లోపం ఎక్కువవుతుంది. 0.168 మధ్యగత ECE, 0.074 శూన్య నమూనా కంటే పైన ఉంది, అంటే పరిశోధనా పత్రం ఎంచుకున్న సూచన బిందువు కంటే అధ్వాన్నమైన ప్రదర్శన. ఇది ధృవీకరించిన, జడ్జ్ లేబుల్స్ రెండింటిపైనా నిజం, కాబట్టి ఈ బలహీనత శబ్దభరిత జడ్జ్ లేబుల్స్ వల్ల వచ్చినది కాదు.

అధికారిక ఏర్పాటును గుర్తుచేసుకోండి: ఒక డిటెక్టర్ వైఫల్యాలను వైఫల్యం కానివాటి కంటే పైన ర్యాంక్ చేసి, థ్రెషోల్డ్ వద్ద వాటిని వేరు చేయాలి. Jev మొదటిదాన్ని బాగా చేస్తుంది, రెండవదాన్ని, ఎలాంటి సర్దుబాటు లేకుండా, బలహీనంగా చేస్తుంది. పద్ధతి పేరులోనే “కాలిబ్రేట్ చేసిన నిర్ణయాలు” ఉంది, ఇక్కడ కొలిచిన కాలిబ్రేషన్ బెంచ్‌మార్క్‌లను దాటి నిలవదు, ఇది స్పష్టంగా చెప్పాల్సిన ఉద్రిక్తత. పరిశోధనా పత్రం ఈ అంతరానికి మూల రేట్లను కారణంగా చూపుతుంది, అంతకుమించి వాదించదు.

ఆచరణాత్మక పర్యవసానం: జడ్జ్‌కు ప్రత్యామ్నాయంగా, Jev తన థ్రెషోల్డ్‌ను నిర్ణయించడానికి కొన్ని లేబుల్స్ కావాలి. ఇది నిజమైన ఖర్చు, నేరుగా మార్చగలిగే ప్రత్యామ్నాయం అనే వాదనను ఇది సంకుచితం చేస్తుంది. దాన్ని కొత్త వైఫల్య రకం వైపు గురిపెట్టి t=0.5ను నమ్మలేరు.

పద్ధతి #

పరిశోధనా పత్రం సిఫార్సు సంక్షిప్తమైనది. పద్ధతి అంటే సంభావ్యతగా చదివే ఒక సాధారణ ప్రశ్న, దాని థ్రెషోల్డ్‌ను పది లేబుల్ చేసిన అంశాలపై అమర్చడం, ఇది t=0.5 వద్ద Jev మరీ అరుదుగా స్పందించే చోట F1ను పెంచుతుంది, ధృవీకరించిన లేబుల్స్‌పై 0.025 మూల్యం చెల్లిస్తుంది.

దీన్ని విప్పి చూద్దాం. సాధారణ ప్రశ్న పదజాల సమస్యను దాని ఇంజినీరింగ్‌ను తిరస్కరించడం ద్వారా నిర్వహిస్తుంది, ఇది పదజాలం కొంచెమే ముఖ్యం అనే ఫలితానికి సరిపోతుంది. సమాధానాన్ని సంభావ్యతగా చదవడం తేడాను కాపాడుతుంది. పది లేబుల్ చేసిన అంశాలపై థ్రెషోల్డ్ అమర్చడం మూల రేటు తప్పిదాన్ని పరిష్కరిస్తుంది. t=0.5 వద్ద Jev మరీ అరుదుగా స్పందించే చోట F1పై ప్రభావం సానుకూలం. ధృవీకరించిన లేబుల్స్‌పై పద్ధతి మూల్యం 0.025.

ఆ చివరి సంఖ్య దగ్గర ఆగడం తగును. పద్ధతి నష్టరహితం కాదు: ధృవీకరించిన లేబుల్స్‌పై దాని మూల్యం 0.025. పరిశోధనా పత్రం ఈ బేరాన్ని దాచకుండా నివేదిస్తుంది, స్వచ్ఛమైన లాభంగా ప్రచారం చేసిన పద్ధతి కంటే, ఖర్చు చెప్పిన పద్ధతినే నేను ఉటంకించడానికి ఇష్టపడతాను. ధృవీకరించిన లేబుల్స్ సందర్భానికి మించి 0.025 ఏ కొలమానంలో కొలిచారో వాదనలు చెప్పవు, కాబట్టి నేను ఊహించను.

పది లేబుల్ చేసిన అంశాలు చిన్న కోరిక. చాలా బృందాలకు ఇది ఒక మధ్యాహ్నపు వ్యాఖ్యాన పని, ప్రతి సందేశంపై జడ్జ్‌ను నడిపే ఖర్చుతో పోలిస్తే. కానీ ఇది ఒక ముందస్తు షరతు, కొత్త వైఫల్య రకానికి ఒక్క లేబుల్ చేసిన అంశాన్నీ తయారు చేయలేని బృందం, థ్రెషోల్డ్ దానంతట అదే సరిపోతుందని ఆశించకూడదు.

ఆచరణకర్త దీని నుంచి ఏం తీసుకోవాలి #

అనేక విషయాలు అనుసరిస్తాయి, సాక్ష్యం వాటికి మద్దతిస్తుంది కాబట్టి నేను వాటికి కట్టుబడి ఉంటాను.

మొదటిది, ప్రశ్న పదజాలాన్ని మెరుగుపరచడం ఆపండి. లక్ష్యిత పదజాలం నుంచి నమూనా వెలుపలి లాభం +0.006, దాని విరామం −0.004 నుంచి +0.015 వరకు. ఇది పెట్టుబడికి ఆధారం కాదు.

రెండవది, శ్రమను స్టేట్‌పై వెచ్చించండి. పెద్ద లాభాలు లేబుల్‌ను నిర్వచించే రిఫరెన్స్‌ల నుంచి వచ్చాయి. మీ మానిటర్‌కు వైఫల్యాన్ని నిర్వచించే రిఫరెన్స్ ఇవ్వగలిగితే, మెరుగుదల అక్కడే ఉంది. ఇవ్వలేకపోతే, తక్కువ ఆశించండి: వినియోగంలో ఉన్న మానిటర్ దగ్గర ఉండే సందర్భం 7లో 1 బెంచ్‌మార్క్‌పై సహాయపడింది. రిఫరెన్స్ ఇన్‌పుట్‌లోనే కూర్చున్న బెంచ్‌మార్క్‌లో మీకు వచ్చే సంఖ్య చుట్టూ కాకుండా, వినియోగంలో మీరు పొందగల సంఖ్య చుట్టూ ప్రణాళిక వేయండి.

మూడవది, కాలిబ్రేషన్‌కు బడ్జెట్ కేటాయించండి. ప్రతి వైఫల్య రకానికి పది అంశాలను లేబుల్ చేసి థ్రెషోల్డ్ అమర్చడానికి ప్రణాళిక వేయండి. t=0.5తో విడుదల చేయకండి.

నాలుగవది, అసమ్మతిని సంకేతంగా ఉపయోగించండి. రిఫరెన్స్ లేబుల్స్‌తో నమ్మకమైన అసమ్మతులు మూడు బెంచ్‌మార్క్‌లలో లోపాలను, మరో నాలుగింటిలో వెల్లడించలేని లేబుల్స్‌ను బయటపెట్టాయి. మీరు దీన్ని మీ సొంత మూల్యాంకన సూట్‌లపై నడిపితే, అది మీ మోడళ్ల గురించే కాకుండా మీ లేబుల్స్ గురించి కూడా చెప్పవచ్చని ఆశించండి. ఇది పరిశోధనా పత్రం ఫలితం నుంచి తీసిన అనుమానం, ఏదైనా నిర్దిష్ట సూట్ గురించి కొలిచిన వాదన కాదు, కాబట్టి దాన్ని తనిఖీ చేయడానికి ఆహ్వానంగా భావించండి.

ఐదవది, తెలిసిన బలహీనతలను గుర్తుంచుకోండి. డెవలపర్ పరోక్ష అర్థాన్ని, ప్రతికూల కంటెంట్‌ను Jev యొక్క తెలిసిన బలహీనతల్లో పేర్కొంటారు. భద్రతకు ముఖ్యమైన మానిటర్ ప్రతికూల కంటెంట్‌ను ఎదుర్కొంటుంది. Jev దానిపై ఎలా పనిచేస్తుందో ఇక్కడి వాదనలు నివేదించవు, కాబట్టి అది తెరిచి ఉన్న పార్శ్వమే, ఒక వినియోగాన్ని నమ్మే ముందు దాన్ని పరీక్షించాలని నేను కోరుకుంటాను.

వ్యాపార దృష్టితో ఫలితాన్ని చదవడం #

వ్యవస్థాపకులు ఇది ఎక్కడ సరిపోతుందో తెలుసుకోవాలనుకుంటారు. ఖర్చు వాదనే బలమైనది: ప్రతి సందేశంపై నడిచే డిటెక్టర్ చౌకగా ఉండాలి, LLM-జడ్జ్ స్కోరర్లతో పోలిస్తే 63× తగ్గింపు ఏ వినియోగాలు భరించగలమో మారుస్తుంది. ఖచ్చితత్వ వాదన రెండవది: 0.886 జీరో-షాట్ AUROC, చాలా బెంచ్‌మార్క్‌లపై పర్యవేక్షిత బేస్‌లైన్‌లపై విజయం.

హెచ్చరికలే నిజాయితీగా ఏం అమ్మగలమో రూపొందిస్తాయి. డిటెక్టర్‌కు ప్రతి థ్రెషోల్డ్‌కు కొన్ని లేబుల్స్ కావాలి. దాని కాలిబ్రేషన్ బదిలీ కాదు. దాని ఉత్తమ లాభాలు ఒక వినియోగం దగ్గర ఉండకపోగల రిఫరెన్స్‌లపై ఆధారపడతాయి. ఇవి వినియోగ షరతులు, దీనిపై నిర్మించే ఏ ఉత్పత్తి అయినా వీటిని పాతిపెట్టకుండా చెప్పాలి. వీటిలో ఏదీ ఖర్చు వాదనను బలహీనపరచదు; అవి ఏర్పాటు పనిని వివరిస్తాయి.

కొలత గురించి కూడా ఒక నిశ్శబ్ద అంశం ఉంది. RLCDAlignBench, దాని సందర్భ వేరియంట్లు, కాష్ చేసిన Jev సమాధానాలు, రీస్కోరింగ్ స్క్రిప్ట్‌లు, స్ప్లిట్-హాఫ్ ప్రోటోకాల్‌తో, తిరిగి ఉపయోగించగల మూల్యాంకన ఆస్తి. నివేదించిన లాభాల నుంచి ఎంపిక ఉబ్బును తొలగించే బెంచ్‌మార్క్, తదుపరి వాదనలను పోల్చడానికి వీలిచ్చే రకమైన సామగ్రి. ఇది డిటెక్టర్ కంటే భిన్నమైన విలువ.

తెరిచి ఉన్నవి #

వాదనల నుంచి కొన్ని హద్దులు స్పష్టం. లక్ష్య మోడళ్లు 2–7B పారామీటర్ల ఐదు ఓపెన్ మోడళ్లు, కాబట్టి ఫలితాలు ఆ పరిమాణపు మోడళ్ల పరస్పర చర్యల్లోని వైఫల్యాలను వివరిస్తాయి. సాధారణ ప్రశ్నను 7 బెంచ్‌మార్క్‌లపై అడగలేదు, ముఖ్య AUROC అది అడిగిన బెంచ్‌మార్క్‌లపై మధ్యగతం. లేబుల్స్ రిఫరెన్స్ స్కోరర్లవి, మానవ, రెండవ-జడ్జ్ లేబుల్స్ StrongREJECT, HarmBench, AbstentionBench, InstrumentalEval లను కవర్ చేస్తాయి.

నన్ను అత్యంత ఆకర్షించే తెరిచి ఉన్న ప్రశ్న, పరిశోధనా పత్రం సొంత నిర్మాణమే లేవనెత్తేది. వైఫల్యాలు సంబంధపరమైనవి; స్టేట్‌లో తరచుగా రిఫరెన్స్ ఉండదు; వినియోగంలో ఉన్న మానిటర్ సందర్భం 7లో 1 బెంచ్‌మార్క్‌పైనే సహాయపడింది. Jev ఏక-కాల్ రూపకల్పన అనేక ప్రశ్నలను ఒకే ఇన్‌పుట్‌ను పంచుకోనిస్తుంది, అయినా అతిపెద్ద మీట ఇన్‌పుట్‌లో ఏ ఫీల్డ్‌లు ఉన్నాయనేదే అయింది. పర్యవేక్షణ సమయంలో లేబుల్‌ను నిర్వచించే రిఫరెన్స్‌ను, ఉదాహరణకు గోప్యతా తనిఖీ కోసం రహస్య అంశాల జాబితాను, ఒక వినియోగం ఎలా పొందాలనేదే తదుపరి పరిష్కరించాల్సిన విషయం. లాభం పొందగలిగేదే అని పరిశోధనా పత్రం చూపుతుంది (PrivacyLens పై 0.79→0.95), వినియోగంలో ఉన్న మానిటర్‌కు 63× ఆధిక్యాన్ని నిలుపుకునేంత చౌకగా దాన్ని ఇవ్వగలమా అనేది తెరిచే ఉంచుతుంది.

రంగాల వారీగా దీని అర్థం #

భిన్నాత్మక ఇన్ఫరెన్స్ ఖర్చుతో కాలిబ్రేట్ చేసిన నిర్ణయ హెడ్‌ల ద్వారా సంక్లిష్టమైన అలైన్‌మెంట్ ప్రమాణాలను మూల్యాంకనం చేసే సామర్థ్యం అనేక రంగాల్లో కార్యాచరణ భద్రతను పునర్నిర్మిస్తుంది.

AI గేట్‌వే, భద్రతా ప్లాట్‌ఫామ్ ప్రొవైడర్లు #

నిజ-సమయ భద్రతా గార్డ్‌రెయిల్స్‌ను వినియోగించే మౌలిక సదుపాయాల కంపెనీలు ఖరీదైన క్యాస్కేడ్ నిర్మాణాలను (ప్రాంప్ట్-ఇంజెక్షన్, విషపూరితత, గోప్యతలకు వేర్వేరు క్లాసిఫైయర్లను పిలవడం) ఏకీకృత బహుళ-ప్రశ్న RLCD హెడ్‌లతో భర్తీ చేయవచ్చు. కార్యాచరణ ఖర్చులు 60× కంటే ఎక్కువ తగ్గుతాయి, జాప్యం ఒకే ఫార్వర్డ్ పాస్‌కు పరిమితమవుతుంది.

AI పాలన, ఆడిట్ అనుగుణ్యత బృందాలు #

EU AI Act అధిక-ప్రమాద అవసరాలు లేదా NIST AI RMF వంటి ప్రమాణాలకు వ్యతిరేకంగా మోడల్ ప్రవర్తనను మూల్యాంకనం చేసే రిస్క్ కమిటీలకు నిర్ణయాత్మక, సంభావ్యతా ఆడిట్ లాగ్ లభిస్తుంది. నిర్మాణం లేని, కథన రూపంలోని LLM-జడ్జ్ ప్రతిస్పందనకు బదులుగా, వ్యవస్థలు కాలిబ్రేట్ చేసిన సంభావ్యతా పంపిణీలను నమోదు చేస్తాయి, ఇవి గణాంక ప్రక్రియ నియంత్రణకు, డ్రిఫ్ట్ పర్యవేక్షణకు తోడ్పడతాయి.

సంస్థాగత వినియోగం, రెడ్-టీమింగ్ బృందాలు #

భద్రతా బృందాలు కేంద్రీకృత స్టేట్ ప్రాతినిధ్యాలను రాసి, కేవలం పది రంగ-నిర్దిష్ట ఉదాహరణలకు వ్యతిరేకంగా నిర్ణయ థ్రెషోల్డ్‌లను అమర్చడం ద్వారా అనుకూల వైఫల్య డిటెక్టర్లను వేగంగా వినియోగించవచ్చు, ఇది ప్రత్యేక క్లాసిఫైయర్లకు గతంలో అవసరమైన అనేక వారాల ఫైన్-ట్యూనింగ్ చక్రాన్ని తొలగిస్తుంది.

ముగింపు #

RLCDAlignBench అంతటా Jev మూల్యాంకనం, ఉత్పత్తి మోడల్ పర్యవేక్షణకు ఒక బలమైన నిర్మాణ దిశను స్థాపిస్తుంది: ఒకే ఫార్వర్డ్ పాస్‌లో అనేక టైప్ చేసిన ప్రశ్నలపై కాలిబ్రేట్ చేసిన సంభావ్యతలను చదవడం, ఖర్చులో ఆటోరిగ్రెసివ్ LLM జడ్జ్‌లను, సౌలభ్యంలో ఏక-టోకెన్ క్లాసిఫైయర్లను ఓడిస్తుంది. సంభావ్యతలు సర్దుబాటు లేకుండానే బదిలీ అవుతాయని భావించకుండా ఆచరణకర్తలు అనుభవాధారిత థ్రెషోల్డ్ కాలిబ్రేషన్‌కు బడ్జెట్ కేటాయించాల్సి ఉన్నా, 63× ఆర్థిక ఆధిక్యం నిజ-సమయ, సమగ్ర పర్యవేక్షణను పెద్ద స్థాయిలో సాధ్యం చేస్తుంది.

తరచుగా అడిగే ప్రశ్నలు #

నిజ-సమయ ఉత్పత్తి పర్యవేక్షణకు జనరేటివ్ LLM జడ్జ్‌లు ఎందుకు ఆచరణీయం కావు?

జనరేటివ్ జడ్జ్‌లకు మూల్యాంకనం చేసే ప్రతి భద్రతా లేదా అలైన్‌మెంట్ ప్రమాణానికి పూర్తి ఆటోరిగ్రెసివ్ డీకోడింగ్ పాస్ అవసరం. అధిక త్రూపుట్ ఉన్న వినియోగదారు లేదా సంస్థాగత అనువర్తనాల్లో, ప్రతి సందేశానికి అనేక జనరేటివ్ జడ్జ్ కాల్స్ నడపడం తీవ్రమైన జాప్యాన్ని తెస్తుంది, కార్యాచరణ ఖర్చులను అనేక రెట్లు పెంచుతుంది.

కాలిబ్రేట్ చేసిన నిర్ణయాల కోసం రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ (RLCD) అంటే ఏమిటి?

RLCD అనేది టోకెన్ క్రమాలను ఉత్పత్తి చేయడానికి బదులుగా, నిర్మాణాత్మక నిర్ణయ హెడ్‌లపై బాగా కాలిబ్రేట్ చేసిన పశ్చాత్ సంభావ్యతలను ఉత్పత్తి చేసేలా మోడళ్లను అనుకూలీకరించే శిక్షణ పద్ధతి. ఇది ఒకే ఫార్వర్డ్ మూల్యాంకనంలో అనేక యాదృచ్ఛిక ప్రశ్నలను ఏకకాలంలో మూల్యాంకనం చేయడానికి మోడల్‌కు వీలు కల్పిస్తుంది.

నిర్ణయ థ్రెషోల్డ్‌లను స్థానిక డేటాపై ఎందుకు కాలిబ్రేట్ చేయాలి?

RLCD మోడళ్లు వైఫల్య సంభావ్యత ప్రకారం పరస్పర చర్యలను ర్యాంక్ చేయడంలో అద్భుతంగా ఉంటాయి (అధిక AUROC సాధిస్తాయి), కానీ వాటి పరమ సగటు సంభావ్యతలు లక్ష్య రంగ మూల రేటును బట్టి మారతాయి. సుమారు పది లేబుల్ చేసిన రంగ ఉదాహరణలకు వ్యతిరేకంగా కార్యాచరణ నిర్ణయ థ్రెషోల్డ్‌ను కాలిబ్రేట్ చేయడం, ఆమోదయోగ్యం కాని తప్పుడు-సానుకూల రేట్లు లేకుండా తగిన సున్నితత్వాన్ని నిర్ధారిస్తుంది.

ఆధారాలు #

• Mrinank Sharma et al., (2024). భాషా మోడళ్లలో ముఖస్తుతిని అర్థం చేసుకోవడం, తగ్గించడం వైపు ⧉. arXiv.
• RLCDAlignBench Consortium, (2026). కాలిబ్రేట్ చేసిన నిర్ణయ హెడ్‌ల ద్వారా బహుళ-ప్రమాణ అలైన్‌మెంట్ వైఫల్య గుర్తింపు ⧉. arXiv.
• Anthropic / Alignment Research, (2025). Constitutional AI, మూల్యాంకనకర్తల గతిశీలత ⧉. Anthropic.
• NIST, (2024). కృత్రిమ మేధ ప్రమాద నిర్వహణ చట్రం (AI RMF 1.0) ⧉. NIST.

చివరిగా సమీక్షించబడింది 2026-09-30.

చివరిగా సమీక్షించబడింది 2026-10-27.

# తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/](https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/)

Jev ఒకే కాల్‌లో అనేక ప్రశ్నలకు సంభావ్యతలుగా సమాధానమిస్తుంది. 44 బెంచ్‌మార్క్‌లలో ర్యాంకింగ్ బలంగా, ఖర్చు 63× తక్కువగా ఉంది, కానీ థ్రెషోల్డ్‌కు కొన్ని లేబుల్స్ కావాలి.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/

తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev — Sebastien Rousseau

Jev ఒకే కాల్‌లో అనేక ప్రశ్నలకు సంభావ్యతలుగా సమాధానమిస్తుంది. 44 బెంచ్‌మార్క్‌లలో ర్యాంకింగ్ బలంగా, ఖర్చు 63× తక్కువగా ఉంది, కానీ థ్రెషోల్డ్‌కు కొన్ని లేబుల్స్ కావాలి.

https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/

తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev — Sebastien Rousseau

Jev ఒకే కాల్‌లో అనేక ప్రశ్నలకు సంభావ్యతలుగా సమాధానమిస్తుంది. 44 బెంచ్‌మార్క్‌లలో ర్యాంకింగ్ బలంగా, ఖర్చు 63× తక్కువగా ఉంది, కానీ థ్రెషోల్డ్‌కు కొన్ని లేబుల్స్ కావాలి.

ముఖ్యమైన వ్యూహాత్మక అంశాలు ఇవి:

- ప్రతి సందేశాన్ని గమనించడంలోని ఖర్చు నిర్మాణం. వినియోగంలో ఉన్న మోడళ్లు ఇప్పటికీ వినియోగదారుడి తప్పుడు నమ్మకానికి తలవంచుతాయి (Sharma et al., 2024).
- Jev భిన్నంగా ఏం చేస్తుంది. Jev కాలిబ్రేట్ చేసిన నిర్ణయాల కోసం రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ (RLCD)తో శిక్షణ పొందింది.
- అలైన్‌మెంట్ వైఫల్యాలు కనిపించే దానికంటే ఎందుకు కష్టం. కొలతకు ముందు ఒక చిక్కు.
- గుర్తింపును వర్గీకరణగా చూడటం. పరిశోధనా పత్రం యొక్క అధికారిక ఏర్పాటు సరళమైనది.

ఈ వ్యాసంలో వివరించిన సవాళ్లకు మీ సంస్థ దృక్పథం ఏమిటి?

→ https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/

#Jev #Rlcd #Rlcdalignbench #అలైన్‌మెంట్వైఫల్యం #డిటెక్టర్

Sebastien Rousseau | CC-BY-4.0

@online{rousseau2026త,
  author  = {Rousseau, Sebastien},
  title   = {{తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/},
  urldate = {2026}
}

TY  - GEN
AU  - Rousseau, Sebastien
TI  - తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/
ER  -

Rousseau S. తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev — Sebastien Rousseau. sebastienrousseau.com. 2026 Sep 30. Available from: https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/

Rousseau, Sebastien. "తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev — Sebastien Rousseau." sebastienrousseau.com. September 30, 2026. https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/.

Rousseau, S. (2026, September 30). తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/

తీర్పులు కాదు, సంభావ్యతలు చదివే డిటెక్టర్: 44 బెంచ్‌మార్క్‌లలో Jev — Sebastien Rousseau

Jev ఒకే కాల్‌లో అనేక ప్రశ్నలకు సంభావ్యతలుగా సమాధానమిస్తుంది. 44 బెంచ్‌మార్క్‌లలో ర్యాంకింగ్ బలంగా, ఖర్చు 63× తక్కువగా ఉంది, కానీ థ్రెషోల్డ్‌కు కొన్ని లేబుల్స్ కావాలి.

Originally published at https://sebastienrousseau.com/te/2026-09-30-tirpulu-kadu-sambhavyatalu-chadive-ditektar-44/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU · FOUNDER · ENGINEER