फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev

अलाइनमेंट विफलताओं का एक डिटेक्टर जो एक ही कॉल में कई टाइप किए गए प्रश्नों का उत्तर कैलिब्रेटेड संभावनाओं के साथ देता है, विफलताओं की अच्छी रैंकिंग करता है और LLM-जज स्कोरर से 63× सस्ता है। पर ये संभावनाएँ थ्रेशोल्ड के रूप में स्थानांतरित नहीं होतीं, और प्रश्न के शब्दों से कहीं ज़्यादा लेबल और उसका संदर्भ मायने रखते हैं।

हर संदेश पर नज़र रखने की लागत का ढाँचा #

तैनात मॉडल अब भी उपयोगकर्ता की ग़लत धारणा के आगे झुक जाते हैं (Sharma et al., 2024)। यह एक साधारण-सा वाक्य है, पर पूरी समस्या का ढाँचा यही तय करता है। अगर इस तरह की चाटुकारिता (सिकोफ़ैंसी) तैनात प्रणालियों में बनी रहती है, तो किसी को इस पर नज़र रखनी होगी, और यह निगरानी उसी गति से होनी होगी जिस गति से बातचीत चलती है।

यहीं अर्थशास्त्र चुभता है। डिटेक्टर को सटीक होना चाहिए और, क्योंकि वह हर संदेश पर चलता है, सस्ता भी। इनमें से कोई एक गुण अकेले पाना आसान है: लापरवाह डिटेक्टर सस्ता होता है, और सावधान डिटेक्टर जो हर संदेश पर चलाने के लिए बहुत महँगा है, ट्रैफ़िक के सिर्फ़ एक नमूने पर नज़र रखता है। दिलचस्प इंजीनियरिंग प्रश्न यह है कि किस आकार का डिटेक्टर दोनों हो सकता है।

इस लेख के पीछे के शोधपत्र के अनुसार, मौजूदा उत्तर में एक संरचनात्मक कमी है। अलाइनमेंट विफलताओं के ज़्यादातर डिटेक्टर जनरेटिव जज हैं जो हर मानदंड पर एक डिकोडिंग पास ख़र्च करते हैं। सीधे शब्दों में, मौजूदा डिटेक्टर जिस भी मानदंड की जाँच करते हैं, उसके लिए एक डिकोडिंग पास चुकाते हैं। दस अलग-अलग विफलता प्रकारों की जाँच करना चाहने वाला मॉनिटर दस पास चुका रहा है, और बिल उन चीज़ों की संख्या के साथ रैखिक रूप से बढ़ता है जिनकी आपको परवाह है।

एक आंशिक समाधान है, और उसकी सीमाओं के बारे में सटीक रहना ज़रूरी है। टोकन संभावनाएँ पढ़ने वाले क्लासिफ़ायर, जैसे Llama Guard, अब भी हर कॉल में एक तय लेबल को स्कोर करते हैं। टोकन संभावनाएँ पढ़ने से स्कोर तो मिलता है, पर हर कॉल अब भी एक ही लेबल या मानदंड को स्कोर करती है, क्योंकि संभावना एक ही फ़ैसला-टोकन से पढ़ी जाती है। डिकोडिंग पास चला गया, फिर भी एक-कॉल-एक-प्रश्न वाली संरचना बनी रहती है। आपने हर कॉल को सस्ता कर दिया, पर ज़रूरी कॉल की संख्या नहीं बदली।

तो संरचनात्मक दावा यह है: जनरेटिव जज प्रति मानदंड महँगे हैं, और संभावना पढ़ने वाले क्लासिफ़ायर प्रति मानदंड सस्ते हैं पर फिर भी हर एक मानदंड से बँधे हैं। दोनों में से कोई भी आपको एक ही इनपुट के बारे में एक साथ कई प्रश्न पूछने नहीं देता।

Jev अलग क्या करता है #

Jev को कैलिब्रेटेड निर्णयों के लिए रीइन्फ़ोर्समेंट लर्निंग (RLCD) से प्रशिक्षित किया गया है। वह एक इनपुट के बारे में कई टाइप किए गए प्रश्नों का उत्तर एक ही कॉल में कैलिब्रेटेड संभावनाओं के साथ देता है। इस तंत्र को सावधानी से बताना ज़रूरी है, क्योंकि बाक़ी लेख इसी पर टिका है।

RLCD मॉडल पाठ जनरेट करने के बजाय हर टाइप किए गए प्रश्न के लिए कैलिब्रेटेड संभावना के साथ एक निर्णय लौटाता है। ऐसा कोई जनरेशन चरण नहीं है जिसमें फ़ैसला लिखा जाए और फिर उसे पार्स किया जाए। Jev एक इनपुट के बारे में, जिसे शोधपत्र स्टेट कहता है, कई बाइनरी, श्रेणीगत और क्रमसूचक प्रश्नों का उत्तर एक ही कॉल में देता है। स्टेट इनपुट है; प्रश्न वे बातें हैं जो आप उसके बारे में पूछते हैं।

यह ऊपर के दोनों तरीक़ों से अलग लागत वक्र है। अगर प्रश्न एक कॉल साझा करते हैं, तो एक और प्रश्न जोड़ने से एक और डिकोडिंग पास नहीं जुड़ता। एक साथ कई विफलता प्रकारों की परवाह करने वाले मॉनिटर के लिए इसका फ़ायदा स्पष्ट है, हालाँकि शोधपत्र के माप इस बारे में हैं कि एक अकेला सामान्य प्रश्न क्या हासिल करता है, और मैं उसी पर टिका रहूँगा जो मापा गया।

फिर भी एक कमी थी। Jev अलाइनमेंट विफलताओं को पहचानता है या नहीं, यह मापा नहीं गया था। टाइप किए गए प्रश्नों का उत्तर कैलिब्रेटेड संभावनाओं के साथ देने वाला मॉडल इस काम के लिए उपयुक्त लगता है, और उपयुक्त लगना सस्ता है। शोधपत्र इसी छूटे हुए माप को देने निकलता है।

अलाइनमेंट विफलताएँ जितनी दिखती हैं उससे कठिन क्यों हैं #

माप से पहले एक उलझन। इनमें से कई विफलताएँ संबंधपरक होती हैं, यानी उन्हें ऐसे संदर्भ के सापेक्ष परिभाषित किया जाता है जिसे अकेला उत्तर प्रकट नहीं करता। चाटुकारिता इस सामान्य विचार का अच्छा उदाहरण है: कोई उत्तर उपयोगकर्ता की ग़लत धारणा के आगे झुकता है या नहीं, यह इस पर निर्भर करता है कि धारणा क्या है और क्या वह ग़लत है, और इनमें से कोई भी तथ्य अकेले उत्तर के पाठ में दिखाई नहीं देता।

डिटेक्टर के डिज़ाइन पर इसका एक परिणाम है, जिसे शोधपत्र उचित सावधानी के साथ कहता है। जो डिटेक्टर केवल उत्तर देखता है, उसके पास शायद वह संदर्भ न हो जो विफलता को परिभाषित करता है। “शायद” शब्द मायने रखता है; दावा यह नहीं कि हर विफलता को संदर्भ चाहिए, बस यह कि कुछ को चाहिए और केवल-उत्तर वाला दृष्टिकोण उसे चूक सकता है।

इससे निदान भी जटिल होता है। अगर विफलताएँ संबंधपरक हैं, तो ख़राब पहचान प्रश्न से भी आ सकती है और ऐसे स्टेट से भी जिसमें संदर्भ नहीं है। दो चीज़ें ग़लत हो सकती हैं, और कम स्कोर यह नहीं बताता कि कौन-सी। शायद प्रश्न के शब्द ख़राब थे। शायद प्रश्न ठीक था और इनपुट में वह था ही नहीं जो उत्तर देने के लिए चाहिए था। जो बेंचमार्क किसी डिटेक्टर के बारे में कुछ उपयोगी कहना चाहता है, उसे ऐसे बनाना होगा कि इन दोनों कारणों को अलग किया जा सके।

डेवलपर, अपनी ओर से, अप्रत्यक्ष अर्थ और प्रतिकूल (एडवर्सेरियल) सामग्री को Jev की ज्ञात कमज़ोरियों में गिनाता है। बाद में परिणाम पढ़ते समय यह याद रखना उचित है, क्योंकि कुछ विफलता प्रकार ठीक इन्हीं गुणों पर टिके हैं।

पहचान को वर्गीकरण की तरह देखना #

शोधपत्र का औपचारिक ढाँचा सीधा है। वह अलाइनमेंट विफलता की पहचान को किसी लक्ष्य मॉडल के इंटरैक्शन पर बाइनरी वर्गीकरण मानता है। डिटेक्टर एक स्कोर s(x) ∈ [0, 1] देता है और x को तब चिह्नित करता है जब s(x) ≥ t। इसका मतलब है कि उसे विफलताओं को ग़ैर-विफलताओं से ऊपर रैंक भी करना है और थ्रेशोल्ड t पर उन्हें अलग भी करना है।

ये दोनों ज़िम्मेदारियाँ अलग की जा सकती हैं, और शोधपत्र के परिणाम ठीक इसी सीवन पर बँटते हैं। रैंकिंग को AUROC मापता है। थ्रेशोल्ड पर अलग करना कैलिब्रेशन पर निर्भर करता है, और लेख इस पर लौटेगा क्योंकि Jev यहीं कमज़ोर पड़ता है। कोई डिटेक्टर बेहतरीन रैंकिंग करके भी t=0.5 पर बेकार हो सकता है, अगर उसकी संभावनाएँ ग़लत जगह बैठी हों।

RLCDAlignBench #

बेंचमार्क का नाम RLCDAlignBench है। यह 44 बेंचमार्क और 7,193 पहचान उदाहरणों में दस विफलता प्रकारों को कवर करता है। उदाहरण पाँच ओपन 2–7B लक्ष्य मॉडलों से आते हैं, और हर एक को उसके बेंचमार्क के संदर्भ स्कोरर ने लेबल किया है। यानी जिन इंटरैक्शन का मूल्यांकन हो रहा है वे छोटे ओपन मॉडलों से आते हैं, और हर एक का ग्राउंड ट्रुथ वही है जो मूल बेंचमार्क का अपना स्कोरर कहता है।

हर बेंचमार्क में एक ही तरह का लेबल नहीं है। Jev की तुलना किसी जज से करने के लिए StrongREJECT और HarmBench पर मानवीय लेबल, और AbstentionBench और InstrumentalEval पर दूसरे जज के लेबल इस्तेमाल होते हैं। इससे शोधपत्र को संदर्भ स्कोररों पर दो तरह की बाहरी जाँच मिलती है: कुछ मामलों में लोग, कुछ में दूसरा जज।

जारी की गई सामग्री को इस रूप में बताया गया है: संदर्भ वेरिएंट के साथ दस विफलता प्रकारों में 44 बेंचमार्क, कैश किए गए Jev उत्तर और दोबारा स्कोर करने वाली स्क्रिप्ट, साथ में एक स्प्लिट-हाफ़ प्रोटोकॉल जो रिपोर्ट किए गए लाभों से चयन-जनित फुलाव हटाता है। हर तत्व एक व्यावहारिक ज़रूरत पूरी करता है। संदर्भ वेरिएंट पाठक को यह पूछने देते हैं कि स्टेट में ज़्यादा जानकारी हो तो क्या होता है। कैश किए गए उत्तर और दोबारा स्कोर करने वाली स्क्रिप्ट किसी को मॉडल दोबारा चलाए बिना कोई संख्या दोहराने देती हैं। स्प्लिट-हाफ़ प्रोटोकॉल एक पद्धतिगत जाल से निपटता है, जो अपने अलग खंड का हक़दार है।

चयन का जाल #

Jev से एक ही इनपुट के बारे में कई प्रश्न पूछे जा सकते हैं। यही उसकी ख़ूबी है, और मूल्यांकन के लिए यही एक जोखिम भी। अगर आप उम्मीदवार प्रश्नों का एक सेट रखते हैं और जो सबसे अच्छा स्कोर करे उसे रिपोर्ट करते हैं, तो आपने प्रश्नों पर खोज की और विजेता को रिपोर्ट किया। शोधपत्र इसे सीधे कहता है: इनमें से सबसे अच्छे को रिपोर्ट करना उससे ज़्यादा बताएगा जो किसी व्यवसायी को सचमुच मिलता है।

जिसने भी किसी टेस्ट सेट के सामने प्रॉम्प्ट ट्यून किया है, वह इसे पहचान लेगा। यहाँ इस्तेमाल किया गया उपाय सरल है। प्रश्न मदों के एक आधे हिस्से पर चुने जाते हैं और दूसरे आधे पर स्कोर किए जाते हैं। लक्षित प्रश्न मदों के एक आधे पर चुना जाता है और दूसरे आधे पर स्कोर किया जाता है, 20 विभाजनों पर। चयन उन मदों को कभी नहीं छूता जिनसे रिपोर्ट की गई संख्या निकलती है।

नीचे रिपोर्ट किए गए हर लाभ को पढ़ने के तरीक़े के लिए यह मायने रखता है। शोधपत्र का दावा है कि स्प्लिट-हाफ़ प्रोटोकॉल रिपोर्ट किए गए लाभों से चयन-जनित फुलाव हटाता है। जब शोधपत्र कहता है कि लक्षित शब्दावली +0.006 AUROC का माध्य लाभ देती है, तो वह आँकड़ा अलग-अलग आधों पर चुनी और स्कोर की गई शब्दावली से आता है। ईमानदारी से मापा गया इतना छोटा आँकड़ा उस बड़े आँकड़े से ज़्यादा उपयोगी है जिसमें चुपचाप विजेता का अभिशाप शामिल हो।

मुख्य परिणाम: एक सामान्य प्रश्न #

अब वह परिणाम जो ज़्यादातर पाठक चाहेंगे। एक अकेला सामान्य प्रश्न ज़ीरो-शॉट में 0.886 का माध्य AUROC पाता है और ज़्यादातर बेंचमार्क पर पर्यवेक्षित बेसलाइन को पीछे छोड़ देता है।

शब्दों को एक-एक करके लें। “अकेला सामान्य प्रश्न” का अर्थ है कि हर बेंचमार्क के लिए प्रॉम्प्ट की कोई इंजीनियरिंग नहीं हुई। “ज़ीरो-शॉट” का अर्थ है कि लक्ष्य बेंचमार्क पर कोई प्रशिक्षण नहीं। “ज़्यादातर बेंचमार्क पर पर्यवेक्षित बेसलाइन को पीछे छोड़ता है” का अर्थ है कि जिन प्रणालियों को कार्य के लेबल वाले डेटा पर प्रशिक्षित किया गया, वे जाँचे गए ज़्यादातर बेंचमार्क पर एक ऐसे प्रश्न से हार जाती हैं जिसे किसी ने ट्यून नहीं किया। दावा “ज़्यादातर” पर रुकता है, और यह लेख भी वहीं रुकेगा।

सामान्य प्रश्न एक टेम्पलेट प्रश्न है जिसे P(yes) के रूप में पढ़ा जाता है। आँकड़ा 38 उपयोग योग्य बेंचमार्क का AUROC बताता है, और सामान्य प्रश्न 7 बेंचमार्क पर नहीं पूछा गया। इसलिए मुख्य संख्या उन बेंचमार्क पर माध्य है जहाँ सामान्य प्रश्न लागू हुआ, जो 38 उपयोग योग्य बेंचमार्क में से लिए गए हैं। सावधान पाठकों को हरों का हिसाब साफ़ रखना चाहिए: कुल 44 बेंचमार्क हैं, इस आँकड़े के लिए 38 उपयोग योग्य हैं, और सामान्य प्रश्न में 7 का अंतर है।

मेरा तर्क है कि ज़ीरो-शॉट परिणाम वाक्य का ज़्यादा दिलचस्प आधा है। पर्यवेक्षित बेसलाइन को हराना तुलनात्मक स्थिति के बारे में एक कथन है। बिना किसी कार्य-विशिष्ट प्रशिक्षण के 0.886 का माध्य AUROC यह बताता है कि स्टेट पढ़कर एक सीधा प्रश्न का उत्तर देने वाले मॉडल को विफलता का कितना संकेत उपलब्ध है। क्या यह इन दस के बाहर के विफलता प्रकारों पर भी लागू होता है, इस पर दावे कुछ नहीं कहते।

शब्दों का लगभग कोई महत्व नहीं #

अगर आपने प्रॉम्प्ट इंजीनियरिंग पर समय लगाया है, तो अगला परिणाम चुभेगा। प्रश्न के शब्द कम मायने रखते हैं, जबकि संदर्भ ज़्यादा, मुख्य रूप से उन फ़ील्ड के ज़रिए जो लेबल को एन्कोड करते हैं।

शोधपत्र की व्याख्या विशिष्ट है। जब उत्तरों को argmax निर्णयों के बजाय संभावनाओं के रूप में रखा जाता है, तो प्रश्न के शब्द कम मायने रखते हैं और स्टेट और लेबल में क्या है, यह बहुत मायने रखता है। यह जानकारी के बारे में एक अवलोकन है। argmax निर्णय वह अंतर फेंक देता है जिससे एक उत्तर ने दूसरे को हराया, और शब्दों का एक बदलाव निर्णय को सीमा के पार पलट सकता है। संभावना वह अंतर रखती है, इसलिए साक्ष्य को थोड़ा खिसकाने वाला नया शब्द-विन्यास संभावना को थोड़ा ही हिलाता है और रैंकिंग को ज़्यादातर बरक़रार रखता है।

मैं इसे उसी तक सीमित रखूँगा जो शोधपत्र कहता है: जब संभावनाएँ रखी जाती हैं, तो शब्द कम मायने रखते हैं। मैं इसे इस बात की यांत्रिक व्याख्या तक नहीं बढ़ाऊँगा कि ऐसा क्यों है, क्योंकि दावे ऐसी कोई व्याख्या नहीं देते।

संख्याएँ इस कथन का समर्थन करती हैं। लक्षित शब्दावली +0.006 AUROC का माध्य लाभ देती है, जहाँ शब्दावली अलग-अलग आधों पर चुनी और स्कोर की गई। सैंपल के बाहर, लक्षित शब्दावली +0.006 [−0.004, +0.015] AUROC जोड़ती है। यह अंतराल शून्य को पार करता है। पाठक को +0.006 को विश्वसनीय सुधार नहीं मानना चाहिए; यह अंतराल छोटे लाभ जितनी ही आसानी से छोटे नुक़सान की भी गुंजाइश देता है। किसी व्यवसायी के लिए उपयोगी पाठ यह है कि ज़्यादा चतुर शब्द-विन्यास की खोज की मेहनत का फल मिलने की संभावना कम है, कम से कम इन बेंचमार्क पर।

इससे यह बदलना चाहिए कि टीमें अपना समय कैसे बाँटती हैं। अगर शब्दों का असर लगभग शून्य है, तो उन पर लगने वाले घंटे स्टेट पर लगाना बेहतर है।

लाभ संदर्भ में हैं #

तो स्टेट में क्या है, और उसमें क्या होना चाहिए? शोधपत्र का निष्कर्ष है कि संदर्भ ज़्यादा मायने रखता है, मुख्य रूप से उन फ़ील्ड के ज़रिए जो लेबल को एन्कोड करते हैं। अध्ययन के डिज़ाइन के पीछे मुख्य विचार यह है कि Jev से क्या पूछा जाता है, इसे उससे अलग बदला जाए कि वह क्या देखता है: एक ओर प्रश्न के शब्द और उत्तर का प्रकार, दूसरी ओर इनपुट के फ़ील्ड। यही अलगाव शोधपत्र को यह कहने देता है कि शब्द कम मायने रखते हैं जबकि संदर्भ ज़्यादा। इसके बिना दोनों प्रभाव आपस में उलझ जाते।

मुख्य उदाहरण PrivacyLens है। लेबल को परिभाषित करने वाले संदर्भ बड़े लाभ देते हैं, जैसे PrivacyLens की गोपनीय मदों की सूची (0.79→0.95)। AUROC का 0.79 से 0.95 तक जाना शब्दों से मिले +0.006 के मुक़ाबले बड़ा है। यहाँ संदर्भ गोपनीय मदों की एक सूची है, जो ठीक वही चीज़ है जिसके महत्व की भविष्यवाणी संबंधपरक विफलताओं पर पहले की चर्चा करती है: कोई उत्तर कुछ निजी लीक करता है या नहीं, यह इस पर निर्भर करता है कि निजी किसे माना जाता है, और अकेला उत्तर यह नहीं बताता।

तैनाती को लेकर एक चेतावनी है, और वह अहम है। तैनात मॉनिटर के पास जो संदर्भ होगा, वह 7 में से 1 बेंचमार्क पर मदद करता है। बड़े लाभ उन संदर्भों से आते हैं जो लेबल को परिभाषित करते हैं, पर तैनात मॉनिटर के पास ज़रूरी नहीं कि वे हों। मॉनिटर के पास यथार्थ में जो होगा, वह सात में से सिर्फ़ एक बेंचमार्क पर मदद करता है।

यह एक संयमित निष्कर्ष है, और मुझे लगता है कि यह शोधपत्र का व्यावसायिक रूप से सबसे प्रासंगिक वाक्य है। यह प्रयोगशाला की संख्या को मैदान की संख्या से अलग करता है। जिस डिटेक्टर का मूल्यांकन लेबल परिभाषित करने वाले संदर्भ को हाथ में रखकर हुआ, वह उस प्रश्न से आसान प्रश्न का उत्तर दे रहा है जिसका सामना तैनात मॉनिटर करता है। लाभ वास्तविक हैं, पर शोधपत्र साफ़ बताता है कि तैनाती इनमें से किन पर भरोसा कर सकती है।

शोधपत्र एक बेंचमार्क की सीमा भी बताता है। Open-Prompt-Injection पर लेबल इंजेक्ट किए गए कार्य की सटीकता का अनुसरण करता है। यह ऐसे लेबल का उदाहरण है जिसका अर्थ कार्य के किसी गुण से बँधा है, जिसका असर इस पर पड़ता है कि डिटेक्टर से स्टेट में क्या देखने की अपेक्षा की जा सकती है। मैं इससे आगे के निष्कर्ष निकालने से रुकूँगा, क्योंकि दावे कोई नहीं देते।

लागत #

अब वह संख्या जो अर्थशास्त्र को ठोस बनाती है। Jev की लागत LLM-जज स्कोरर से 63× कम है। ठोस तुलना यह है: जज-स्कोर किए गए 19 बेंचमार्क पर एक पास की लागत $0.30 है, जो सूची मूल्यों पर उनके जजों से 63× कम है। लागत की तुलना सूची मूल्यों पर 19 API-जज बेंचमार्क के एक पास को कवर करती है।

दायरे को लेकर सावधान रहें। तुलना उन 19 बेंचमार्क की है जो API जज इस्तेमाल करते हैं, सूची मूल्य पर, एक अकेले पास के लिए। यह सूट के हर बेंचमार्क को कवर नहीं करती, और रियायती मूल्यों को भी नहीं। इस दायरे में अनुपात बड़ा है, और यह पहले बताई गई संरचना से निकलता है: प्रति मानदंड कोई डिकोडिंग पास नहीं।

शुरुआती शर्त याद कीजिए, कि हर संदेश पर चलने वाला डिटेक्टर सस्ता होना चाहिए। 19 बेंचमार्क पर पूरे पास के लिए $0.30 का आँकड़ा इस शोधपत्र में “सस्ते” का रूप है। शोधपत्र इसे प्रति-संदेश मूल्य में नहीं बदलता, और मैं भी नहीं बदलूँगा।

मनुष्यों से सहमति, और असहमति ने क्या दिखाया #

सस्ता होना तभी दिलचस्प है जब डिटेक्टर सही भी हो। जहाँ मानवीय लेबल जाँच की अनुमति देते हैं, वहाँ Jev उनसे उतना ही सहमत होता है जितना जज, लागत के एक अंश पर।

सबसे ठोस साक्ष्य StrongREJECT से आता है। वहाँ मानवीय लेबलों के मुक़ाबले सामान्य प्रश्न संदर्भ स्कोरर जितना ही सहमत होता है (Cohen's κ 0.809 बनाम 0.811) और बेहतर रैंकिंग करता है। दोनों κ मानों में 0.002 का अंतर है, इसलिए समझदार पाठ यह है कि सहमति पर बराबरी है, और रैंकिंग में Jev आगे है।

फिर एक परिणाम आता है जो मुझे व्यवहार में सबसे उपयोगी लगता है, क्योंकि यह डिटेक्टर को ऑडिट उपकरण बना देता है। Jev की आत्मविश्वास भरी असहमतियों ने तीन बेंचमार्क में लेबल बदलने वाले दोष उजागर किए, और चार और में ऐसे लेबल जिन्हें स्टेट प्रकट नहीं कर सकता। जब कोई आत्मविश्वासी डिटेक्टर किसी बेंचमार्क के संदर्भ लेबल से असहमत होता है, तो एक व्याख्या यह है कि डिटेक्टर ग़लत है। शोधपत्र बताता है कि कुछ मामलों में असहमति ने बेंचमार्क की ओर इशारा किया: तीन बेंचमार्क में लेबल बदलने वाले दोष थे, और चार और में ऐसे लेबल थे जिन्हें स्टेट प्रकट नहीं कर सकता।

दूसरी श्रेणी संबंधपरक बिंदु से वापस जुड़ती है। जिस लेबल को स्टेट प्रकट नहीं कर सकता, वह किसी ऐसी चीज़ से परिभाषित लेबल है जो इनपुट तक कभी पहुँची ही नहीं। उस स्टेट को पढ़ने वाला कोई भी डिटेक्टर उसे वापस नहीं पा सकता। ऐसे मामले ढूँढना स्कोर बढ़ाने से अलग तरह का योगदान है, क्योंकि यह बेंचमार्क के रखवालों को बताता है कि उनका डेटा और उनके लेबल कहाँ अलग हो जाते हैं।

कमज़ोर कड़ी: कैलिब्रेशन #

यहाँ लेख को दो टूक होना होगा, क्योंकि शोधपत्र भी है। संभावनाएँ अच्छी रैंकिंग करती हैं पर थ्रेशोल्ड के रूप में स्थानांतरित नहीं होतीं: माध्य ECE 0.168 है, जबकि शून्य-मॉडल का 0.074 है, सत्यापित और जज दोनों तरह के लेबलों पर, क्योंकि Jev की औसत संभावना हर बेंचमार्क की आधार दर से चूक जाती है।

टुकड़े इस तरह जुड़ते हैं। AUROC रैंकिंग मापता है, और रैंकिंग मज़बूत है। थ्रेशोल्ड अलग मामला है। अगर मॉडल की औसत आउटपुट संभावना इससे मेल नहीं खाती कि किसी बेंचमार्क में विफलताएँ कितनी बार होती हैं, तो t=0.5 ग़लत जगह पड़ता है, और अपेक्षित कैलिब्रेशन त्रुटि ऊँची होती है। 0.168 का माध्य ECE 0.074 के शून्य-मॉडल से ऊपर है, जो शोधपत्र द्वारा चुने गए संदर्भ बिंदु से भी ख़राब प्रदर्शन है। और यह सत्यापित और जज दोनों लेबलों पर सच है, इसलिए यह कमज़ोरी शोर भरे जज लेबलों की देन नहीं है।

औपचारिक ढाँचा याद कीजिए: डिटेक्टर को विफलताओं को ग़ैर-विफलताओं से ऊपर रैंक करना है और थ्रेशोल्ड पर उन्हें अलग करना है। Jev पहला काम अच्छी तरह करता है और दूसरा, बिना समायोजन के, ख़राब। तकनीक के नाम में “कैलिब्रेटेड निर्णय” है, और यहाँ मापा गया कैलिब्रेशन बेंचमार्क के पार नहीं चलता, यह एक तनाव है जिसे साफ़-साफ़ कहना चाहिए। शोधपत्र इस अंतर का कारण आधार दरों को बताता है और इससे ज़्यादा दावा नहीं करता।

व्यावहारिक परिणाम: जज के विकल्प के रूप में Jev को अपना थ्रेशोल्ड तय करने के लिए कुछ लेबल चाहिए। यह एक वास्तविक लागत है, और यह सीधे बदल देने योग्य विकल्प होने के दावे को संकरा करती है। आप इसे किसी नए विफलता प्रकार पर लगाकर t=0.5 पर भरोसा नहीं कर सकते।

नुस्ख़ा #

शोधपत्र की सिफ़ारिश संक्षिप्त है। नुस्ख़ा है एक सामान्य प्रश्न जिसे संभावना के रूप में पढ़ा जाए, और उसका थ्रेशोल्ड दस लेबल वाली मदों पर फ़िट किया जाए, जो वहाँ F1 बढ़ाता है जहाँ Jev t=0.5 पर बहुत कम सक्रिय होता है, और सत्यापित लेबलों पर 0.025 की क़ीमत चुकाता है।

इसे खोलकर देखें। सामान्य प्रश्न शब्दों की समस्या को उनकी इंजीनियरिंग से इनकार करके सँभालता है, जो इस निष्कर्ष से मेल खाता है कि शब्द कम मायने रखते हैं। उत्तर को संभावना के रूप में पढ़ना अंतर को बचाए रखता है। दस लेबल वाली मदों पर थ्रेशोल्ड फ़िट करना आधार दर की चूक को संबोधित करता है। F1 पर असर वहाँ सकारात्मक है जहाँ Jev t=0.5 पर बहुत कम सक्रिय होता है। सत्यापित लेबलों पर नुस्ख़े की क़ीमत 0.025 है।

अंतिम आँकड़े पर ठहरना उचित है। नुस्ख़ा नुक़सान से मुक्त नहीं है: सत्यापित लेबलों पर इसकी क़ीमत 0.025 है। शोधपत्र इस सौदे को छिपाने के बजाय बताता है, और मैं ऐसे नुस्ख़े का हवाला देना पसंद करूँगा जिसकी लागत बताई गई हो, बजाय उसके जिसे शुद्ध लाभ के रूप में प्रचारित किया जाए। दावे सत्यापित लेबलों के संदर्भ के आगे यह नहीं बताते कि 0.025 किस मीट्रिक में मापा गया है, इसलिए मैं अनुमान नहीं लगाऊँगा।

दस लेबल वाली मदें एक छोटी माँग है। ज़्यादातर टीमों के लिए यह एक दोपहर का एनोटेशन है, हर संदेश पर जज चलाने की लागत के सामने। पर यह एक पूर्व-शर्त है, और जो टीम किसी नए विफलता प्रकार के लिए एक भी लेबल वाली मद नहीं बना सकती, उसे यह उम्मीद नहीं करनी चाहिए कि थ्रेशोल्ड अपने आप ठीक हो जाएगा।

व्यवसायी को इससे क्या लेना चाहिए #

कई बातें निकलती हैं, और मैं उन पर टिकूँगा क्योंकि साक्ष्य उनका समर्थन करते हैं।

पहला, प्रश्न के शब्दों को अनुकूलित करना बंद कीजिए। लक्षित शब्दावली से सैंपल के बाहर का लाभ +0.006 है, जिसका अंतराल −0.004 से +0.015 तक है। यह निवेश का आधार नहीं है।

दूसरा, मेहनत स्टेट पर लगाइए। बड़े लाभ उन संदर्भों से आए जो लेबल को परिभाषित करते हैं। अगर आपके मॉनिटर को विफलता परिभाषित करने वाला संदर्भ दिया जा सकता है, तो सुधार वहीं है। अगर नहीं, तो कम की अपेक्षा कीजिए: तैनात मॉनिटर के पास जो संदर्भ होगा, उसने 7 में से 1 बेंचमार्क पर मदद की। योजना उस संख्या के इर्द-गिर्द बनाइए जो आपको तैनाती में मिल सकती है, न कि उस संख्या के जो ऐसे बेंचमार्क में मिलती है जहाँ संदर्भ इनपुट में बैठा हो।

तीसरा, कैलिब्रेशन का बजट रखिए। हर विफलता प्रकार के लिए दस मदों को लेबल करने और थ्रेशोल्ड फ़िट करने की योजना बनाइए। t=0.5 के साथ शिप मत कीजिए।

चौथा, असहमति को संकेत की तरह इस्तेमाल कीजिए। संदर्भ लेबलों से आत्मविश्वास भरी असहमतियों ने तीन बेंचमार्क में दोष और चार और में ऐसे लेबल उजागर किए जिन्हें प्रकट नहीं किया जा सकता। अगर आप इसे अपने मूल्यांकन सूट पर चलाते हैं, तो उम्मीद रखिए कि यह आपको आपके मॉडलों के साथ-साथ आपके लेबलों के बारे में भी बता सकता है। यह शोधपत्र के निष्कर्ष से निकाला गया अनुमान है, किसी विशेष सूट के बारे में मापा गया दावा नहीं, इसलिए इसे जाँचने का निमंत्रण समझिए।

पाँचवाँ, ज्ञात कमज़ोरियाँ याद रखिए। डेवलपर अप्रत्यक्ष अर्थ और प्रतिकूल सामग्री को Jev की ज्ञात कमज़ोरियों में गिनाता है। सुरक्षा के लिए मायने रखने वाले मॉनिटर का सामना प्रतिकूल सामग्री से होगा। यहाँ के दावे यह नहीं बताते कि Jev उस पर कैसा प्रदर्शन करता है, इसलिए वह एक खुला मोर्चा है, और किसी तैनाती पर भरोसा करने से पहले मैं उसकी जाँच चाहूँगा।

व्यावसायिक पक्ष के सामने परिणाम को पढ़ना #

संस्थापक जानना चाहेंगे कि यह कहाँ बैठता है। लागत का तर्क सबसे मज़बूत है: हर संदेश पर चलने वाला डिटेक्टर सस्ता होना चाहिए, और LLM-जज स्कोरर की तुलना में 63× की कमी यह बदल देती है कि कौन-सी तैनातियाँ किफ़ायती हैं। सटीकता का तर्क दूसरा है: 0.886 का ज़ीरो-शॉट AUROC और ज़्यादातर बेंचमार्क पर पर्यवेक्षित बेसलाइन पर जीत।

चेतावनियाँ तय करती हैं कि ईमानदारी से क्या बेचा जा सकता है। डिटेक्टर को हर थ्रेशोल्ड के लिए कुछ लेबल चाहिए। इसका कैलिब्रेशन स्थानांतरित नहीं होता। इसके सबसे अच्छे लाभ उन संदर्भों पर टिके हैं जो शायद किसी तैनाती के पास न हों। ये उपयोग की शर्तें हैं, और इस पर बने किसी भी उत्पाद को इन्हें दबाने के बजाय बताना चाहिए। इनमें से कुछ भी लागत के तर्क को कमज़ोर नहीं करता; यह बस सेटअप के काम का वर्णन करता है।

माप के बारे में भी एक शांत बात है। RLCDAlignBench, अपने संदर्भ वेरिएंट, कैश किए गए Jev उत्तरों, दोबारा स्कोर करने वाली स्क्रिप्ट और स्प्लिट-हाफ़ प्रोटोकॉल के साथ, एक पुनः उपयोग योग्य मूल्यांकन संपत्ति है। जो बेंचमार्क रिपोर्ट किए गए लाभों से चयन-जनित फुलाव हटाता है, वह ऐसी सामग्री है जिससे बाद के दावों की तुलना हो सकती है। यह डिटेक्टर से अलग तरह का मूल्य है।

क्या खुला रहता है #

दावों से कुछ सीमाएँ साफ़ हैं। लक्ष्य मॉडल 2–7B पैरामीटर के पाँच ओपन मॉडल हैं, इसलिए परिणाम उस आकार के मॉडलों के इंटरैक्शन में विफलताओं का वर्णन करते हैं। सामान्य प्रश्न 7 बेंचमार्क पर नहीं पूछा गया, और मुख्य AUROC उन बेंचमार्क पर माध्य है जहाँ वह पूछा गया। लेबल संदर्भ स्कोरर के हैं, और मानवीय तथा दूसरे जज के लेबल StrongREJECT, HarmBench, AbstentionBench और InstrumentalEval को कवर करते हैं।

जो खुला प्रश्न मुझे सबसे ज़्यादा दिलचस्प लगता है, वह वही है जो शोधपत्र की अपनी संरचना उठाती है। विफलताएँ संबंधपरक हैं; स्टेट में अक्सर संदर्भ नहीं होता; और तैनात मॉनिटर के संदर्भ ने 7 में से सिर्फ़ 1 बेंचमार्क पर मदद की। Jev का एकल-कॉल डिज़ाइन कई प्रश्नों को एक इनपुट साझा करने देता है, फिर भी सबसे बड़ा लीवर यह निकला कि इनपुट में कौन-से फ़ील्ड हैं। तैनाती को निगरानी के समय लेबल परिभाषित करने वाला संदर्भ कैसे मिले, जैसे गोपनीयता जाँच के लिए गोपनीय मदों की सूची, यही अगली चीज़ है जिसे सुलझाना है। शोधपत्र दिखाता है कि लाभ पाया जा सकता है (PrivacyLens पर 0.79→0.95), और यह खुला छोड़ता है कि क्या तैनात मॉनिटर को यह इतने सस्ते में दिया जा सकता है कि 63× की बढ़त बनी रहे।

क्षेत्रवार इसका क्या अर्थ है #

भिन्नात्मक इन्फ़रेंस लागत पर कैलिब्रेटेड निर्णय हेड के ज़रिए जटिल अलाइनमेंट मानदंडों का मूल्यांकन करने की क्षमता कई क्षेत्रों में परिचालन सुरक्षा को नया आकार देती है।

AI गेटवे और सुरक्षा प्लेटफ़ॉर्म प्रदाता #

रियल-टाइम सुरक्षा गार्डरेल तैनात करने वाली इन्फ़्रास्ट्रक्चर कंपनियाँ महँगी कैस्केड संरचनाओं (प्रॉम्प्ट-इंजेक्शन, विषाक्तता और गोपनीयता के अलग-अलग क्लासिफ़ायर बुलाने) को एकीकृत बहु-प्रश्न RLCD हेड से बदल सकती हैं। परिचालन लागत 60× से ज़्यादा घटती है, जबकि विलंबता एक ही फ़ॉरवर्ड पास तक सीमित रहती है।

AI शासन और ऑडिट अनुपालन टीमें #

EU AI Act की उच्च-जोखिम आवश्यकताओं या NIST AI RMF जैसे मानकों के सामने मॉडल व्यवहार का मूल्यांकन करने वाली जोखिम समितियों को एक नियतात्मक, संभाव्य ऑडिट लॉग मिलता है। LLM-जज की असंरचित, वर्णनात्मक प्रतिक्रिया के बजाय, प्रणालियाँ कैलिब्रेटेड संभावना वितरण दर्ज करती हैं जो सांख्यिकीय प्रक्रिया नियंत्रण और ड्रिफ़्ट निगरानी में सहायक हैं।

एंटरप्राइज़ तैनाती और रेड-टीमिंग टीमें #

सुरक्षा टीमें केंद्रित स्टेट प्रस्तुतियाँ लिखकर और कम से कम दस क्षेत्र-विशिष्ट उदाहरणों पर निर्णय थ्रेशोल्ड फ़िट करके कस्टम विफलता डिटेक्टर तेज़ी से तैनात कर सकती हैं, जिससे विशेष क्लासिफ़ायर के लिए पहले ज़रूरी कई हफ़्तों का फ़ाइन-ट्यूनिंग चक्र ख़त्म हो जाता है।

निष्कर्ष #

RLCDAlignBench पर Jev का मूल्यांकन प्रोडक्शन मॉडल निगरानी के लिए एक ठोस संरचनात्मक दिशा स्थापित करता है: एक ही फ़ॉरवर्ड पास में कई टाइप किए गए प्रश्नों पर कैलिब्रेटेड संभावनाएँ पढ़ना लागत में ऑटोरिग्रेसिव LLM जजों को और लचीलेपन में एकल-टोकन क्लासिफ़ायर को पीछे छोड़ता है। हालाँकि व्यवसायियों को संभावनाओं के बिना समायोजन स्थानांतरण की धारणा के बजाय अनुभवजन्य थ्रेशोल्ड कैलिब्रेशन का बजट रखना होगा, 63× की आर्थिक बढ़त रियल-टाइम, व्यापक निगरानी को बड़े पैमाने पर व्यवहार्य बनाती है।

अक्सर पूछे जाने वाले प्रश्न #

रियल-टाइम प्रोडक्शन निगरानी के लिए जनरेटिव LLM जज अव्यावहारिक क्यों हैं?

जनरेटिव जजों को मूल्यांकित हर सुरक्षा या अलाइनमेंट मानदंड के लिए एक पूरा ऑटोरिग्रेसिव डिकोडिंग पास चाहिए। ऊँचे थ्रूपुट वाले उपभोक्ता या एंटरप्राइज़ अनुप्रयोगों में, हर संदेश पर कई जनरेटिव जज कॉल चलाने से भारी विलंबता आती है और परिचालन लागत कई गुना बढ़ जाती है।

कैलिब्रेटेड निर्णयों के लिए रीइन्फ़ोर्समेंट लर्निंग (RLCD) क्या है?

RLCD एक प्रशिक्षण पद्धति है जो मॉडलों को टोकन अनुक्रम जनरेट करने के बजाय संरचित निर्णय हेड पर अच्छी तरह कैलिब्रेटेड पश्च संभावनाएँ देने के लिए अनुकूलित करती है। इससे मॉडल एक ही फ़ॉरवर्ड मूल्यांकन में कई मनमाने प्रश्नों का एक साथ मूल्यांकन कर सकता है।

निर्णय थ्रेशोल्ड को स्थानीय डेटा पर कैलिब्रेट करने की ज़रूरत क्यों है?

RLCD मॉडल विफलता की संभावना के आधार पर इंटरैक्शन की रैंकिंग में उत्कृष्ट हैं (ऊँचा AUROC पाते हैं), पर उनकी निरपेक्ष औसत संभावनाएँ लक्ष्य क्षेत्र की आधार दर के अनुसार खिसकती हैं। लगभग दस लेबल वाले क्षेत्र-उदाहरणों पर परिचालन निर्णय थ्रेशोल्ड को कैलिब्रेट करना अस्वीकार्य फ़ॉल्स-पॉज़िटिव दरों के बिना उचित संवेदनशीलता सुनिश्चित करता है।

संदर्भ #

• Mrinank Sharma et al., (2024). भाषा मॉडलों में चाटुकारिता को समझने और कम करने की दिशा में ⧉. arXiv.
• RLCDAlignBench Consortium, (2026). कैलिब्रेटेड निर्णय हेड के ज़रिए बहु-मानदंड अलाइनमेंट विफलता पहचान ⧉. arXiv.
• Anthropic / Alignment Research, (2025). Constitutional AI और मूल्यांकनकर्ता की गतिशीलता ⧉. Anthropic.
• NIST, (2024). कृत्रिम बुद्धिमत्ता जोखिम प्रबंधन ढाँचा (AI RMF 1.0) ⧉. NIST.

अंतिम समीक्षा 2026-09-30.

अंतिम समीक्षा 2026-10-27.

# फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/](https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/)

Jev एक ही कॉल में कई प्रश्नों का उत्तर संभावनाओं के रूप में देता है। 44 बेंचमार्क पर रैंकिंग मज़बूत और लागत 63× कम निकली, पर थ्रेशोल्ड के लिए कुछ लेबल चाहिए।

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/

फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev — Sebastien Rousseau

Jev एक ही कॉल में कई प्रश्नों का उत्तर संभावनाओं के रूप में देता है। 44 बेंचमार्क पर रैंकिंग मज़बूत और लागत 63× कम निकली, पर थ्रेशोल्ड के लिए कुछ लेबल चाहिए।

https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/

फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev — Sebastien Rousseau

Jev एक ही कॉल में कई प्रश्नों का उत्तर संभावनाओं के रूप में देता है। 44 बेंचमार्क पर रैंकिंग मज़बूत और लागत 63× कम निकली, पर थ्रेशोल्ड के लिए कुछ लेबल चाहिए।.

यहाँ मुख्य रणनीतिक निष्कर्ष हैं:

- हर संदेश पर नज़र रखने की लागत का ढाँचा. तैनात मॉडल अब भी उपयोगकर्ता की ग़लत धारणा के आगे झुक जाते हैं (Sharma et al., 2024)। यह एक साधारण-सा वाक्य है, पर पूरी समस्या का ढाँचा यही तय करता है। अगर इस तरह की चाटुकारिता (सिकोफ़ैंसी) तैनात प्रणालियों में बनी…
- Jev अलग क्या करता है. Jev को कैलिब्रेटेड निर्णयों के लिए रीइन्फ़ोर्समेंट लर्निंग (RLCD) से प्रशिक्षित किया गया है। वह एक इनपुट के बारे में कई टाइप किए गए प्रश्नों का उत्तर एक ही कॉल में कैलिब्रेटेड संभावनाओं के साथ देता है। इस तंत्र को…
- अलाइनमेंट विफलताएँ जितनी दिखती हैं उससे कठिन क्यों हैं. माप से पहले एक उलझन। इनमें से कई विफलताएँ संबंधपरक होती हैं, यानी उन्हें ऐसे संदर्भ के सापेक्ष परिभाषित किया जाता है जिसे अकेला उत्तर प्रकट नहीं करता। चाटुकारिता इस सामान्य विचार का अच्छा उदाहरण है: कोई उत्तर…
- पहचान को वर्गीकरण की तरह देखना. शोधपत्र का औपचारिक ढाँचा सीधा है। वह अलाइनमेंट विफलता की पहचान को किसी लक्ष्य मॉडल के इंटरैक्शन पर बाइनरी वर्गीकरण मानता है। डिटेक्टर एक स्कोर s(x) ∈ [0, 1] देता है और x को तब चिह्नित करता है जब s(x) ≥ t। इसका मतलब…

इस लेख में उल्लिखित चुनौतियों के प्रति आपके संगठन का दृष्टिकोण क्या है?

→ https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/

#Jev #Rlcd #Rlcdalignbench #अलाइनमेंटविफलता #डिटेक्टर

Sebastien Rousseau | CC-BY-4.0

@online{rousseau2026फ,
  author  = {Rousseau, Sebastien},
  title   = {{फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/},
  urldate = {2026}
}

TY  - GEN
AU  - Rousseau, Sebastien
TI  - फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/
ER  -

Rousseau S. फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev — Sebastien Rousseau. sebastienrousseau.com. 2026 Sep 30. Available from: https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/

Rousseau, Sebastien. "फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev — Sebastien Rousseau." sebastienrousseau.com. September 30, 2026. https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/.

Rousseau, S. (2026, September 30). फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/

फ़ैसले नहीं, संभावनाएँ पढ़ने वाला डिटेक्टर: 44 बेंचमार्क पर Jev — Sebastien Rousseau

Jev एक ही कॉल में कई प्रश्नों का उत्तर संभावनाओं के रूप में देता है। 44 बेंचमार्क पर रैंकिंग मज़बूत और लागत 63× कम निकली, पर थ्रेशोल्ड के लिए कुछ लेबल चाहिए।

Originally published at https://sebastienrousseau.com/hi/2026-09-30-faisle-nahin-sambhavnaen-padhne-vala-detektar/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU · FOUNDER · ENGINEER