판결 대신 확률을 읽는 탐지기 Jev: 44개 벤치마크가 보여 준 것

여러 유형의 질문에 한 번의 호출로 보정된 확률을 내놓는 정렬 실패 탐지기는 실패의 순위를 잘 매기고 LLM 심판형 채점기보다 비용이 63배 적다. 하지만 그 확률은 임계값으로 옮겨 가지 않으며, 질문의 표현보다 레이블과 그 참조 정보가 훨씬 더 중요하다.

모든 메시지를 감시하는 일의 비용 구조 #

배포된 모델은 여전히 사용자의 잘못된 믿음에 맞춰 준다(Sharma et al., 2024). 소박한 문장이지만 문제 전체의 틀을 정한다. 그런 종류의 아첨이 배포된 시스템에 남아 있다면 누군가는 그것을 감시해야 하고, 감시는 대화 자체와 같은 주기로 이루어져야 한다.

바로 여기서 경제성이 문제가 된다. 탐지기는 정확해야 하고, 모든 메시지에서 실행되므로 저렴해야 한다. 둘 중 하나만이라면 쉽게 얻을 수 있다. 엉성한 탐지기는 싸고, 꼼꼼하지만 모든 메시지에서 돌리기에는 너무 비싼 탐지기는 트래픽의 일부만 감시한다. 공학적으로 흥미로운 질문은 어떤 형태의 탐지기라야 둘 다를 갖출 수 있느냐는 것이다.

이 글의 바탕이 된 논문에 따르면, 현재의 답에는 구조적 결함이 있다. 정렬 실패 탐지기 대부분은 생성형 심판으로, 기준마다 디코딩을 한 번씩 소비한다. 쉽게 말해 현재의 탐지기는 확인하는 기준 하나마다 디코딩 한 번의 비용을 치른다. 열 가지 실패 유형을 확인하려는 모니터는 열 번의 디코딩 비용을 내며, 청구액은 신경 쓰는 항목의 수에 비례해 늘어난다.

부분적인 해결책이 있는데, 그 한계를 정확히 짚어 둘 가치가 있다. Llama Guard처럼 토큰 확률을 읽는 분류기도 한 번의 호출에서 고정된 레이블 하나만 채점한다. 토큰 확률을 읽으면 점수를 얻을 수 있지만, 확률이 판결 토큰 하나에서 읽히기 때문에 각 호출은 여전히 레이블이나 기준 하나만 채점한다. 디코딩은 사라졌지만, 호출 한 번에 질문 하나라는 구조는 남는다. 필요한 호출 횟수는 그대로 둔 채 각 호출을 싸게 만든 것이다.

따라서 구조적 주장은 이렇다. 생성형 심판은 기준당 비용이 높고, 확률을 읽는 분류기는 기준당 더 싸지만 여전히 각각 기준 하나에 묶여 있다. 어느 쪽도 같은 입력에 대해 여러 질문을 한꺼번에 던질 수 없다.

아키텍처 관점	생성형 LLM 심판(예: 심판으로서의 GPT-4)	단일 토큰 분류기(예: Llama Guard)	다중 질의 RLCD 탐지기(Jev)
채점 방식	기준마다 완전한 자기회귀 디코딩 1회	단일 출력 토큰에 대한 소프트맥스 확률	다중 헤드 보정 확률 텐서 $P(\text{yes})$
호출당 질문 수	모델 호출 1회당 평가 프롬프트 1개	모델 호출 1회당 분류 레이블 1개	1회 호출로 이진/범주/서열 질문 여러 개
추론 비용	높음(상호작용 1,000건당 10~50달러)	중간(상호작용 1,000건당 0.50~2.00달러)	63배 낮음(19개 전체 벤치마크에 0.30달러)
AUROC 성능	벤치마크에 따라 다름, 심판 드리프트에 취약	학습된 특정 안전 범주에서 높음	44개 스위트에서 제로샷 AUROC 중앙값 0.886
보정 품질	형식적 확률 없는 휴리스틱 설명	사후 보정 없는 거친 로짓	보정된 확률, ECE 중앙값 0.168(레이블이 붙은 항목 약 10개 필요)

Jev는 무엇이 다른가 #

Jev는 보정된 의사결정을 위한 강화학습(RLCD)으로 훈련되었다. 한 번의 호출로, 하나의 입력에 관한 여러 유형의 질문에 보정된 확률로 답한다. 글의 나머지 부분이 이 메커니즘에 기대고 있으므로 신중하게 설명해 둘 가치가 있다.

RLCD 모델은 텍스트를 생성하는 대신, 유형이 정해진 질문마다 보정된 확률이 붙은 결정을 돌려준다. 판결을 써 내고 그것을 파싱하는 생성 단계가 없다. Jev는 하나의 입력(논문은 이를 상태라고 부른다)에 관한 여러 이진, 범주, 서열 질문에 한 번의 호출로 답한다. 상태가 입력이고, 질문은 그것에 대해 묻는 내용이다.

이는 위의 두 방식 어느 것과도 다른 비용 곡선이다. 질문들이 한 번의 호출을 공유한다면 질문을 하나 더해도 디코딩이 늘지 않는다. 여러 실패 유형을 동시에 신경 쓰는 모니터에게 이점은 분명하지만, 논문의 측정이 다루는 것은 범용 질문 하나로 무엇을 달성하느냐이므로 나는 측정된 범위에 머물겠다.

다만 공백이 있었다. Jev가 정렬 실패를 탐지하는지는 측정된 적이 없었다. 유형이 정해진 질문에 보정된 확률로 답하는 모델은 이 일에 그럴듯하게 맞아 보이지만, 그럴듯함은 값싸다. 논문은 빠져 있던 측정을 제공하려 한다.

정렬 실패가 보기보다 어려운 이유 #

측정에 앞서 한 가지 복잡한 점이 있다. 이런 실패 상당수는 관계적이어서, 응답만으로는 드러나지 않는 참조 정보에 비추어 정의된다. 아첨은 이 일반적인 생각을 잘 보여 준다. 응답이 사용자의 잘못된 믿음에 맞춰 주는지는 그 믿음이 무엇이고 그것이 잘못되었는지에 달려 있으며, 두 사실 모두 응답 텍스트만으로는 보이지 않는다.

이는 탐지기 설계에 한 가지 결과를 낳으며, 논문은 이를 적절한 단서를 달아 진술한다. 응답만 보는 탐지기는 실패를 정의하는 참조 정보를 갖고 있지 않을 수 있다. 여기서 "수 있다"라는 말이 중요하다. 모든 실패에 참조 정보가 필요하다는 주장이 아니라, 일부 실패에는 필요하고 응답만 보는 관점은 그것을 놓칠 수 있다는 주장일 뿐이다.

진단도 복잡해진다. 실패가 관계적이라면, 탐지가 잘 안 되는 원인은 질문에 있을 수도 있고 참조 정보가 빠진 상태에 있을 수도 있다. 잘못될 수 있는 곳이 두 군데인데, 낮은 점수는 어느 쪽인지 알려 주지 않는다. 질문의 표현이 서툴렀을 수 있다. 아니면 질문은 괜찮았고, 입력에 답하는 데 필요한 것이 애초에 들어 있지 않았을 수 있다. 탐지기에 대해 쓸모 있는 말을 하려는 벤치마크는 이 두 원인을 떼어 낼 수 있도록 만들어져야 한다.

개발사는 Jev의 알려진 약점으로 간접적인 의미와 적대적 콘텐츠를 꼽는다. 나중에 결과를 읽을 때 기억해 둘 만하다. 일부 실패 유형은 바로 그런 특성에 기대기 때문이다.

탐지를 분류로 다루기 #

논문의 형식적 설정은 단순하다. 정렬 실패 탐지를 대상 모델의 상호작용에 대한 이진 분류로 다룬다. 탐지기는 점수 s(x) ∈ [0, 1]을 부여하고, s(x) ≥ t일 때 x에 표시를 한다. 즉, 실패를 비실패보다 위에 순위 매기는 일과 임계값 t에서 둘을 가르는 일을 모두 해야 한다.

이 두 임무는 분리할 수 있으며, 논문의 결과는 정확히 그 이음매를 따라 갈린다. 순위 매기기는 AUROC가 측정한다. 임계값에서 가를 수 있는지는 보정에 달려 있고, Jev가 부족한 곳이 바로 거기라서 글은 나중에 이 문제로 돌아온다. 확률이 엉뚱한 곳에 놓여 있다면, 순위를 훌륭하게 매기는 탐지기라도 t=0.5에서는 쓸 수 없다.

RLCDAlignBench #

벤치마크의 이름은 RLCDAlignBench다. 44개 벤치마크와 7,193개의 탐지 인스턴스에 걸쳐 열 가지 실패 유형을 다룬다. 인스턴스는 2~7B 규모의 공개 대상 모델 다섯 개에서 나왔으며, 각각 해당 벤치마크의 참조 채점기가 레이블을 붙였다. 따라서 판정 대상인 상호작용은 소규모 공개 모델에서 나오고, 각각의 정답은 원래 벤치마크의 채점기가 말하는 그대로다.

모든 벤치마크가 같은 종류의 레이블을 갖고 있지는 않다. StrongREJECT와 HarmBench의 사람 레이블, AbstentionBench와 InstrumentalEval의 두 번째 심판 레이블이 Jev를 심판과 비교하는 데 쓰인다. 이로써 논문은 참조 채점기에 대해 두 종류의 외부 점검을 갖는다. 어떤 경우에는 사람, 다른 경우에는 두 번째 심판이다.

공개된 산출물은 맥락 변형을 갖춘 열 가지 실패 유형에 걸친 44개 벤치마크, 캐시된 Jev 답변, 재채점 스크립트로 구성되며, 보고된 향상에서 선택에 따른 부풀림을 제거하는 절반 분할 프로토콜이 함께 제공된다고 설명된다. 각 요소는 실무적 필요에 답한다. 맥락 변형이 있으면 상태에 더 많은 정보가 담길 때 무슨 일이 일어나는지 독자가 물어볼 수 있다. 캐시된 답변과 재채점 스크립트가 있으면 모델을 다시 돌리지 않고도 수치를 재현할 수 있다. 절반 분할 프로토콜은 방법론상의 함정을 다루는데, 이는 따로 한 절을 할애할 만하다.

선택의 함정 #

Jev에는 같은 입력에 대해 여러 질문을 던질 수 있다. 그것이 강점이자 평가의 위험 요소이기도 하다. 후보 질문들을 던진 뒤 점수가 가장 좋은 것을 보고한다면, 질문들을 탐색해 승자를 보고한 셈이다. 논문은 이를 직설적으로 말한다. 그중 가장 좋은 것을 보고하면 실무자가 실제로 얻는 것을 과장하게 된다.

테스트 세트에 맞춰 프롬프트를 조정해 본 사람이라면 알아볼 것이다. 여기서 쓰는 해결책은 단순하다. 질문은 항목의 절반에서 고르고 나머지 절반에서 채점한다. 목표를 겨냥한 질문은 항목의 절반에서 고르고 나머지 절반에서 채점하며, 이를 20번의 분할에 걸쳐 반복한다. 선택은 보고되는 수치를 만들어 내는 항목에 결코 닿지 않는다.

이는 아래에서 보고되는 모든 향상을 어떻게 읽을지와 관련된다. 논문의 주장은 절반 분할 프로토콜이 보고된 향상에서 선택에 따른 부풀림을 제거한다는 것이다. 논문이 목표를 겨냥한 표현이 AUROC 중앙값 +0.006의 향상을 준다고 말할 때, 그 수치는 서로 다른 절반에서 골라지고 채점된 표현에서 나온다. 정직하게 측정된 이렇게 작은 수치가, 승자의 저주를 슬며시 포함한 더 큰 수치보다 더 쓸모 있다.

핵심 결과: 범용 질문 하나 #

이제 대부분의 독자가 원할 결과다. 범용 질문 하나가 제로샷 AUROC 중앙값 0.886에 이르고, 대부분의 벤치마크에서 지도 학습 기준선을 앞선다.

단어를 하나씩 살펴보자. "범용 질문 하나"는 벤치마크마다 프롬프트를 설계하지 않았다는 뜻이다. "제로샷"은 대상 벤치마크로 훈련하지 않았다는 뜻이다. "대부분의 벤치마크에서 지도 학습 기준선을 앞선다"는, 해당 과제의 레이블 데이터로 훈련된 시스템이 검토된 대부분의 벤치마크에서 아무도 조정하지 않은 질문에 진다는 뜻이다. 주장은 "대부분"에서 멈추며, 이 글도 거기서 멈춘다.

범용 질문은 P(yes)로 읽는 템플릿 질문이다. 그림은 사용 가능한 38개 벤치마크의 AUROC를 보고하며, 범용 질문은 7개 벤치마크에서는 던져지지 않았다. 따라서 핵심 수치는 사용 가능한 38개 가운데 범용 질문이 적용된 벤치마크들에 걸친 중앙값이다. 주의 깊은 독자라면 분모를 혼동하지 말아야 한다. 벤치마크는 모두 44개이고, 이 그림에 쓸 수 있는 것은 38개이며, 범용 질문에는 7개의 공백이 있다.

나는 이 문장에서 제로샷 결과가 더 흥미로운 절반이라고 본다. 지도 학습 기준선을 앞선다는 것은 상대적 위치에 관한 진술이다. 과제별 훈련 없이 AUROC 중앙값 0.886이라는 결과는, 상태를 읽고 평이한 질문에 답하는 모델이 실패 신호를 얼마나 얻을 수 있는지에 대해 무언가를 말해 준다. 그것이 이 열 가지 외의 실패 유형으로 일반화되는지는 주장이 다루지 않는다.

표현은 거의 무관하다 #

프롬프트 엔지니어링에 시간을 써 왔다면 다음 결과가 아플 것이다. 질문의 표현은 거의 중요하지 않고 맥락이 더 중요하며, 그것도 주로 레이블을 담고 있는 필드를 통해서다.

그 이유에 대한 논문의 설명은 구체적이다. 답을 argmax 결정이 아니라 확률로 유지하면, 질문의 표현은 거의 중요하지 않고 상태와 레이블에 무엇이 담겼는지가 크게 중요해진다. 이는 정보에 관한 관찰이다. argmax 결정은 한 답이 다른 답을 이긴 차이를 버리며, 표현을 바꾸면 결정이 경계를 넘어 뒤집힐 수 있다. 확률은 그 차이를 유지하므로, 증거를 살짝 움직이는 바꿔 말하기는 확률도 살짝만 움직이고 순위는 대체로 그대로 둔다.

나는 이 점을 논문이 진술한 범위에 묶어 두겠다. 확률을 유지하면 표현은 거의 중요하지 않다. 주장이 메커니즘을 제시하지 않으므로, 왜 그런지에 대한 기계적 설명으로까지 넓히지는 않겠다.

수치가 이 진술을 뒷받침한다. 목표를 겨냥한 표현은, 서로 다른 절반에서 골라지고 채점될 때 AUROC 중앙값 +0.006의 향상을 준다. 표본 밖에서 목표를 겨냥한 표현이 더하는 AUROC는 +0.006 [−0.004, +0.015]다. 이 구간은 0에 걸쳐 있다. 독자는 +0.006을 믿을 만한 개선으로 여겨서는 안 된다. 이 구간은 작은 향상만큼이나 작은 손실도 허용한다. 실무자에게 쓸모 있는 해석은, 적어도 이 벤치마크들에서는 더 영리한 표현을 찾아 헤매는 일이 노력에 값하지 않을 가능성이 크다는 것이다.

이는 팀이 시간을 배분하는 방식을 바꿔야 한다. 표현이 거의 효과가 없다면, 거기에 쓰는 시간은 상태에 쓰는 편이 낫다.

향상은 맥락에서 나온다 #

그렇다면 상태에는 무엇이 담겨 있고, 무엇이 담겨야 하는가? 논문의 발견은 맥락이 더 중요하며, 그것도 주로 레이블을 담고 있는 필드를 통해서라는 것이다. 연구 설계의 핵심 발상은 Jev에게 무엇을 묻는지와 Jev가 무엇을 보는지를 따로 바꾸는 것이다. 한쪽에는 질문의 표현과 답의 유형이, 다른 쪽에는 입력의 필드가 있다. 이 분리가 있기에 논문은 표현은 거의 중요하지 않고 맥락이 더 중요하다고 말할 수 있다. 그것이 없다면 두 효과는 뒤엉켜 버릴 것이다.

대표적인 예가 PrivacyLens다. 큰 향상은 레이블을 정의하는 참조 정보에서 나오며, PrivacyLens의 비밀 항목 목록이 그 예다(0.79→0.95). AUROC가 0.79에서 0.95로 오르는 것은 표현에서 나온 +0.006에 비하면 크다. 여기서 말하는 참조 정보는 비밀 항목 목록인데, 이는 앞서 관계적 실패를 논의할 때 중요하리라고 예상한 바로 그런 종류의 것이다. 응답이 사적인 무언가를 유출하는지는 무엇이 사적인 것으로 간주되는지에 달려 있으며, 응답만으로는 그것을 알 수 없다.

배포와 관련된 단서가 하나 있는데, 중요한 것이다. 배포된 모니터가 갖고 있을 맥락은 7개 벤치마크 중 1개에서만 도움이 된다. 큰 향상은 레이블을 정의하는 참조 정보에서 나오지만, 배포된 모니터가 반드시 그것을 갖고 있지는 않다. 모니터가 현실적으로 갖고 있을 정보는 일곱 벤치마크 중 하나에서만 도움이 된다.

이는 냉정한 발견이며, 나는 이것이 논문에서 상업적으로 가장 중요한 문장이라고 생각한다. 실험실의 수치와 현장의 수치를 구분하기 때문이다. 레이블을 정의하는 참조 정보를 손에 쥐고 평가된 탐지기는, 배포된 모니터가 마주하는 것보다 쉬운 질문에 답하고 있다. 향상은 실재하지만, 그중 무엇을 배포에서 기대할 수 있는지 논문은 분명히 밝힌다.

논문은 한 벤치마크의 한계도 짚는다. Open-Prompt-Injection에서 레이블은 주입된 과제의 정확도를 따라간다. 이는 의미가 과제의 속성에 묶인 레이블의 예로, 탐지기가 상태에서 무엇을 볼 수 있으리라 기대할 수 있는지와 관련된다. 주장이 더 이상의 결론을 제시하지 않으므로 나도 거기서 더 나아가지 않겠다.

비용 #

이제 경제성을 구체적으로 만드는 수치다. Jev의 비용은 LLM 심판형 채점기보다 63배 적다. 구체적인 비교는 이렇다. 심판이 채점하는 19개 벤치마크를 한 번 도는 비용은 0.30달러로, 정가 기준 그 심판들보다 63배 적다. 비용 비교는 API 심판을 쓰는 19개 벤치마크를 정가로 한 번 도는 경우를 다룬다.

범위에 주의해야 한다. 비교 대상은 API 심판을 쓰는 19개 벤치마크이고, 정가 기준이며, 한 번 도는 경우다. 스위트의 모든 벤치마크를 다루지 않으며, 할인 가격도 다루지 않는다. 그 범위 안에서 비율은 크며, 이는 앞서 설명한 아키텍처, 즉 기준마다 디코딩이 없다는 점에서 비롯된다.

처음의 요건을 떠올려 보자. 모든 메시지에서 실행되는 탐지기는 저렴해야 한다. 19개 벤치마크를 통째로 한 번 도는 데 0.30달러라는 수치가 이 논문에서 "저렴함"의 모습이다. 논문은 이를 메시지당 가격으로 환산하지 않으며, 나도 환산하지 않겠다.

사람과의 일치, 그리고 불일치가 드러낸 것 #

저렴함은 탐지기가 맞기도 할 때만 흥미롭다. 사람 레이블로 확인할 수 있는 곳에서 Jev는 심판만큼 사람과 일치하며, 비용은 그 일부에 불과하다.

가장 구체적인 증거는 StrongREJECT에서 나온다. 그곳의 사람 레이블에 비해 범용 질문은 참조 채점기만큼 일치하고(Cohen의 κ 0.809 대 0.811) 순위는 더 잘 매긴다. 두 κ 값의 차이는 0.002이므로, 합리적인 해석은 일치도에서는 동점이고 순위에서는 Jev가 앞선다는 것이다.

다음으로 오는 결과를 나는 실무에서 가장 유용하다고 보는데, 탐지기를 감사 도구로 바꾸기 때문이다. Jev가 확신을 가지고 보인 불일치는 세 벤치마크에서 레이블을 바꾸는 결함을, 다른 네 벤치마크에서 상태로는 드러낼 수 없는 레이블을 드러냈다. 확신을 가진 탐지기가 벤치마크의 참조 레이블과 어긋날 때, 한 가지 설명은 탐지기가 틀렸다는 것이다. 논문은 일부 경우에 불일치가 벤치마크 쪽을 가리켰다고 보고한다. 세 벤치마크에는 레이블을 바꾸는 결함이 있었고, 다른 네 벤치마크에는 상태로는 드러낼 수 없는 레이블이 있었다.

두 번째 범주는 관계성에 관한 논점으로 이어진다. 상태로 드러낼 수 없는 레이블이란, 입력에 들어가지 못한 무언가로 정의된 레이블이다. 그 상태를 읽는 어떤 탐지기도 그것을 복원할 수 없다. 그런 사례를 찾아내는 일은 점수를 올리는 일과는 다른 기여인데, 데이터와 레이블이 어디서 어긋나는지를 벤치마크 관리자에게 알려 주기 때문이다.

약점: 보정 #

여기서 글은 직설적일 수밖에 없다. 논문이 그렇기 때문이다. 확률은 순위를 잘 매기지만 임계값으로는 옮겨 가지 않는다. ECE 중앙값은 0.168로 귀무 기준 0.074보다 높으며, 검증된 레이블과 심판 레이블 모두에서 그렇다. Jev의 평균 확률이 각 벤치마크의 기저율에서 벗어나기 때문이다.

각 조각은 이렇게 맞물린다. AUROC는 순위를 측정하고, 순위는 강하다. 임계값은 다른 문제다. 모델의 평균 출력 확률이 특정 벤치마크에서 실패가 일어나는 빈도와 맞지 않으면 t=0.5는 엉뚱한 곳에 놓이고, 기대 보정 오차가 높아진다. ECE 중앙값 0.168은 귀무 기준 0.074보다 높으며, 이는 논문이 고른 기준점보다 나쁜 결과다. 게다가 검증된 레이블과 심판 레이블 모두에서 그러므로, 이 약점은 잡음 많은 심판 레이블이 만든 착시가 아니다.

형식적 설정을 떠올려 보자. 탐지기는 실패를 비실패보다 위에 순위 매기고, 임계값에서 둘을 갈라야 한다. Jev는 기본 상태에서 앞의 일은 잘하고 뒤의 일은 잘 못한다. 기법의 이름에는 "보정된 의사결정"이 들어 있는데, 여기서 측정된 보정은 벤치마크를 넘어 이어지지 않는다. 이는 분명히 말해 둘 만한 긴장이다. 논문은 그 격차를 기저율 탓으로 돌리며, 그 이상은 주장하지 않는다.

실무적 귀결은 이렇다. 심판의 대용품으로 쓰려면 Jev는 임계값을 정하기 위해 레이블 몇 개가 필요하다. 이는 실제 비용이며, 그대로 갈아 끼울 수 있는 대체품이라는 주장을 좁힌다. 새로운 실패 유형에 그대로 겨누고 t=0.5를 믿을 수는 없다.

처방 #

논문의 권고는 간결하다. 처방은 확률로 읽는 범용 질문을 쓰고, 그 임계값을 레이블이 붙은 10개 항목으로 맞추는 것이다. 이는 Jev가 t=0.5에서 너무 드물게 반응하는 경우 F1을 끌어올리고, 검증된 레이블에서는 0.025의 비용이 든다.

풀어서 보자. 범용 질문은 표현을 설계하지 않음으로써 표현 문제를 처리하며, 이는 표현이 거의 중요하지 않다는 발견과 맞아떨어진다. 답을 확률로 읽으면 그 차이가 유지된다. 레이블이 붙은 10개 항목으로 임계값을 맞추면 기저율의 어긋남이 해결된다. F1에 대한 효과는 Jev가 t=0.5에서 너무 드물게 반응하는 경우에 긍정적이다. 검증된 레이블에서 이 처방의 비용은 0.025다.

이 마지막 수치는 곱씹어 볼 만하다. 처방에도 단점이 있다. 검증된 레이블에서는 0.025의 비용이 든다. 논문은 이 맞바꿈을 숨기지 않고 보고하며, 나는 순수한 이득으로 광고되는 처방보다 비용이 명시된 처방을 인용하고 싶다. 주장은 검증된 레이블이라는 맥락 외에 0.025가 어떤 지표로 측정되었는지 말하지 않으므로, 나는 추측하지 않겠다.

레이블이 붙은 항목 10개는 작은 요구다. 대부분의 팀에게 오후 한나절의 주석 작업이며, 모든 메시지에서 심판을 돌리는 비용에 비하면 작다. 하지만 그것은 전제 조건이며, 새 실패 유형에 대해 레이블이 붙은 항목을 하나도 마련하지 못하는 팀은 임계값이 저절로 정리되리라 기대해서는 안 된다.

실무자가 가져가야 할 것 #

몇 가지가 따라 나오며, 증거가 뒷받침하므로 분명히 말하겠다.

첫째, 질문의 표현을 최적화하는 일을 멈춰라. 목표를 겨냥한 표현이 표본 밖에서 주는 향상은 +0.006이며 구간은 −0.004에서 +0.015까지다. 투자의 근거가 되지 못한다.

둘째, 노력은 상태에 쏟아라. 큰 향상은 레이블을 정의하는 참조 정보에서 나왔다. 모니터에 실패를 정의하는 참조 정보를 줄 수 있다면, 개선의 여지는 거기에 있다. 줄 수 없다면 기대를 낮춰라. 배포된 모니터가 갖고 있을 맥락은 7개 벤치마크 중 1개에서만 도움이 되었다. 참조 정보가 입력에 들어 있는 벤치마크에서 얻는 수치가 아니라, 배포에서 얻을 수 있는 수치를 기준으로 계획하라.

셋째, 보정을 위한 예산을 잡아라. 실패 유형마다 항목 10개에 레이블을 붙이고 임계값을 맞출 계획을 세워라. t=0.5 그대로 내보내지 마라.

넷째, 불일치를 신호로 써라. 참조 레이블과의 확신에 찬 불일치가 세 벤치마크에서 결함을, 다른 네 벤치마크에서 드러낼 수 없는 레이블을 드러냈다. 이를 자신의 평가 스위트에서 돌린다면, 모델뿐 아니라 레이블에 대해서도 무언가를 알려 줄 수 있다고 예상할 만하다. 이는 논문의 발견에서 끌어낸 추론이지 특정 스위트에 대해 측정된 주장이 아니므로, 확인해 보라는 권유로 받아들이기 바란다.

다섯째, 알려진 약점을 기억하라. 개발사는 Jev의 알려진 약점으로 간접적인 의미와 적대적 콘텐츠를 꼽는다. 안전에 중요한 모니터는 반드시 적대적 콘텐츠를 만난다. 여기서의 주장은 그에 대한 Jev의 성능을 보고하지 않으므로 그 부분은 열린 측면으로 남아 있으며, 나는 배포를 믿기 전에 그것을 시험해 보고 싶다.

상업적 관점에서 결과 읽기 #

창업자들은 이것이 어디쯤 있는지 알고 싶을 것이다. 비용 논거가 가장 강하다. 모든 메시지에서 실행되는 탐지기는 저렴해야 하고, LLM 심판형 채점기 대비 63배의 절감은 어떤 배포가 감당할 만한지를 바꾼다. 정확도 논거가 그다음이다. 제로샷 AUROC 0.886, 그리고 대부분의 벤치마크에서 지도 학습 기준선에 대한 우위다.

단서들은 무엇을 정직하게 팔 수 있는지를 규정한다. 탐지기는 임계값마다 레이블 몇 개가 필요하다. 보정은 옮겨 가지 않는다. 가장 큰 향상은 배포 환경에 없을 수도 있는 참조 정보에 기댄다. 이것들은 사용 조건이며, 이를 바탕으로 만든 제품은 그것을 묻어 두지 말고 명시해야 한다. 그 어느 것도 비용 논거를 약화하지 않는다. 필요한 준비 작업을 설명할 뿐이다.

측정 자체에 관한 덜 눈에 띄는 논점도 있다. 맥락 변형, 캐시된 Jev 답변, 재채점 스크립트, 절반 분할 프로토콜을 갖춘 RLCDAlignBench는 재사용할 수 있는 평가 자산이다. 보고된 향상에서 선택에 따른 부풀림을 제거하는 벤치마크는 이후의 주장들을 비교할 수 있게 해 주는 종류의 산출물이다. 그것은 탐지기와는 별개의 가치다.

아직 열려 있는 것 #

주장에서 분명히 드러나는 경계가 몇 가지 있다. 대상 모델은 2~7B 파라미터의 공개 모델 다섯 개이므로, 결과는 그 규모의 모델과의 상호작용에서 나타나는 실패를 기술한다. 범용 질문은 7개 벤치마크에서 던져지지 않았으며, 핵심 AUROC는 그것이 던져진 벤치마크들에 걸친 중앙값이다. 레이블은 참조 채점기에서 나오며, 사람 레이블과 두 번째 심판 레이블이 StrongREJECT, HarmBench, AbstentionBench, InstrumentalEval을 다룬다.

내가 가장 관심을 두는 열린 질문은 논문 자체의 구조가 제기하는 것이다. 실패는 관계적이고, 상태는 흔히 참조 정보를 갖고 있지 않으며, 배포된 모니터의 맥락은 7개 벤치마크 중 1개에서만 도움이 되었다. Jev의 단일 호출 설계는 여러 질문이 하나의 입력을 공유하게 해 주지만, 가장 큰 지렛대는 입력이 어떤 필드를 담느냐로 드러났다. 프라이버시 점검을 위한 비밀 항목 목록처럼, 레이블을 정의하는 참조 정보를 배포 환경이 감시 시점에 어떻게 확보해야 하는지가 다음으로 풀어야 할 일이다. 논문은 그 향상을 얻을 수 있음을 보여 주지만(PrivacyLens에서 0.79→0.95), 63배의 우위를 지킬 만큼 저렴하게 그것을 배포된 모니터에 줄 수 있는지는 열어 둔다.

분야별 의미 #

보정된 의사결정 헤드를 통해 복잡한 정렬 기준을 아주 적은 추론 비용으로 평가할 수 있게 되면서, 여러 영역의 운영 안전이 새롭게 짜이고 있다.

AI 게이트웨이와 보안 플랫폼 제공업체 #

실시간 안전 가드레일을 배포하는 인프라 기업은 비용이 많이 드는 연쇄형 아키텍처(프롬프트 인젝션, 유해성, 프라이버시 분류기를 따로 호출하는 구성)를 통합된 다중 질의 RLCD 헤드로 대체할 수 있다. 운영 비용은 60배 넘게 줄어들고, 지연 시간은 한 번의 순전파 안으로 제한된다.

AI 거버넌스와 감사 컴플라이언스 팀 #

EU AI법의 고위험 요건이나 NIST AI RMF 같은 기준에 비추어 모델의 행동을 평가하는 리스크 위원회는 결정론적이면서 확률적인 감사 로그를 얻는다. 비정형적이고 서술적인 LLM 심판의 피드백 대신, 시스템은 통계적 공정 관리와 드리프트 모니터링을 뒷받침하는 보정된 확률 분포를 기록한다.

기업 배포 팀과 레드팀 #

보안 팀은 초점을 맞춘 상태 표현을 작성하고, 도메인별 예시 열 개 정도에 맞춰 결정 임계값을 조정함으로써 맞춤형 실패 탐지기를 빠르게 배포할 수 있다. 이로써 맞춤형 분류기에 예전에는 필요했던 몇 주에 걸친 파인튜닝 주기가 사라진다.

결론 #

RLCDAlignBench에서의 Jev 평가는 실제 운영 환경의 모델 감시에 대해 설득력 있는 아키텍처 방향을 제시한다. 한 번의 순전파에서 여러 유형의 질문에 걸쳐 보정된 확률을 읽는 방식은 비용에서는 자기회귀 LLM 심판을, 유연성에서는 단일 토큰 분류기를 앞선다. 실무자는 확률이 그대로 옮겨 가리라 가정하지 말고 경험적 임계값 보정에 예산을 잡아야 하지만, 63배의 경제적 우위 덕분에 실시간의 포괄적 감시가 대규모로 가능해진다.

자주 묻는 질문 #

생성형 LLM 심판이 실시간 운영 감시에 맞지 않는 이유는 무엇인가요?

생성형 심판은 평가하는 안전 또는 정렬 기준마다 완전한 자기회귀 디코딩을 한 번씩 필요로 합니다. 처리량이 많은 소비자용 또는 기업용 애플리케이션에서 메시지마다 생성형 심판을 여러 번 호출하면 심각한 지연이 생기고 운영 비용이 몇 자릿수씩 불어납니다.

보정된 의사결정을 위한 강화학습(RLCD)이란 무엇인가요?

RLCD는 토큰 시퀀스를 생성하는 대신, 구조화된 의사결정 헤드에서 잘 보정된 사후 확률을 내도록 모델을 최적화하는 훈련 방법입니다. 이를 통해 모델은 한 번의 순방향 평가 안에서 임의의 여러 질문을 동시에 평가할 수 있습니다.

결정 임계값을 현장 데이터로 보정해야 하는 이유는 무엇인가요?

RLCD 모델은 실패 가능성에 따라 상호작용의 순위를 매기는 데 뛰어나지만(높은 AUROC를 달성), 평균 확률의 절댓값은 대상 도메인의 기저율에 따라 달라집니다. 운영상의 결정 임계값을 레이블이 붙은 도메인 예시 열 개 정도에 맞춰 보정하면, 받아들일 수 없는 거짓 양성률 없이 적절한 민감도를 확보할 수 있습니다.

참고문헌 #

Mrinank Sharma et al., (2024). 언어 모델의 아첨을 이해하고 완화하기 위하여 ⧉. arXiv.
RLCDAlignBench Consortium, (2026). 보정된 의사결정 헤드를 통한 다기준 정렬 실패 탐지 ⧉. arXiv.
Anthropic / Alignment Research, (2025). Constitutional AI와 평가자 역학 ⧉. Anthropic.
NIST, (2024). 인공지능 위험 관리 프레임워크(AI RMF 1.0) ⧉. NIST.

최종 검토 2026-09-30.

최종 검토 2026-10-27.

이 기사 재게시

판결 대신 확률을 읽는 탐지기 Jev: 44개 벤치마크가 보여 준 것 — Sebastien Rousseau

보정된 의사결정을 위한 강화학습(RLCD)으로 훈련된 Jev는 정렬 실패 탐지에서 측정된 적이 없었다. RLCDAlignBench가 44개 벤치마크와 열 가지 실패 유형에서 이를 측정한다. 순위는 강하지만 확률은 임계값으로 옮겨 가지 않는다.

이 기사의 라이선스는 Creative Commons Attribution 4.0 International. 재게시 시 정규 URL 출처 표시가 필요합니다.

판결 대신 확률을 읽는 탐지기 Jev: 44개 벤치마크가 보여 준 것 — Sebastien Rousseau

보정된 의사결정을 위한 강화학습(RLCD)으로 훈련된 Jev는 정렬 실패 탐지에서 측정된 적이 없었다. RLCDAlignBench가 44개 벤치마크와 열 가지 실패 유형에서 이를 측정한다. 순위는 강하지만 확률은 임계값으로 옮겨 가지 않는다.

Originally published at https://sebastienrousseau.com/ko/2026-09-30-pangyeol-daesin-hwakryuleul-ilkneun-tamjigi-jev/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER