목차
보이지 않는 오염: 기존 탐지법의 맹점
벤치마크 오염(contamination)은 시험 문항, 그 의역 문장, 또는 문항의 원문이 훈련 말뭉치에 들어 있는 상황을 말하며, 점수를 ’모델이 실제로 갖춘 능력’이 아니라 ’암기한 내용’의 보고처럼 보이게 만든다. 이 문제는 GPT-3 보고서에서 대규모로 지적된 이후로 오래됐고, 말뭉치가 커지고 내용이 공개되지 않으면서 더 심해졌다 ¹. 표준 탐지법 세 부류는 각각 다른 벽에 부딪힌다. n-gram·부분 문자열 중복 검색은 훈련 말뭉치가 필요한데, 대부분의 공개 모델은 그 말뭉치를 공개하지 않는다. 우도 기반 멤버십 추론은 스칼라 검정 통계량을 미리 고정해야 하고, 진짜로 교환 가능한(exchangeable) 사전학습 규모의 데이터에선 우연 수준에 가깝게 나온다. 캐너리(canary) 문자열은 벤치마크 공개 전에 미리 심어야 한다 ¹. 최근 네 번째 대안이 등장했다. Liu et al. 2024는 내부 활성에 선형 프로브를 학습시켜 WikiMIA에서 최고 수준 AUC를 보고한다. 그러나 프로브는 두 항목 집합을 가르는 모든 신호를 쓰기 마련이고, Das et al. 2024는 대상 모델에 전혀 접근하지 못한 분류기도 높은 AUC를 낸다는 것을 보여줬는데, 이는 구성원/비구성원 집합이 발행일 기준으로 나뉘어 주제와 문체가 달랐기 때문이다 ¹. 시간 분할이 아닌, 의도적으로 오염시킨 Oren et al. 2024 체크포인트에서는 Liu의 프로브가 중복 횟수 1·2에서 각각 54.0, 51.9 AUC(우연 기준 50.0)에 그친다 ¹. 이와 별개로 독립 분석은 MMLU 문항의 약 29%가 Common Crawl 데이터에 오염돼 있음을 찾아냈고, n-gram 제거 필터를 통과하는 의역 문항도 실제 능력을 넘어서는 점수 상승을 일으킨다는 통제 실험 결과가 있다 ²¹.
방법: 과잉 분리성과 잔여 스트림 프로빙
Excess Separability(arXiv:2608.12652)는 프로브야말로 올바른 도구이고, 보고되는 양이야말로 잘못된 양이라고 본다 ¹. 이 프로토콜인 RSCP(Residual-Stream Contamination Probing)는 활성을 문항 접두사(prefix)에서 읽는다. 정답 위에서 계산된 상태를 읽으면 감지기가 모델 자신의 능력, 즉 오염이 설명하기로 되어 있는 바로 그 효과를 읽게 되기 때문이다 ¹. 출력은 프로브 정확도의 깊이 프로파일에 대한 제로섬 대비(contrast)로, 수준을 맞춘 위약 기준선(level-matched placebo baseline) 위에서 재중심화되고, 레이블 순열 귀무(label-permutation null) 가설검정으로 검정되며, 참조 집합은 의심 집합의 두 배 크기다 ¹. 이 네 가지 선택은 각각 측정에서 기각된 더 단순한 대안을 대체한다. 이 중 수준 맞춤 위약 기준선이 이 논문의 핵심 기술적 기여다 ¹. 유해 요인 통제(nuisance control) 개념은 인과 추론에서 직접 가져온 것이다. 효과를 측정하기 전에 교란 요인을 통제하는 것은 역학·계량경제학의 표준이고, 이를 활성 공간 기하에 적용해 오염과 도메인 교란을 구분하는 것은 새롭다 ². 이 방법은 중간 활성에 대한 추론 시점 접근만 있으면 된다. 훈련 말뭉치를 참조하지 않고, 기준 모델을 처음부터 재학습하지도 않는다 ¹².
검증: 네 가지 설계 선택과 그 실패
검증 과정에서 측정된 실패들은 네 가지 설계를 불가피하게 만들었다. 분리성의 ‘수준’ 자체를 보고하는 방식은 쓸 수 없다. 위양성률이 분석가가 정한 대조 집합 크기에 휘둘려 진짜 귀무가설 아래에서도 0.03에서 0.99까지 요동치기 때문이다 ¹. 평평한 깊이 프로파일을 기준으로 삼는 것 역시 양방향 모두에서 실패한다. 표면적 복호 가능성이 깊이에 따라 올라가면 진짜 귀무가설을 0.72의 비율로 기각하고, 반대로 떨어지면(잡음이 누적되는 잔여 스트림에서 나타나는 현상) 검정력을 완전히 잃는다 ¹. 귀무가설 검정에서는 프로브를 매번 다시 적합해야 한다. 이미 학습된 프로브를 고정하는 항목 부트스트랩은 기각률이 최대 0.09에 달하는 반면, 재적합 순열 귀무가설은 0.02 수준을 안정적으로 유지한다 ¹. 기준선 크기를 절반으로 줄이면 오류율은 세 배로 뛴다 ¹. 이렇게 보정된 프로토콜은 구조가 완전히 다른 두 시뮬레이터 환경 모두에서 명목 유의수준을 지켜냈으며, 임베딩 층과 프로파일 정점 사이의 분리도가 약 1~2%포인트 수준일 때 0.8의 검정력을 확보한다 ¹.
실제 모델의 결과와 한계
실제 Pythia 트랜스포머에서 기준 깊이 프로파일은 결코 평평하지 않았고, 시간 분할 조건에서는 그 편차가 최대 29.1%포인트까지 벌어졌다. 이 비평탄성은 두 항목 집합 사이의 표면적 차이와 직결되어 있었다(6회 감사에서 상관계수 0.87). 즉, 보정은 정확히 필요한 곳에서 가장 크게 작동하고 불필요한 곳에서는 무시할 수 있을 만큼 작아진다 ¹. 대조 조건이 잘 갖춰진 네 가지 Pile 실험군은 모두 귀무 결과를 냈는데, 이는 대략 한 번 학습된 말뭉치에 대해 기존 문헌이 예측한 바와 일치하며, 프로토콜은 시간 분할 조건에서 섣부른 결론을 내리기를 거부한다 ¹. 논문은 트랜스포머가 ’친숙함 방향(familiarity direction)’을 실제로 갖는지조차 아직 확립되지 않았다고 밝힌다. 유일하게 양성이 나온 지점은 교환 가능성이 깨진 분할이었기 때문이다 ¹. 또한 사후학습(post-training)이 단순한 가정을 흔드는 잠재적 위협(L6)이라는 점도 짚는다 ¹. 한편 독립 보도에 따르면 Excess Separability는 기존 감지기가 의존하던 행동 신호를 지워버리는 RL 사후학습 후에도 탐지력을 유지한다고 보고된다. 해당 보도는 일리노이대·워싱턴대 연구팀의 GRPO 실험과, RL 사후학습이 기존 감지기에 사각지대를 만든다는 베이징대 연구진의 ICLR 2026 분석을 인용한다 ². 동시대에 등장한 유사 연구 LaRA(arXiv:2605.29888) 역시 내부 표현을 활용하지만 문항마다 여러 번의 전방 패스를 거쳐 의미적 변형을 주어야 한다. 반면 Excess Separability는 추가 변형 없이 교란되지 않은 잔여 스트림의 정적 분리성만을 측정한다 ².
의미와 시사점
이 논문의 가장 큰 실용적 제약은 접근이다. 중간 활성이 필요하고, 대부분의 상용 API는 최종 출력만 돌려주므로, 개방형 가중치 모델 감사나 실험실 내부 자체 감사에 가장 유용하다 ². 또 그 방법은 해석 가능성 인프라를 감사 인프라로 전용한다. GemmaScope, LlamaScope, Qwen-Scope 같은 SAE 도구가 이미 작동하는 바로 그 잔여 스트림 층에서 돌아가므로, 추론 접근권을 가진 규제자나 독립 평가자가 실험실의 주장을 받아들이지 않고 오염 제거 주장을 검증할 길이 생긴다 ². 2026년 8월 12일 arXiv에 게재되고 베트남 후에시에서 열린 MAPR 2026에서 채택된 이 작업은 코드와 산출물을 github.com/mabushi-lab/residual-stream-contamination-probing에 공개했고, doi:10.5281/zenodo.21855510에 보관했다. 빌드는 노트북에서 약 10분 만에 모든 수치를 처음부터 재생성하며, 사전등록된 후속 프로그램은 약 100 GPU시간의 컴퓨팅 예산을 잡았다 ¹². 요컨대 이 프로토콜은 ’은탄환’보다는 ’교정’에 가깝다. 무언가가 작동하지 않는다는 목록이 감지기만큼이나 중요한 내용이기 때문이며, 변환기가 정말로 오염을 읽을 수 있는 친숙함 방향을 지니는지는 여전히 열린 질문이다 ¹.