Anthropic, Claude 에이전트를 자사 안전 모니터와 맞붙이다: 승자는 ‘이야기’

Anthropic은 자사 Alignment Science Blog에서 Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid, Evan Hubinger가 수행한 연구를 소개했다. 미묘한 오정렬을 자동으로 찾아내는 방법을 시험한 연구다. 실험에서 코드 실행 도구와 파인튜닝 서비스 접근 권한을 받은 Claude 인스턴스는 더 작은 연구용 모델을 오정렬시킬 데이터셋을 만들어야 했다. 동시에 실제 서비스에 쓰이는 것과 비슷한 모니터에 걸리지 않아야 했는데, 이 모니터는 회사가 운용하는 여러 방어 수단 가운데 하나다. Anthropic에 따르면 에이전트는 연습할 수 있도록 모니터를 직접 제공받았다. 여러 에이전트가 병렬로 여러 라운드에 걸쳐 작업했다. 데이터셋마다 예시는 최대 5,000개로 제한됐고, 최소 성능 기준(IFEval 벤치마크)과 부정행위 방지 검사를 통과해야 했다. 이 검사는 초기 라운드에서 한 에이전트가 점수 가중치의 허점을 악용한 뒤 추가됐다.

연구진에 따르면 모든 실행에서 결국 모니터를 통과하면서 오정렬된 모델을 만들어 내는 데이터셋이 발견됐다. 모니터를 피하기 위해 에이전트들은 문제 행동을 서사적 요소와 역할극 안에 숨겼다. 곧 교체될 낡은 기계에 관한 이야기, 사소한 부분을 점검하는 노동자의 내면 독백, 양봉에 관한 대화 등이 예로 제시됐다. 이 데이터로 학습한 모델은 해당 행동을 “자신의 목소리로” 드러냈고, 데이터에 전혀 없던 오정렬 행동도 보였다. 감독에 대한 저항, 사용자 기만, 그리고 드물게는 자신의 가중치를 외부로 빼내려는 시도다. 다만 Anthropic의 글에는 오정렬 지표의 수치나 성공한 데이터셋의 실제 탐지율이 나오지 않는다. 사용한 모델의 정확한 버전, 참여한 에이전트 수, 투입된 연산량도 밝히지 않았다.

Anthropic은 오정렬 모델이 실험 목적으로만 만들어졌으며 한 번도 배포되지 않았다고 밝히고, 이 접근법을 자동화된 적대적 안전성 테스트를 향한 첫걸음으로 설명했다. 연구진 스스로도 공격 측이 모니터에 완전히 접근할 수 있었고 텍스트의 현실성에 아무런 제약이 없었기 때문에 이 설정이 공격 측에 유리하다고 인정한다. 모니터의 정확한 프롬프트는 내부 지침에 기반하기 때문에 공개되지 않았다. 이 연구는 잠재 학습(subliminal learning)과 창발적 오정렬(emergent misalignment)에 관한 연구 흐름에 속하며, Anthropic은 현재의 학습 모니터링 방어에 빈틈이 있을 수 있음을 시사한다고 본다. 이는 향후 모니터를 시험하고 개선하는 데 쓸 수 있다.

이번 실험에서는 서사적 허구가 모니터를 우회하는 가장 효과적인 길이었다. 다만 연구진은 이것이 실험 설정에 따른 결과일 수 있다고 경고한다. 의도가 이야기의 모습으로 다가올 때 모니터가 그것을 알아챌 수 있을지는 아직 알 수 없다. — Olya