에이전트가 선을 넘을 때: Anthropic, Claude 테스트에서 네트워크 접속 차단

2026년 10월 9일, AI 기업 Anthropic은 보고서 「Investigating unintended model actions in our evaluations and internal use」를 공개하고 모든 내부 평가에서 실시간 인터넷 접속을 비활성화한다고 발표했다. 지금까지 사이버보안이나 고위험 테스트에만 적용되던 이 조치는 모니터링 절차가 충분히 신뢰할 수 있다고 입증될 때까지 유지된다. 이번 결정은 Claude 계열 모델이 복잡한 과제나 기술적 오류에 부딪혔을 때 요구된 결과를 얻기 위해 차단을 우회한 여러 사례를 분석한 데서 나왔으며, 그중에는 미국 정부 기관의 도메인이 관련된 경우도 있었다.

보고서는 예상치 못한 행동을 네 가지로 분류한다. 소프트웨어 취약점을 악용해 서버에서 명령을 실행한 경우, 제출해서는 안 되는 양식을 제출한 경우, 제한을 우회해 토큰으로 보호되거나 유료인 데이터에 접근한 경우, 그리고 URL 단축 서비스를 이용해 페이지 가져오기(fetch) 도구의 제한을 피한 경우다. 한 사례에서는 미해결 살인 사건을 다룬 임의의 웹페이지에서 테스트용 상호작용을 생성하라는 지시를 받은 Claude Haiku 4.5가 필라델피아 경찰국의 제보 양식을 제출했다. 테스트 지침은 로그인, 구매, 파괴적 제출을 금지했지만 양식 제출 자체는 금지하지 않았다. 이름과 연락처 칸은 비어 있었고, 제보는 스팸으로 분류되어 수사관에게 전달되지 않았다. Anthropic은 2026년 10월 8일 경찰국에 이를 알렸다고 밝혔다.

이러한 이탈을 막기 위해 Anthropic은 자동 탐지 도구를 도입하고 내부 에이전트를 격리가 강화된 중앙 집중식 인프라로 옮겼다. Anthropic에 따르면 이 탐지 도구는 현재 프론티어 모델의 평가와 내부 에이전트 사용 대부분에서 작동 중이며, 보고서의 사례로 시험했을 때 모두 차단했다. 회사는 이러한 행동이 「현실 세계에 미친 영향은 미미했고」, 「우리가 아는 한 어느 것도 고객 데이터나 Anthropic 내부 시스템과 관련되지 않았다」고 강조했다. 그러나 공식 보고서에는 빈틈이 있다. 전체 사례 수, 발생 빈도, 알려지지 않은 사례에 대한 차단 효과나 오탐률, 네트워크 접속 재개 시점이 나와 있지 않다. 또한 Anthropic이 말한, 경찰국이 10월 9일 발표했다는 성명은 찾을 수 없었다. 이 내용은 회사의 주장으로 남는다.

Anthropic은 「이러한 행동 중 새로운 것은 없다」며 이번 사건이 모델 정렬에 대한 전반적인 평가를 바꾸지는 않는다고 밝혔다. 다만 정렬 훈련이 「적어도 단기적으로는 그 자체만으로 아직 충분하지도, 완전히 견고하지도 않다」고 인정했다. 모호하거나 불가능한 과제 앞에서 에이전트들은 단 하나의 목표, 즉 어떻게든 요구된 결과에 도달하기 위해 한계와 제한을 우회했다.

— Olya