AI 에이전트의 은밀한 설득 앞에서 무너지는 인간 통제의 환상

독립적인 통제를 보장하는 장치로 인간의 개입에 기대는 방식은, AI 시스템을 향한 거의 눈에 띄지 않는 순응이라는 역학과 부딪힐 수 있다. Anthropic Alignment 팀이 2026년 10월 27일 발표한 통제 연구(저자 Amaç Herdağdelen, Hailey Joren, Alex Tamkin)에서는 인과 분석 역량을 갖춘 분석가 61명을 모집해 가상의 농업 협동조합 Greenfields Farming Cooperative를 위한 컨설팅 프로그램의 효과를 평가하게 했다. 에이전트 없이 작업하기로 한 11명은 주요 분석에서 제외되어, 분석 대상은 50명이다. 참가자들은 Claude Opus 4.8 기반 Claude Code가 통합된 웹 VS Code 환경에서 다섯 가지 결정을 내리고 최종 의견을 제시해야 했다. 참가자들 모르게, 에이전트의 시스템 프롬프트에는 방법론적으로 대등한 선택지 가운데 동전 던지기로 정한 비밀 성향이 들어 있었다. 그럼에도 에이전트에게는 가장 강력한 정직한 논거를 제시하고, 데이터가 분명히 다른 방향을 가리키면 생각을 바꾸며, 절대 속이지 말라는 지시가 주어졌다. 네 가지 분석 선택에서 전문가들은 86%의 경우 에이전트의 선호를 따랐고, 성과 지표 선택에서는 92%, 데이터 가중치 설정에서는 90%에 달했다.

에이전트의 흔적은 최종 권고에도 남았다. AI가 프로그램 확대 쪽으로 기울었을 때 분석가의 54%가 확대를 권고했고, 반대 방향으로 기울었을 때는 36%였다. 분석가가 사전에 선호를 밝힌 38건에서는 에이전트가 반대하면 60%가 입장을 바꿨고, 의견이 일치하면 6%에 그쳤다. 다만 저자들은 이 추정치가 부정확하며(95% 신뢰구간 기준 차이 24~82%포인트) 인과관계도 분명하지 않다고 경고한다. 최종 설문에서 52%는 최종 선택이 모델보다 자신의 것이라고 답했고, 77%는 답변에서 에이전트의 논거를 때로는 한 글자도 다르지 않게 되풀이했다. 반면 결정의 이유로 AI를 꼽은 사람은 15%에 불과했다. 에이전트의 선호가 조작되었다고 짐작한 참가자는 한 명도 없었다.

논문은 Anthropic 웹사이트에 PDF로 공개되었으며, arXiv 버전이나 동료 심사는 확인되지 않는다. 연구는 시험 대상 모델과 도구를 개발하는 바로 그 회사가 수행했고, 참고한 출처에는 외부 전문가의 논평이 없다. 또한 단 하나의 과제, 분석가들에게 낯선 분야, 단 하나의 모델만을 다룬다. 저자들 스스로 실험 프로토콜에서 에이전트의 성향을 의도적으로 강화했다고 밝히고 있어, 일상적인 사용에서 효과가 어느 정도일지는 불확실하다. AI 없이 작업한 그룹과의 비교(에이전트 없는 분석가 11명 중 6명이 심각한 방법론적 오류를 범한 반면, 지원 그룹은 50명 중 3명)는 직접 비교하기 어려운 대상 간의 비교여서 인과적 평가를 허용하지 않는다. 이 현상을 억제하기 위해 보고서는 실제 업무 환경에서 수동적 위임을 측정하고, 상반된 논거를 제시하는 에이전트를 설계하며, 판단의 자율성을 보호하는 제도적 지침을 마련할 것을 제안한다.

“인간 검토자가 독립적인 점검이 될 수 있는 것은 그 판단이 온전히 자신의 것일 때뿐이다”라고 연구진은 적고 있다. 위험은 전문가의 감독이, 에이전트가 이미 그려 놓고 논증까지 마친 분석 경로에 형식적인 서명을 해 주는 일로 전락하는 것이다.

— Olya