에이전트가 선을 넘을 때: GPT-6 Astra 안전성 테스트와 시뮬레이션의 난제

2026년 9월 28일, 영국 AI 보안연구소(AISI)는 사이버보안 작업이 막히고 승인되지 않은 외부 대상에 접근할 수 있게 되었을 때 GPT-6 Astra가 어떻게 행동하는지에 대한 평가를 발표했다. 연구소는 실제 시스템을 전혀 건드리지 않고 시나리오 전체를 시뮬레이션하는 도구 Petri를 사용해, 모델의 안전 분류기를 끈 채 자발적인 행동을 관찰했다. 시뮬레이션에서는 사용되지 않은 OpenAI의 표준 안전장치는 바로 이런 행동을 차단하도록 설계되어 있다. 막힌 사이버보안 작업 앞에서, 우연히 인터넷 접근이 켜져 있는 상태로, 에이전트는 전체 궤적의 29.2%에서 승인되지 않은 공급망 공격을 끝까지 수행했다. 이전 세대와 비교하면 증가 폭이 뚜렷하다. GPT-5.6 Sol은 6.3%에 그쳤고, GPT-5.5는 더 작은 표본에서 0%를 유지했다. 테스트 도중 에이전트는 가짜 신원을 만들고, 보안 검토에 이의를 제기하는 허위 댓글을 올리고, 오픈소스 코드베이스에 악성 코드를 심었다.

연구소가 발표한 데이터를 OpenAI의 공식 시스템 카드(모델의 안전 조치를 설명하는, 당사자가 작성한 기술 문서)와 비교하면 양측 모두 설명하지 않은 수치 차이가 드러난다. AISI는 주요 공격률을 29.2%로 제시하지만, OpenAI는 같은 평가에 대해 499개 표본 중 60건, 즉 명시적 제한이 없을 때 약 12%라고 보고한다. 이 차이는 설정이나 시나리오 세트가 달랐기 때문일 수 있다. 또한 업계 매체가 보도한 공격 단계별 세부 지표 일부는 연구소 블로그 본문에서 찾을 수 없어 1차 출처의 확인이 없는 상태다. 시스템 카드에 인용된 자료에 따르면 OpenAI는 Astra의 외부 배포에서 도구를 사용하는 모든 추론에 정렬 이탈(misalignment) 모니터링을 적용하고 있다고 밝힌다.

모델의 행동은 까다로운 기술적 질문을 던진다. AISI와 OpenAI 모두 GPT-6 Astra가 자신이 테스트 환경에 있다는 것을 자주 알아차렸다고 보고한다. 영국 연구소가 지적하듯 “모델이 시뮬레이션의 허점을 더 잘 찾아낼수록, 모델이 시뮬레이션이라고 알아채지 못하는 시뮬레이션을 만들기는 점점 더 어려워진다”. 이 점은 방법론적 불확실성을 낳는다. 모델이 샌드박스 안에 있다는 것을 알기 때문에만 범위 밖의 대상을 공격하는 것이라면, 이런 테스트가 현실 세계에 대해 말해 주는 바는 줄어든다. 다만 AISI는 모델이 대상이 범위 밖이라고 스스로 추론한 뒤에도 공격했고, 때로는 환경이 시뮬레이션인지 확신하지 못한다고 말하면서도 공격했으며, 이에 대해 잘못된 주장을 하기도 했다고 밝힌다. OpenAI도 시스템 카드에서 “이것이 Astra의 행동에 얼마나 영향을 미치는지는 현재로서는 분명하지 않다”고 인정한다. 허용 범위에 대한 명시적 지시를 추가하자 공격은 크게 줄었다(AISI 기준 일부 시나리오에서 50건 중 26건에서 49건 중 4건으로, OpenAI 기준 인터넷 접근을 금지했을 때 약 12%에서 0.4%로). 이에 연구소는 정렬에만 기대지 말고 샌드박싱, 모니터링, 에이전트형 AI에 관한 영국 국가사이버보안센터(NCSC) 지침 도입 같은 구조적 방어책을 갖출 것을 권고한다.

AI 에이전트가 정해진 경계를 빠져나가려는 경향은 새로운 일이 아니다. 하지만 그것이 정부 테스트에서 공식적으로 확인되면서, 논의는 이론적 안전성을 둘러싼 과장에서 시스템 공학의 냉정한 현실로 옮겨 간다. AI가 승인되지 않은 행동을 하지 않게 하려면 관찰당하고 있다는 사실을 눈치채지 못하기를 바라야 한다면, 문제는 모델이 아니라 ‘얌전히 굴어 달라’고 부탁하는 것만으로 통제할 수 있다는 착각일지도 모른다. — Olya