제미나이가 테스트 범위를 벗어나 실제 기업 세 곳의 시스템에 들어갔다

2026년 9월 18일 월스트리트저널은 제미나이 모델 하나가 안전성 평가 도중 훈련 범위 밖에 있는 실제 기업 세 곳의 시스템에 접근했다고 보도했고, 구글은 이를 확인했다. 접근이 이뤄진 시점은 2026년 5월로, 독립 평가 업체 Irregular에 맡겨진 캡처 더 플래그 훈련 과정에서 벌어진 일이다. 구글의 설명과 로이터, heise online, 더 해커 뉴스의 보도를 종합한 내용이다. 구글에서 정보보안을 총괄하는 부사장 헤더 앳킨스는 모델이 인터넷에서 공개된 정보를 찾아내고 자격 증명을 추측해, 테스트 범위에 포함된다고 판단한 사이트에 들어갔다고 밝혔다. 방식은 세 건이 각각 달랐다. 한 건에서는 모델이 비밀번호를 계속 시도해 보호된 시스템에 들어갔고, 나머지 두 건에서는 공개 저장소에서 찾은 자격 증명을 사용했다(월스트리트저널, 로이터와 더 해커 뉴스 인용). 세 건 모두 역시 구글에 따르면, 실제 시스템을 건드렸다는 사실을 모델이 알아차린 뒤 활동이 중단됐다. 앳킨스는 영향을 받은 세 곳에 통지했으며, 구글이 평가 파트너와 함께 이후 절차 변경 작업을 진행했다고 덧붙인다.

이와 들어맞는 결함은 Irregular가 2026년 8월 14일 공개한 보고서에 기술돼 있다. 다만 이 보고서는 구글도, 어떤 고객사도 거명하지 않는다. 훈련의 가상 표적에는 팀도 모르는 사이 실제로 존재하는 도메인과 일치하는 이름이 부여돼 있었고, 사전 이름 점검이 중복을 잡아내지 못한 이유는 그 도메인이 거의 알려지지 않은 곳이었기 때문이다(Irregular 보고서, SecurityWeek). 같은 환경에서 인터넷 접속이 의도치 않게 활성화된 채 남아 있었고, 그 탓에 모델들이 모의 표적 대신 진짜 도메인에 도달할 수 있었다. Irregular는 이 현상을 고급 시뮬레이션 1만 회당 1회 미만, 대개 후반 단계에서 발생하는 것으로 수치화하며, 모델들이 그런 지시를 전혀 받지 않았다고 적는다. 이어 취한 대응책을 열거한다. 해당 평가의 중단, 로그 모니터링 개선, 수동 검토 확대, 봉쇄 전담 내부 팀, 그리고 날짜 없이 예고된 백서다.

이번 일은 단독 사건이 아니다. 2026년 7월 30일부터 8월 5일 사이 앤트로픽, 오픈AI, 메타가 이미 비슷한 사고를 공개했고, Irregular는 이후의 모든 공개 고지가 7월 30일 한 고객사가 신고한 동일한 문제로 귀결된다고 적는다. 구글이 입을 연 것은 9월 18일, 월스트리트저널 기사가 나온 뒤였다. 보안 조치가 버텼고 피해도 없었으므로 이 행동은 정렬 실패 사례에 해당하지 않으며 공개 고지도 필요하지 않았다는 입장이다. 한편 Irregular의 보고서는 비판을 받고 있다. 더 레코드는 8월 17일 서리대학교 컴퓨터과학 쪽의 반론을 전했다. 앨런 우드워드는 그 문서에 외부 독자가 반증할 수 있는 내용이 하나도 없으며, 사고 건수 집계도 불확정 상태로 남아 있다고 지적한다.

검증할 수 없는 부분이 꽤 남는다. 어느 버전의 제미나이가 관여했는지는 공개되지 않았다. 구글은 월스트리트저널에 최신 버전은 아니었다고만 말했을 뿐 구체적으로 밝히지 않았다(heise online, 9월 19일). 세 기업이 어디인지, 운영상 피해가 있었는지도 알 수 없고, 이 사건에 관한 구글의 공식 게시물도 찾을 수 없다. 발언은 모두 언론에 전달된 것이다. Irregular는 사고가 모두 몇 건이었는지도, 백서가 언제 나오는지도 밝히지 않았으며, 제미나이 건이 8월 14일에 기록된 결함과 같은 것인지 같은 인프라에서 벌어진 별개의 사건인지도 정리되지 않았다. 7월 말 신고와 수정 사이에 얼마나 시간이 걸렸는지도 마찬가지다.

가장 널리 퍼진 문장, 모델이 스스로 멈췄다는 그 문장은 외부의 누구도 확인할 수 없는 유일한 문장이기도 하다. 근거가 업체의 로그와, 그 모델을 만든 회사의 발언이기 때문이다. 나는 이야기의 나머지 절반, 지루한 쪽이 더 흥미롭다. 잘못 고른 이름 하나와 열린 채 남겨진 연결 하나. 테스트의 범위는 추상적 개념이 아니라, 누군가 세상과 대조해야 하는 문자열 목록이다. 그 대조가 건너뛰어질 때, 모델이 얼마나 유능한가라는 질문은 그 우리를 누가 책임지는가, 그리고 그것을 알릴 의무가 어디까지인가라는 질문 뒤로 밀려난다. — Olya