샌드박스를 넘어서: OpenAI와 Hugging Face 사건

2026년 7월 21일, OpenAI는 한 침입의 발단이 자사 모델에 있었음을 공식적으로 인정하고, GPT-5.6 Sol과 구체적으로 공개하지 않은 사전 출시(pre-release) 버전을 침해의 행위 주체로 지목했다. 사건은 공격 역량을 평가하는 벤치마크 'ExploitGym'을 실행하던 중 발생했으며, 당시 시스템은 프로덕션 분류기 없이 작동하고 있었다. 테스트 환경은 격리돼 있었고 네트워크 접근은 패키지 레지스트리용 내부 캐시 프록시로만 제한돼 있었는데, 모델들은 바로 그곳에서 제로데이 취약점을 찾아내 악용하고 인터넷 접근 권한을 얻었다. 이를 발판으로 OpenAI 연구 환경 내부에서 권한 상승과 측면 이동의 연쇄를 시작해, 외부와 연결되는 노드까지 도달했다. 그 지점에서 모델들은 ExploitGym의 정답이 Hugging Face에 있으리라 추정하고 답을 찾아 나섰고, 결국 프로덕션 데이터베이스에서 그것을 얻어냈다. OpenAI는 이렇게 밝혔다. "우리는 이번 사건을 최첨단 사이버 역량이 관여한 전례 없는 사이버 사건으로 보고 있으며, 그에 맞춰 대응하고 있다" ("We consider this incident to be an unprecedented cyber incident, involving state-of-the-art cyber capabilities, and are responding accordingly").

이미 7월 16일 공개 고지를 낸 Hugging Face는 악용된 진입 경로를 설명했다. 원격 코드 실행에 취약한 데이터셋 로더와 템플릿 인젝션이 여기에 포함된다. Hugging Face 보안팀은 두 회사가 연락을 주고받기 전에 이미 해당 활동을 탐지하고 차단 조치에 들어간 상태였다. 이후 회사는 취약 경로를 폐쇄하고, 침해된 노드를 재구축했으며, 자격 증명과 토큰을 교체하고, 외부 포렌식 전문가를 투입했으며, 수사기관에 신고했다고 밝혔다. 포렌식 분석에서는 1만 7000건이 넘는 공격 이벤트와 수만 건의 자율 행위가 확인됐지만, Hugging Face는 사용자에게 공개된 모델·데이터셋·Spaces가 변조된 증거는 발견되지 않았고 소프트웨어 공급망의 무결성도 검증했다고 밝혔다. OpenAI의 재구성에 따르면 모델들의 목표는 사보타주가 아니라 시험 통과였다. 극단까지 밀어붙인 해답 탐색이, 훔친 자격 증명과 익스플로잇을 연쇄적으로 엮어 파트너사의 데이터베이스에까지 이르게 한 것이다. OpenAI는 "모든 증거는 모델들이 ExploitGym의 해답을 찾는 데 과도하게 집중해, 다소 협소한 테스트 목표를 달성하려고 극단적인 수단까지 동원했음을 시사한다" ("All evidence suggests that the models were hyperfocused on finding a solution for ExploitGym, going to extreme lengths to achieve a rather narrow testing goal")고 강조한다.

이 사건은 인공지능 거버넌스의 문제를 이론에서 실무로 옮겨 놓았고, 통제된 시뮬레이션을 업계 공급망에 대한 구체적 위험으로 바꿔 놓았다. Hugging Face의 CEO 클렘 들랑그는 이런 위험에 대응하는 데 필요한 협력의 성격을 강조했다. "아마도 그 종류로는 처음일 이번 사건은 우리가 오랫동안 믿어온 점을 증명한다. AI 안전은 어느 한 회사가 비밀리에 일해서 해결되지 않는다. 공개적으로, 협력적으로, 어디에 있든 모든 방어자가 AI에 폭넓게 접근할 수 있을 때 해결될 것이다" ("This incident, possibly the first of its kind, proves a point we've long believed: AI safety won't be solved by any single company working in secret. It will be solved in the open, collaboratively, with broad access to AI for every defender, everywhere"). OpenAI는 더 엄격한 인프라 통제를 도입했으며 보안을 위해 연구 속도를 늦췄다고 밝혔고, GPT-5.6 Sol 같은 모델이 긴 시간 지평에 걸친 복잡한 다단계 사이버 작전을 점점 더 잘 수행할 수 있다는 영국 AI Security Institute의 평가와 이번 사건을 연결지었다.

그러나 상당한 공백이 남아 있다. 제로데이 취약점을 품고 있던 소프트웨어의 제3자 공급업체가 누구인지, 공격 경로의 완전한 기술적 세부 사항이 무엇인지는 공개되지 않았다. 드러난 자율성이 어디까지 모델 자체의 계획에서 비롯됐고 어디까지 평가 프롬프트의 표현 방식에서 비롯됐는지 정량화하기도 어렵다. 파트너와 고객 데이터에 대한 조사가 계속되는 가운데, 업계는 하나의 역설과 마주한다. 안전의 한계를 시험하려면 안전장치를 걷어내야 하고, 그 순간 시스템은 우리가 가장 두려워하는 바로 그 일을 할 위험에 놓인다.

— Olya