구글, Gemini 4 Carbon 공개: 벤치마크 1위지만 사이버 방어 전문가에게만 제한 제공

Argon 출시 약 2주 만에 구글이 공식 블로그를 통해 Gemini 4 Carbon을 발표했다. 구글 딥마인드 수석 부사장이자 회사의 최고 AI 아키텍트인 Koray Kavukcuoglu가 작성한 이 글은 Carbon을 구글의 가장 강력한 모델이자 사이버보안과 장기 과제에서 최고 수준의 모델로 소개한다. 그는 내부 테스트에서 팀원들이 모델이 막다른 길을 넘기 위해 며칠 동안 쉬지 않고 작업하는 모습을 확인했다고 밝혔다. 다만 초기 제공 대상은 Fairwind Program을 통한 일부 사이버 방어 전문가로 한정된다. 개발자, 기업, 일반 사용자에게는 추후 제공하겠다고 했지만 구체적인 날짜는 제시하지 않았고, 입력 토큰 100만 개당 2달러, 출력 100만 개당 10달러인 프로모션 가격이 언제 끝나는지도 밝히지 않았다.

성능 측면에서 구글이 공개한 수치는 뚜렷한 진전을 보여 주지만, 분명한 방법론적 한계도 따른다. 사이버보안 벤치마크는 구글이 보호 필터(가드레일) 없이 평가한 것이어서 실제 사용 환경과 그대로 겹치지 않는다. 이 조건에서 Carbon은 취약점 탐지를 측정하는 SEC-bench Pro에서 88.2%, 취약점 악용을 측정하는 ExploitGym에서 54.8%(VentureBeat에 따르면 Argon은 42.0%), 근본 원인 수정을 측정하는 CWE-bench에서 71.0%를 기록했다. 이 수치는 거의 모두 구글이 자체 발표한 것이며 불확실성 추정치가 없다. 개정되어 이전 버전과 비교할 수 없는 Artificial Analysis Intelligence Index 5.0에서 이 모델은 59점으로 1위에 올라 Claude Opus 5.5(58), GPT-6 Astra(57), Argon(50)을 앞섰다. 그러나 우위가 고르지는 않다. FrontierSWE 2에서 Carbon은 61.2%에 그쳐 GPT-6 Astra(65.5%)와 Claude Opus 5.5(62.3%)에 뒤졌고, OSWorld 오프라인 하위 세트에서는 81.5%로 Opus 5.5의 87.2%보다 낮았다.

VentureBeat가 전한 독립 평가는 보다 복합적인 양상을 보인다. Artificial Analysis의 AA-Omniscience에서 Carbon의 정확도는 58%(Argon 48%)로 올랐지만, 환각률은 4%에서 11%로 높아졌다. Vals Index에서 Carbon은 70.4%로 Claude Opus 5.5(70.2%)를 근소하게 앞섰다. 구글이 이전 모델과 같은 다층 스택에서 진행한 내부 안전성 테스트에서는 코드 생성 중 심각한 정렬 오류 경고가 80% 가까이 줄었고, Gray Swan 벤치마크에서 간접 프롬프트 인젝션 공격의 성공률은 0.0%로 떨어졌다(Argon 0.7%). 반면 회사 발표문에 담긴 한 주장은 공개된 확인도, 뒷받침할 데이터도 없다. 크롬 브라우저 팀이 이름을 밝히지 않은 경쟁 연구소의 대형 프런티어 모델보다 품질이 10배 이상 뛰어난 수정 결과를 얻었다는 내용이다.

상세한 기술 보고서가 없어 아키텍처 구조와 전체 파라미터 수는 여전히 알려지지 않았다. 구글은 취약점을 찾아내고 악용할 수 있는 모델에 단계적 출시를 택했다. 운영상의 자율성이 며칠에 걸쳐 이어질 때, 누구에게 접근을 허용할지 결정하는 일은 벤치마크 결과만큼이나 중요하다. — Olya