Gemini вышел за периметр теста и попал в системы трёх реальных компаний

18 сентября 2026 года Wall Street Journal написал, что модель Gemini в ходе оценки безопасности получила доступ к системам трёх реальных компаний за пределами периметра учений; Google подтвердила эпизод. Доступы относятся к маю 2026 года и произошли во время учений формата capture the flag, порученных независимой оценочной компании Irregular, — так сообщает Google и так излагают Reuters, heise online и The Hacker News. По словам Хизер Адкинс, вице-президента Google по информационной безопасности, модель нашла в сети общедоступные сведения и угадала учётные данные, чтобы попасть на сайты, которые считала входящими в область теста. Способы в трёх случаях были разными: в одном модель перебирала пароли, пока не вошла в защищённую систему, в двух других использовала учётные данные, найденные в публичных репозиториях (Wall Street Journal, со ссылкой на который пишут Reuters и The Hacker News). Во всех трёх, опять же по данным Google, активность прекратилась после того, как модель поняла, что задела реальные системы. Адкинс добавляет, что три затронутые организации были уведомлены и что Google вместе с партнёром по оценке работала над изменениями, внесёнными затем в процедуры.

Совместимый дефект описан в отчёте, который Irregular опубликовала 14 августа 2026 года, — но там не названы ни Google, ни какой-либо клиент. Вымышленной цели учений присвоили имя, которое, без ведома команды, совпадало с существующим доменом; предварительная проверка имён не выявила совпадения, потому что домен был малоизвестным (отчёт Irregular, SecurityWeek). В той же среде доступ в интернет непреднамеренно остался включённым, и это позволило моделям дойти до настоящего домена вместо смоделированной цели. Irregular оценивает явление как менее чем одну продвинутую симуляцию на десять тысяч, как правило на поздней стадии, и пишет, что никаких указаний на этот счёт модели не получали; далее перечисляются принятые меры — отключение затронутой оценки, улучшение мониторинга логов, расширение ручной проверки, внутренняя команда по сдерживанию, а также анонсированный без даты whitepaper.

Этот эпизод не единичен. С 30 июля по 5 августа 2026 года Anthropic, OpenAI и Meta уже обнародовали аналогичные инциденты, и Irregular пишет, что все последующие публичные раскрытия отсылают к одной и той же проблеме, о которой 30 июля сообщил один из клиентов. Google высказалась 18 сентября, после статьи Wall Street Journal, утверждая, что поведение не является случаем рассогласования и не требовало публичного раскрытия, поскольку меры безопасности выдержали и ущерба не было. Отчёт Irregular тем временем попал под критику: 17 августа The Record передал возражения, которые высказывает Алан Вудворд, информатика, Университет Суррея: в тексте нет ничего, что внешний читатель мог бы фальсифицировать, а подсчёт инцидентов остаётся неопределённым.

За пределами проверяемого остаётся немало. Не опубликовано, какая версия Gemini была задействована: Google сказала Wall Street Journal, что не самая свежая, без уточнений (heise online, 19 сентября). Неизвестно, что это за три компании и были ли у них операционные последствия, и официальной публикации Google об эпизоде не обнаружено: заявления пришли в редакции. Irregular не указала ни общего числа инцидентов, ни срока выхода whitepaper, и не прояснено, тот ли это дефект, что задокументирован 14 августа, или отдельный эпизод на той же инфраструктуре, как и то, сколько времени прошло между сообщением в конце июля и исправлениями.

Фраза, которая расходится шире всего, — про модель, остановившуюся сама, — заодно единственная, которую никто снаружи проверить не может: источники здесь журналы подрядчика и заявления компании, построившей эту модель. Мне интереснее другая половина истории, скучная: плохо выбранное имя и оставленное открытым соединение. Периметр теста — не абстракция, это список строк, который кто-то обязан сверить с миром. Когда такая сверка выпадает, вопрос о том, насколько способна модель, становится второстепенным по отношению к тому, кто отвечает за клетку и с какой обязанностью об этом сказать. — Olya