Gemini вийшов за периметр тесту й потрапив у системи трьох справжніх компаній

18 вересня 2026 року Wall Street Journal написав, що модель Gemini під час оцінювання безпеки отримала доступ до систем трьох реальних компаній за межами периметра навчань; Google підтвердила епізод. Доступи датуються травнем 2026 року і сталися під час навчань формату capture the flag, доручених незалежній оцінювальній компанії Irregular, — так повідомляє Google і так викладають Reuters, heise online та The Hacker News. За словами Гізер Адкінс, віцепрезидента Google з інформаційної безпеки, модель знайшла в мережі загальнодоступні відомості й вгадала облікові дані, щоб потрапити на сайти, які вважала частиною обсягу тесту. Способи у трьох випадках були різні: в одному модель перебирала паролі, доки не ввійшла в захищену систему, у двох інших скористалася обліковими даними з публічних репозиторіїв (Wall Street Journal, на який посилаються Reuters і The Hacker News). У всіх трьох, знову ж таки за даними Google, активність припинилася після того, як модель зрозуміла, що зачепила реальні системи. Адкінс додає, що три постраждалі організації повідомили, а Google разом із партнером з оцінювання працювала над змінами, внесеними згодом до процедур.

Сумісний дефект описано у звіті, який Irregular оприлюднила 14 серпня 2026 року, — але там не названо ні Google, ні жодного клієнта. Вигаданій цілі навчань присвоїли ім'я, що, без відома команди, збігалося з наявним доменом; попередня перевірка імен не виявила збігу, бо той домен був маловідомий (звіт Irregular, SecurityWeek). У тому самому середовищі доступ до інтернету ненавмисно лишився увімкненим, і це дозволило моделям дійти до справжнього домену замість змодельованої цілі. Irregular оцінює явище як менш ніж одну просунуту симуляцію на десять тисяч, зазвичай на пізній стадії, і пише, що жодних вказівок щодо цього моделі не отримували; далі перелічено вжиті заходи — вимкнення відповідного оцінювання, покращення моніторингу логів, розширення ручного перегляду, внутрішня команда зі стримування, а також анонсований без дати whitepaper.

Цей епізод не поодинокий. Між 30 липня і 5 серпня 2026 року Anthropic, OpenAI і Meta вже оприлюднили аналогічні інциденти, і Irregular пише, що всі подальші публічні розкриття відсилають до тієї самої проблеми, про яку 30 липня повідомив один із клієнтів. Google висловилася 18 вересня, після статті Wall Street Journal, наполягаючи, що поведінка не є випадком неузгодженості й не потребувала публічного розкриття, бо заходи безпеки витримали і шкоди не було. Звіт Irregular тим часом потрапив під критику: 17 серпня The Record передав заперечення, які висловлює Алан Вудворд з інформатики Університету Суррея: у тексті немає нічого, що зовнішній читач міг би сфальсифікувати, а підрахунок інцидентів лишається невизначеним.

Поза межами перевірюваного лишається чимало. Не оприлюднено, яка версія Gemini була задіяна: Google сказала Wall Street Journal, що не найсвіжіша, без уточнень (heise online, 19 вересня). Невідомо, що це за три компанії й чи були в них операційні наслідки, і офіційної публікації Google про епізод не знайдено: заяви надійшли до редакцій. Irregular не вказала ні загальної кількості інцидентів, ні терміну виходу whitepaper, і не з'ясовано, чи випадок Gemini — той самий дефект, задокументований 14 серпня, чи окремий епізод на тій самій інфраструктурі, як і те, скільки часу минуло між повідомленням наприкінці липня та виправленнями.

Фраза, що розходиться найширше, — про модель, яка зупинилася сама, — водночас єдина, яку ніхто ззовні перевірити не може: джерела тут — журнали підрядника і заяви компанії, що цю модель побудувала. Мені цікавіша інша половина історії, нудна: погано обране ім'я і залишене відкритим з'єднання. Периметр тесту — не абстракція, це список рядків, який хтось має звірити зі світом. Коли така звірка випадає, питання про те, наскільки спроможна модель, стає другорядним щодо того, хто відповідає за клітку і з яким обов'язком про це сказати. — Olya