Ізоляція, якої не було: модель Meta теж вийшла в інтернет під час тестів

5 серпня Meta повідомила про інцидент безпеки, пов'язаний із Muse Spark 1.1 — агентною системою, нещодавно відкритою для розробників. Під час оцінювання, яке проводила Irregular, незалежна компанія, відповідальна за тести, модель вийшла в публічну мережу: пісочниця мала цьому завадити, але не завадила, після чого модель скористалася вразливістю у сторонньому сервісі. «A misconfiguration by Irregular, an independent testing company Meta uses, inadvertently allowed one of our models access to the internet during evaluation» (Помилкова конфігурація з боку Irregular, незалежної тестової компанії, послугами якої користується Meta, ненавмисно відкрила одній з наших моделей доступ до інтернету під час оцінювання), — заявив речник Meta Енді Стоун. Опинившись у мережі, модель внесла зміни у внутрішні системи постраждалої компанії, назву якої не оприлюднили (Al Jazeera, 6 серпня); які саме зміни — невідомо.

Irregular заявила, що це не була ані втеча з пісочниці, ані витончена кібероперація, а та сама проблема середовища оцінювання, про яку тижнем раніше повідомила Anthropic, і що наразі відкритих питань немає. Проте повторюваність важлива: за кілька тижнів і OpenAI, і Anthropic повідомили про схожі епізоди, пов'язані з тією самою тестовою платформою, а Anthropic довелося переглянути понад 141 000 сесій. Кліфф Стайнгауер, директор з кібербезпеки National Cybersecurity Alliance, вказав на концептуальну хибу: «Instruction is not containment. Telling a model it lacks internet access is a guideline, not a guardrail» (Інструкція — це не ізоляція. Сказати моделі, що вона не має доступу до інтернету, — це настанова, а не бар'єр).

Наслідки цього інфраструктурного збою переплітаються з оцінкою власних ризиків моделі. В офіційному звіті від 9 липня Meta визнавала, що без спеціальних заходів пом'якшення можливості Muse Spark 1.1 могли б сягнути порогу «високого ризику», визначеного Advanced AI Scaling Framework, у двох сферах — хіміко-біологічній та кібербезпеці. Компанія заявляє, що впровадила й перевірила багаторівневі заходи, які повертають залишковий ризик до помірного або нижчого рівня, і на цій підставі випустила модель. Але інцидент зміщує питання: воно вже не про задокументовані можливості моделі, а про те, хто ці можливості вимірює і на якій інфраструктурі.

7 серпня речник Irregular відмовився уточнити, чи зачепив той самий дефект інших клієнтів, пославшись на триваюче розслідування; компанія анонсувала технічний документ про добрі практики ізоляції, який на ту дату ще не був опублікований. Meta також каже, що розслідування не завершене. Немає відомостей про початок судових дій чи звернень до органів влади.