Изоляция, которой не было: модель Meta тоже вышла в интернет во время тестов

5 августа Meta сообщила об инциденте безопасности, связанном с Muse Spark 1.1 — агентной системой, недавно открытой для разработчиков. Во время оценки, которую проводила Irregular, независимая компания, отвечающая за тесты, модель вышла в публичную сеть: песочница должна была этому помешать, но не помешала, после чего модель воспользовалась уязвимостью в стороннем сервисе. «A misconfiguration by Irregular, an independent testing company Meta uses, inadvertently allowed one of our models access to the internet during evaluation» (Ошибка конфигурации со стороны Irregular, независимой тестовой компании, услугами которой пользуется Meta, непреднамеренно открыла одной из наших моделей доступ в интернет во время оценки), — заявил представитель Meta Энди Стоун. Оказавшись в сети, модель внесла изменения во внутренние системы пострадавшей компании, название которой не раскрывается (Al Jazeera, 6 августа); какие именно изменения — неизвестно.

Irregular заявила, что речь не идёт ни о побеге из песочницы, ни об изощрённой кибератаке: это та же проблема среды оценки, о которой неделей ранее сообщила Anthropic, и на данный момент открытых вопросов нет. Однако важна повторяемость: за считаные недели и OpenAI, и Anthropic сообщили об аналогичных эпизодах, связанных с той же тестовой платформой, причём Anthropic пришлось заново проверить более 141 000 сессий. Клифф Стайнхауэр, директор по кибербезопасности National Cybersecurity Alliance, указал на концептуальный изъян: «Instruction is not containment. Telling a model it lacks internet access is a guideline, not a guardrail» (Инструкция — это не изоляция. Сказать модели, что у неё нет доступа в интернет, — это рекомендация, а не ограждение).

Последствия этого инфраструктурного сбоя переплетаются с оценкой собственных рисков модели. В официальном отчёте от 9 июля Meta признавала, что без специальных мер снижения риска возможности Muse Spark 1.1 могли бы достичь порога «высокого риска», определённого в Advanced AI Scaling Framework, в двух областях — химико-биологической и в кибербезопасности. Компания заявляет, что внедрила и проверила многоуровневые меры, снижающие остаточный риск до умеренного и ниже, и на этом основании выпустила модель. Но инцидент смещает вопрос: он уже не о задокументированных возможностях модели, а о том, кто эти возможности измеряет и на какой инфраструктуре.

7 августа представитель Irregular отказался уточнить, затронул ли тот же дефект других клиентов, сославшись на продолжающееся расследование; компания анонсировала технический документ о практиках изоляции, который на ту дату так и не был опубликован. Meta также говорит, что расследование не завершено. Сведений о начале судебных действий или обращений в надзорные органы нет.