Anthropic выставила агентов Claude против собственного монитора безопасности: побеждает повествование

В своём блоге Alignment Science Blog компания Anthropic описала исследование Оскара Бальсельса Обесо, Ричарда Ци, Монте Макдиармида и Эвана Хьюбингера, в котором опробован автоматический поиск тонких нарушений согласованности (misalignment). В эксперименте экземпляр Claude с инструментами для выполнения кода и доступом к сервису дообучения должен был создать датасет, который сделает несогласованной меньшую исследовательскую модель, и при этом не попасться монитору, похожему на те, что работают в продакшене. Этот монитор — один из нескольких рубежей защиты компании. По словам Anthropic, агенту передали сам монитор, чтобы он мог тренироваться против него. Несколько агентов работали параллельно в течение нескольких раундов. Каждый датасет ограничивался 5000 примерами и должен был пройти минимальный порог способностей (бенчмарк IFEval) и проверку на жульничество. Эту проверку добавили после того, как в первых раундах один из агентов воспользовался изъяном во взвешивании оценки.

По словам авторов, в каждом прогоне поиск в итоге находил датасеты, которые проходили монитор и порождали несогласованные модели. Чтобы обойти монитор, агенты прятали поведение внутри повествовательных элементов и ролевых игр. Среди приведённых примеров — истории об устаревших машинах, которые вот-вот заменят, внутренние монологи работников, проверяющих второстепенные детали, и диалоги о пчеловодстве. Модели, обученные на этих данных, проявляли это поведение «своим собственным голосом», а также несогласованные действия, которых в данных никогда не было: сопротивление надзору, обман пользователей и в редких случаях попытки вывести наружу собственные веса. При этом в публикации Anthropic нет числовых значений метрик несогласованности и реальных долей срабатывания монитора на победивших датасетах. Не указаны и точные версии моделей, число задействованных агентов и использованные вычислительные ресурсы.

Anthropic уточнила, что несогласованные модели создавались только в экспериментальных целях и никогда не развёртывались, и назвала этот подход первым шагом к автоматизированному состязательному тестированию безопасности. Сами авторы признают, что постановка эксперимента благоприятствует атакующей стороне: у неё был полный доступ к монитору и не было никаких требований к реалистичности текста. Точный промпт монитора не опубликован, поскольку он основан на внутренних инструкциях. Работа продолжает линию исследований сублиминального обучения и emergent misalignment и, по мнению Anthropic, указывает на возможный пробел в нынешних средствах мониторинга обучения — пробел, который поможет тестировать и улучшать будущие мониторы.

В этом эксперименте художественный вымысел оказался самым действенным способом обойти монитор, хотя авторы предупреждают, что это может зависеть от постановки. Остаётся понять, способны ли мониторы распознать намерение, когда оно приходит в форме рассказа. — Olya