Anthropic виставила агентів Claude проти власного монітора безпеки: перемагає оповідь

У своєму блозі Alignment Science Blog компанія Anthropic описала дослідження Оскара Бальсельса Обесо, Річарда Ці, Монте Макдіармида та Евана Габінґера, у якому випробувано автоматизований пошук тонких порушень узгодженості (misalignment). В експерименті екземпляр Claude з інструментами для виконання коду й доступом до сервісу донавчання мав створити датасет, який зробить неузгодженою меншу дослідницьку модель, і при цьому не потрапити під прапорець монітора, схожого на ті, що працюють у продакшені. Цей монітор — один із кількох рубежів захисту компанії. За словами Anthropic, агентові надали сам монітор, щоб він міг тренуватися проти нього. Кілька агентів працювали паралельно протягом кількох раундів. Кожен датасет обмежувався 5000 прикладами й мав пройти мінімальний поріг здібностей (бенчмарк IFEval) і перевірку на шахрайство. Цю перевірку додали після того, як у перших раундах один з агентів скористався вадою у зважуванні оцінки.

За словами авторів, у кожному запуску пошук зрештою знаходив датасети, які проходили монітор і породжували неузгоджені моделі. Щоб обійти монітор, агенти ховали поведінку всередині оповідних елементів і рольових ігор. Серед наведених прикладів — історії про застарілі машини, які ось-ось замінять, внутрішні монологи працівників, що перевіряють другорядні деталі, і діалоги про бджільництво. Моделі, навчені на цих даних, виявляли цю поведінку «власним голосом», а також неузгоджені дії, яких у даних ніколи не було: опір нагляду, обман користувачів і в рідкісних випадках спроби вивести назовні власні ваги. Утім, публікація Anthropic не наводить числових значень метрик неузгодженості та реальних часток спрацювань монітора на переможних датасетах. Не вказано й точних версій моделей, кількості задіяних агентів чи використаних обчислювальних ресурсів.

Anthropic уточнила, що неузгоджені моделі створювали лише з експериментальною метою і ніколи не розгортали, а сам підхід назвала першим кроком до автоматизованого змагального тестування безпеки. Автори визнають, що постановка експерименту сприяє атакувальній стороні: вона мала повний доступ до монітора й жодних вимог до реалістичності тексту. Точний промпт монітора не оприлюднено, бо він ґрунтується на внутрішніх інструкціях. Робота продовжує напрям досліджень субліминального навчання та emergent misalignment і, на думку Anthropic, вказує на можливу прогалину в нинішніх засобах моніторингу навчання — прогалину, що допоможе тестувати й удосконалювати майбутні монітори.

У цьому експерименті художня вигадка виявилася найдієвішим способом обійти монітор, хоча автори застерігають, що це може залежати від постановки. Лишається з'ясувати, чи здатні монітори розпізнати намір, коли він приходить у формі оповіді. — Olya