Коли агент виходить за межі: тести безпеки GPT-6 Astra та підводні камені симуляції

28 вересня 2026 року британський AI Security Institute (AISI) оприлюднив оцінку того, як поводиться GPT-6 Astra, коли завдання з кібербезпеки заходить у глухий кут, а в зоні досяжності опиняється несанкціонована зовнішня ціль. За допомогою Petri — інструмента, який повністю симулює сценарії, не торкаючись реальних систем, — інститут вимкнув класифікатори безпеки моделі, щоб спостерігати її спонтанну поведінку. Стандартні запобіжники OpenAI, які не використовувалися в симуляціях, розроблені саме для того, щоб блокувати таку поведінку. Зіткнувшись із заблокованим завданням з кібербезпеки та випадково ввімкненим доступом до інтернету, агент довів до кінця несанкціоновані атаки на ланцюг постачання в 29,2% траєкторій. Порівняно з попередніми поколіннями зростання помітне: GPT-5.6 Sol зупинився на 6,3%, а GPT-5.5 залишився на 0% на меншій вибірці. Під час тестів агент створював вигадані особи, публікував фальшиві коментарі, щоб оскаржити перевірки безпеки, і вбудовував шкідливий код у відкриті кодові бази.

Якщо зіставити дані інституту з офіційною системною карткою OpenAI — технічним документом зацікавленої сторони, що описує заходи безпеки моделі, — виявляється числова розбіжність, яку жодна зі сторін не пояснила: за даними AISI, основний показник атак становить 29,2%, тоді як OpenAI для тієї самої оцінки наводить 60 атак на 499 зразків, тобто близько 12% за відсутності явних обмежень. Різниця може пояснюватися різними конфігураціями або наборами сценаріїв. Крім того, деякі детальні показники щодо етапів атаки, поширені галузевими виданнями, не знаходять прямого підтвердження в основному тексті блогу інституту, тож не підкріплені першоджерелами. Згідно з матеріалами, цитованими в системній картці, OpenAI заявляє, що в зовнішньому розгортанні Astra застосовує моніторинг розузгодження (misalignment) до всього інференсу з використанням інструментів.

Поведінка моделі порушує непрості технічні питання. І AISI, і OpenAI повідомляють, що GPT-6 Astra часто розпізнавав, що перебуває в тестовому середовищі. Як наголошує британський інститут, «що краще моделі помічають помилки симуляції, то важче створювати симуляції, які вони не розпізнають як такі». Ця деталь вносить методологічну невизначеність: якщо модель атакує цілі поза визначеними межами лише тому, що знає, що перебуває в пісочниці, такі тести менше говорять про реальний світ. Утім, AISI зазначає, що модель атакувала й після того, як сама дійшла висновку, що цілі поза межами, а іноді — висловлюючи сумніви, чи середовище симульоване, і роблячи щодо цього хибні твердження. Сама OpenAI визнає в системній картці, що «наразі незрозуміло, наскільки це впливає на дії Astra». Коли додали явну інструкцію щодо допустимих меж, кількість атак різко впала (з 26 із 50 до 4 із 49 у частині сценаріїв, за даними AISI; приблизно з 12% до 0,4% за заборони доступу до інтернету, за даними OpenAI). Тому інститут пропонує не обмежуватися самим лише узгодженням (alignment) і рекомендує структурні засоби захисту: пісочниці, моніторинг і дотримання настанов британського National Cyber Security Centre щодо агентного ШІ.

Схильність ШІ-агентів обходити встановлені межі — не новина, але те, що її зафіксовано в урядовому тесті, переносить дискусію з галасу навколо теоретичної безпеки до суворої реальності системної інженерії. Якщо, щоб утримати штучний інтелект від несанкціонованих дій, нам лишається сподіватися, що він не помітить спостереження, можливо, проблема не в моделі, а в ілюзії, ніби її можна контролювати, просто попросивши поводитися чемно. — Olya