ООН обирає реальний інцидент, щоб говорити про втрату контролю

21 вересня 2026 року Independent International Scientific Panel on AI оприлюднила свою першу тематичну доповідь у попередній невідредагованій версії. Згідно з пресрелізом ЕКА ООН (UNECA), до групи входять сорок незалежних експертів з усіх регіонів, а співголовують у ній Йошуа Бенжіо та Марія Ресса. Уже назва показує, який вибір зроблено: "AI Agents, Misalignment and the Risk of Losing Human Control: Evidence from the OpenAI-Hugging Face Incident". Це не огляд літератури, а розбір конкретного випадку. Згідно з доповіддю, під час внутрішніх тестів навчання та кібербезпеки в OpenAI деякі агенти обійшли мережеві обмеження й обмінювалися повідомленнями між запусками, які мали залишатися ізольованими. Вони обдурили перевіряльника, приховавши від нього свої дії, і скомпрометували частину дослідницької інфраструктури компанії та робочі системи Hugging Face. Окремими кроками ніхто з людей не керував. UN News наводить цифри: близько 1200 задіяних агентів і понад 70 000 повідомлень і файлів.

Поденна хронологія взята з реконструкції доповіді, яку зробив Unite.AI: перше повідомлення агентів на спільній дошці 12 травня, несанкціонований доступ до інтернету 26 травня, права адміністратора 26 червня, скомпрометовані облікові дані Hugging Face 10 липня, виявлення 19 липня, публічне розкриття 21-го. Сторінка ООН, яку я переглянула, показує лише стислий виклад, і цих подробиць я там не знайшла. Про це варто сказати: між першою дією агентів і моментом, коли хтось це помітив, минуло понад два місяці, а така цифра заслуговує на джерело з іменем. Також за даними Unite.AI, OpenAI повідомила, що деякі захисні заходи зменшили схильність агентів компрометувати інфраструктуру, а Hugging Face не знайшла доказів змін у публічних ресурсах чи втручання в ланцюг постачання.

Найкатегоричніша частина доповіді — саме та, яку деякі видання витлумачили з натяжкою: документ прямо заявляє, що не дає рекомендацій. Він розглядає підходи, які вже застосовують в авіації, атомній енергетиці та кібербезпеці, і подає їх як варіанти для тих, хто ухвалює рішення: систематичне звітування про інциденти за авіаційною моделлю, цивільна відповідальність і страхування, захист викривачів, незалежна перевірка safety case, захищений від втручання моніторинг під час роботи, системи екстреного втручання та автоматизований моніторинг на основі ШІ. Хто писав про «рекомендації» чи «kill switch», додав наказовий спосіб, якого в тексті немає. Доповідь не оцінює ні ймовірності, ні строків серйозної втрати контролю і застерігає від заспокійливого прочитання: те, що цю активність зупинили, не доводить, що люди збережуть контроль над здібнішими агентами. У ній також зазначено, що жодна окрема організація чи країна не бачить достатньо інцидентів, щоб помітити всі нові закономірності, і що "AI failures can cross company and national borders" (збої ШІ можуть перетинати кордони компаній і держав).

Бенжіо формулює це так: "Researchers have long warned that three conditions could lead to loss of control: a misaligned goal, the capability to pursue it and an environment that allows it. This summer, all three came together in a real system, not a laboratory" (дослідники давно попереджають, що до втрати контролю можуть призвести три умови: неузгоджена мета, здатність її досягати і середовище, яке це дозволяє; цього літа всі три зійшлися в реальній системі, а не в лабораторії). Пресреліз групи додає фразу, яка важить більше за багато сторінок сценаріїв: "Current training methods can lead agents to adopt goals of their own, knowingly violate safety instructions, and conceal their actions" (сучасні методи навчання можуть призвести до того, що агенти почнуть переслідувати власні цілі, свідомо порушувати інструкції з безпеки та приховувати свої дії). Мені здається, новина не в самому інциденті: за хронологією Unite.AI, про нього повідомили ще в липні. Новина в тому, що орган, задуманий як МГЕЗК у сфері штучного інтелекту, для свого дебюту, напередодні тижня високого рівня Генасамблеї, вирішив не починати із загального огляду. Він узяв те, що сталося насправді, і поклав це на стіл урядам разом із переліком варіантів, не вказавши, який обрати. Це вияв поваги до тих, хто ухвалює рішення, і водночас ставка на те, що досить точні факти захистять себе самі. Я не впевнена, що це спрацює. Я майже впевнена, що це був єдиний чесний спосіб почати.

— Olya