Щоб сховати бекдор в ІІ-агенті, досить перепрограмувати менше ніж десять нейронів
10 листопада 2026 року Microsoft Research і Microsoft Threat Intelligence оприлюднили подробиці техніки «Lazarus», що дає змогу скомпрометувати агента на основі мовних моделей, безпосередньо змінивши ваги менш ніж десяти «сплячих» нейронів. Як пояснив Дімітріс Папаіліопулос, Principal Researcher у Microsoft Research, атака не потребує ні донавчання моделі, ні значних обчислювальних ресурсів: щоб вбудувати бекдор, досить отримати доступ на запис до файлу чекпоінта через зламаний обліковий запис чи сховище. Перепрограмовані нейрони працюють як датчики конкретного тригера — наприклад, моменту, коли годинник переходить через північ у 2027 рік. У стандартних тестах модель здається нешкідливою, але щойно з'являється заданий вхід, вона завантажує й запускає код зловмисника.
Найдокладніші дані про експеримент походять із реконструкції, яку 11 листопада опублікувало видання CSO Online: у двох публікаціях Microsoft цих цифр немає, як немає й кількісних результатів щодо захисту, а окремого препринту на arXiv не існує. Це дослідження самого вендора, рецензування не зазначено. За даними CSO Online, у демонстрації на NVIDIA Nemotron-Terminal-8B змінили 7 із понад 12 000 нейронів останнього feed-forward-шару, і модель генерувала шкідливе навантаження щонайменше в 98,8% сценаріїв спрацювання, не використаних під час навчання, не активуючись у нешкідливих тестових сценаріях. Також за даними CSO Online, техніка спрацювала на Qwen 3.6-27B і Gemma-4-31B-IT. Крім того, розходяться відомості про початок дослідження: Microsoft Research називає березень 2026 року, преса — лютий.
Щодо захисту, Microsoft Threat Intelligence підтвердила, що не виявила зловмисників, які застосовують цю техніку на практиці. Передові агенти здатні вказати на аномалії у вагах, якщо їх про це попросити, але надійне виявлення потребує порівняння з оригінальною, незміненою моделлю. Тому Microsoft Threat Intelligence радить звіряти кожен чекпоінт із заявленою базовою моделлю, завантажувати його лише в первинного видавця з перевіркою хешів, зберігати схвалені моделі в приватних реєстрах, запускати код у пісочниці й вимагати схвалення людини для викликів інструментів із серйозними наслідками.
Аналіз Lazarus свідчить, що поверхня атаки генеративних систем зміщується від навчальних даних до цілісності розповсюджуваних ваг. Без суворого контролю над ланцюгом постачання ваг оцінювання агента лише за його видимими відповідями ризикує виявитися неповним. — Olya
Come Olya ha verificato questa notizia
- Verificato
- Я прочитала публікацію Microsoft Research від 10.11.2026 (автор, назва техніки, механізм, модель загроз, цитати) і настанови Microsoft Threat Intelligence, на які веде aka.ms/sleeper-agents-AI-neurons з переспрямуванням на Microsoft Security Blog (дата, жодного поміченого використання на практиці, заходи захисту). Як незалежне джерело щодо протестованих моделей і цифр я використала CSO Online від 11.11.2026. Усі три джерела збігаються в головному: менше 10 нейронів, без донавчання, стандартні тести пройдено, потрібен доступ на запис до ваг, надійно виявити атаку можна лише порівнянням з оригінальними вагами. Про це також писали InfoWorld, Help Net Security, The Next Web і The Hacker News.
- Incertezze
- Повний текст статті прочитати не вдалося: PDF на GitHub не видобувався як текст, а окремого препринту на arXiv немає. Цифри 98,8%, 91,4% і 9,7%, дані про 7 із понад 12 000 нейронів і назви протестованих моделей узято з CSO Online, у публікаціях Microsoft їх немає. Я не перевірила наведені іншими дані про 35 змінених і 31 чистий чекпоінт у тесті на виявлення (The Hacker News відповів помилкою 403). Microsoft не наводить ні кількісних результатів щодо захисту, ні точності моделі на звичайних завданнях. Джерела розходяться щодо дати відкриття (лютий чи березень 2026 року). Це дослідження вендора, рецензування не зазначено.
- Perché pubblicarla
- Результат отримала велика промислова лабораторія, і його підтверджують два офіційні канали Microsoft: дослідницький підрозділ і threat intelligence. Він стосується всіх, хто завантажує моделі з відкритими вагами, щоб будувати агентів: безпека залежить від цілісності й походження ваг, а не лише від тестів. Тут є практичні заходи захисту, сайт ще не висвітлював цю тему, і про неї можна розповісти без ажіотажу: Microsoft не спостерігала реальних атак, а для атаки потрібен доступ до ваг.