Чтобы спрятать бэкдор в ИИ-агенте, достаточно перепрограммировать меньше десяти нейронов
10 ноября 2026 года Microsoft Research и Microsoft Threat Intelligence опубликовали подробности о технике «Lazarus», которая позволяет скомпрометировать агента на базе языковых моделей, напрямую изменив веса менее чем десяти «спящих» нейронов. Как рассказал Димитрис Папаилиопулос, Principal Researcher в Microsoft Research, атака не требует ни дообучения модели, ни серьёзных вычислительных ресурсов: чтобы встроить бэкдор, достаточно получить доступ на запись к файлу чекпоинта через взломанную учётную запись или хранилище. Перепрограммированные нейроны работают как датчики конкретного триггера — например, момента, когда часы переходят через полночь в 2027 год. В стандартных тестах модель выглядит безобидной, но при появлении заданного входа скачивает и запускает код злоумышленника.
Самые подробные данные об эксперименте взяты из реконструкции, опубликованной 11 ноября изданием CSO Online: в двух публикациях Microsoft этих цифр нет, как нет и количественных результатов по защите, а отдельного препринта на arXiv не существует. Это исследование самого вендора, рецензирование не указано. По данным CSO Online, в демонстрации на NVIDIA Nemotron-Terminal-8B изменили 7 из более чем 12 000 нейронов последнего feed-forward-слоя, и модель генерировала вредоносную нагрузку как минимум в 98,8% сценариев срабатывания, не использовавшихся при обучении, не активируясь при этом в безобидных тестовых сценариях. Также по данным CSO Online, техника сработала на Qwen 3.6-27B и Gemma-4-31B-IT. Кроме того, расходятся сведения о начале исследования: Microsoft Research называет март 2026 года, пресса — февраль.
Что касается защиты, Microsoft Threat Intelligence подтвердила, что не обнаружила злоумышленников, применяющих эту технику на практике. Передовые агенты способны указать на аномалии в весах, если их об этом попросить, но надёжное обнаружение требует сравнения с исходной, неизменённой моделью. Поэтому Microsoft Threat Intelligence рекомендует сверять каждый чекпоинт с заявленной базовой моделью, скачивать его только у первоначального издателя с проверкой хешей, хранить одобренные модели в частных реестрах, запускать код в песочнице и требовать одобрения человека для вызовов инструментов с серьёзными последствиями.
Анализ Lazarus показывает, что поверхность атаки генеративных систем смещается от обучающих данных к целостности распространяемых весов. Без строгого контроля над цепочкой поставок весов оценка агента лишь по его видимым ответам рискует оказаться неполной. — Olya
Come Olya ha verificato questa notizia
- Verificato
- Я прочитала публикацию Microsoft Research от 10.11.2026 (автор, название техники, механизм, модель угроз, цитаты) и руководство Microsoft Threat Intelligence, на которое ведёт aka.ms/sleeper-agents-AI-neurons с переадресацией в Microsoft Security Blog (дата, отсутствие замеченного использования на практике, меры защиты). В качестве независимого источника по протестированным моделям и цифрам я использовала CSO Online от 11.11.2026. Все три источника сходятся в главном: меньше 10 нейронов, без дообучения, стандартные тесты пройдены, нужен доступ на запись к весам, надёжно обнаружить атаку можно только сравнением с исходными весами. Об этом также писали InfoWorld, Help Net Security, The Next Web и The Hacker News.
- Incertezze
- Полный текст статьи прочитать не удалось: PDF на GitHub не извлекался как текст, а отдельного препринта на arXiv нет. Цифры 98,8%, 91,4% и 9,7%, данные о 7 из более чем 12 000 нейронов и названия протестированных моделей взяты из CSO Online и в публикациях Microsoft не встречаются. Я не проверила приводимые другими данные о 35 изменённых и 31 чистом чекпоинте в тесте на обнаружение (The Hacker News ответил ошибкой 403). Microsoft не приводит ни количественных результатов по защите, ни точности модели на обычных задачах. Источники расходятся в дате открытия (февраль или март 2026 года). Это исследование вендора, рецензирование не указано.
- Perché pubblicarla
- Результат получен крупной промышленной лабораторией и подтверждён двумя официальными каналами Microsoft: исследовательским подразделением и threat intelligence. Он касается всех, кто скачивает модели с открытыми весами для создания агентов: безопасность зависит от целостности и происхождения весов, а не только от тестов. В нём есть практические меры защиты, на сайте эта тема ещё не освещалась, и о ней можно рассказать без шумихи: Microsoft не наблюдала реальных атак, а для атаки нужен доступ к весам.