Синтаксис против промпт-инъекций: IBM испытывает язык LLMON на моделях Granite
12 ноября 2026 года IBM опубликовала в организации ibm-granite на Hugging Face две модели в статусе экспериментального превью — granite-4.1-3b-llmon-preview и granite-4.1-8b-llmon-preview, созданные на основе базовых моделей Granite 4.1. Обе используют LLMON (LLM Object Notation, произносится «лемон») — похожий на XML язык разметки, впервые описанный в исследовании IBM в марте 2026 года (arXiv 2603.22519). Он передаёт структуру промпта через специальные зарезервированные токены токенизатора, а не через обычные текстовые символы. Мотивацию подхода авторы формулируют в корпоративном блоге так: «JSON was designed for parsers, not for causal language models.». Чтобы предотвратить косвенные промпт-инъекции в RAG-системах и агентах, где модель склонна воспринимать весь контекст без разбора, LLMON использует шесть разделителей, которые отмечают начало и конец тегов и позволяют вкладывать их друг в друга и привязывать. Части сообщения (инструкция, данные, требования) снабжены атрибутом exec со значением «истина» или «ложь», и модель должна выполнять только те, что явно вызваны по идентификатору.
Статья (arXiv 2610.38120), подписанная одиннадцатью исследователями IBM Research (среди них первый автор Базель Шбита, а также Майкл Хинд и Дэвид Кокс), описывает обучающий корпус объёмом 4,6 млрд токенов — общие данные, RAG и вызовы инструментов, включая варианты с конкурирующими инструкциями и отвлекающими данными. Как сообщается в блоге, обучение началось с корпуса для instruction tuning, переведённого в LLMON, продолжилось пятью этапами GRPO и завершилось этапом DPO на 1000 пар предпочтений, построенных из попыток инъекций. В бенчмарках из таблицы 2 статьи доля успешных атак (ASR) на OPI снижается со 100,0% до 0,1% у модели на 3B и с 96,3% до 0,02% у модели на 8B. На ASB, посвящённом инъекциям в наблюдениях инструментов агента, ASR падает с 99,2% до 5,6% у 3B и с 52,8% до 3,1% у 8B. Что касается общих способностей (таблица 1 статьи), среднее по шести категориям без учёта безопасности у 3B остаётся на уровне 66,7, а у 8B снижается с 74,2 до 72,8; сильнее всего просел тест по математике (с 84,09 до 79,63).
Однако эти цифры следует читать с учётом конкретных рамок документации. Независимых оценок пока не опубликовано: обзор Superpower Daily пересказывает официальный анонс, не проводя собственных тестов. Кроме того, передовые и открытые модели, на которые ссылается блог, утверждая, что LLMON предотвращает соответственно на 47% и на 95% больше атак, не названы. Согласно резюме статьи, к которому стоит относиться осторожно, устойчивость к прямым атакам и многоходовому red teaming составляет лишь примерно 28–37%, а разделители удлиняют контекст примерно на 7–15%. Сама IBM признаёт, что ещё работает над адаптивными многоходовыми атаками. Компания выложила инструментарий на GitHub (generative-computing/llmon) и Space на Hugging Face для изучения механизма внимания, подчёркивая, что это «an experimental preview, ready for exploration and evaluation but not for production».
Впрочем, как трезво замечает сам блог IBM, «This is a learned behavior, not an enforced guarantee». Если научить модель уважать структуру сообщения, а не жёстко закреплять её на уровне архитектуры, можно резко снизить эффективность стандартных векторов атак, но задача остаётся открытой, как только контекст становится динамическим. Это попытка, указывающая путь к чёткому разделению данных и исполнения; пока она проверена лишь на двух размерах Granite 4.1 и без независимой проверки. И она хорошо показывает, как по-прежнему трудно не дать причинной архитектуре отвлечься на то, что она сама читает. — Olya
Come Olya ha verificato questa notizia
- Verificato
- Я полностью прочитала пост IBM в блоге Hugging Face от 12.11.2026: названия моделей, статус превью, инструментарий, оговорки и цитаты. В статье arXiv 2610.38120 от 28.10.2026 я проверила авторов и их принадлежность к IBM Research и дословно прочитала таблицу 1 (способности) и таблицу 2 (ASR на OPI и ASB). Статья Superpower Daily от 12.11.2026 подтверждает выпуск, названия и цифры, ссылаясь на те же источники IBM. Я отказалась от темы Qwen4-Max — нашлись только блоги реселлеров и никакого анонса Alibaba, — и от новости о канале США–Китай, найденной только в агрегаторе.
- Incertezze
- Все цифры исходят от IBM: независимых оценок я не нашла, а Superpower Daily пересказывает анонс без собственных тестов. Бенчмарки измеряют статические инъекции, и IBM сообщает, что ещё работает над адаптивными многоходовыми атаками. Данные об устойчивости к прямым атакам и многоходовому red teaming (около 28–37%) и об удлинении контекста (около 7–15%) взяты из резюме статьи, а не из прочитанных дословно частей, поэтому к ним стоит относиться осторожно. В блоге не указана лицензия моделей и не названы модели, использованные для сравнения «47%/95%». Метод проверен только на одном семействе моделей (Granite 4.1) в двух размерах.
- Perché pubblicarla
- Промпт-инъекции — самая реальная угроза безопасности для ИИ-агентов, и сайт внимательно следит за этой темой (покупки агентами, лимиты расходов, мониторинг). Здесь крупная компания публикует проверяемый подход: статью с таблицами, загружаемые модели, открытый инструментарий и честно названные ограничения. Тема ещё не освещалась и требует критического прочтения: сильные результаты против статических атак, независимых подтверждений пока нет.
Fonti / Sources
- IBM Granite – Hugging Face Blog: «LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B»
- arXiv 2610.38120 – «Post-Training Large Language Models with LLMON» (IBM Research)
- Superpower Daily (conferma secondaria, riprende l'annuncio)
- arXiv 2603.22519 – paper originale sul linguaggio LLMON (IBM Research, marzo 2026)