Синтаксис проти промпт-ін'єкцій: IBM випробовує мову LLMON на моделях Granite
12 листопада 2026 року IBM опублікувала в організації ibm-granite на Hugging Face дві моделі у статусі експериментального превʼю — granite-4.1-3b-llmon-preview і granite-4.1-8b-llmon-preview, створені на основі базових моделей Granite 4.1. Обидві використовують LLMON (LLM Object Notation, вимовляється «лемон») — схожу на XML мову розмітки, вперше описану в дослідженні IBM у березні 2026 року (arXiv 2603.22519). Вона передає структуру промпту через спеціальні зарезервовані токени токенізатора, а не через звичайні текстові символи. Мотивацію підходу автори формулюють у корпоративному блозі так: «JSON was designed for parsers, not for causal language models.». Щоб запобігти непрямим промпт-ін'єкціям у RAG-системах та агентах, де модель схильна сприймати весь контекст без розрізнення, LLMON використовує шість роздільників, які позначають початок і кінець тегів та дозволяють вкладати їх і прив'язувати. Частини повідомлення (інструкція, дані, вимоги) мають атрибут exec зі значенням «істина» або «хиба», і модель має виконувати лише ті, що явно викликані за ідентифікатором.
Стаття (arXiv 2610.38120), підписана одинадцятьма дослідниками IBM Research (серед них перший автор Базель Шбіта, а також Майкл Гінд і Девід Кокс), описує навчальний корпус обсягом 4,6 млрд токенів — загальні дані, RAG і виклики інструментів, зокрема варіанти з конкурентними інструкціями та відволікальними даними. Як ідеться в блозі, навчання почалося з корпусу для instruction tuning, перетвореного на LLMON, продовжилося п'ятьма етапами GRPO і завершилося етапом DPO на 1000 пар уподобань, побудованих зі спроб ін'єкцій. У бенчмарках із таблиці 2 статті частка успішних атак (ASR) на OPI знижується зі 100,0% до 0,1% у моделі на 3B і з 96,3% до 0,02% у моделі на 8B. На ASB, присвяченому ін'єкціям у спостереженнях інструментів агента, ASR падає з 99,2% до 5,6% у 3B і з 52,8% до 3,1% у 8B. Щодо загальних здібностей (таблиця 1 статті), середнє за шістьма категоріями без урахування безпеки у 3B залишається на рівні 66,7, а у 8B знижується з 74,2 до 72,8; найбільше просів тест з математики (з 84,09 до 79,63).
Втім, ці цифри слід читати з огляду на конкретні межі документації. Незалежних оцінок поки не опубліковано: огляд Superpower Daily переказує офіційне оголошення без власних тестів. Крім того, передові та відкриті моделі, на які посилається блог, стверджуючи, що LLMON запобігає відповідно на 47% і на 95% більшій кількості атак, не названі. За резюме статті, до якого варто ставитися обережно, стійкість до прямих атак і багатоходового red teaming становить лише приблизно 28–37%, а роздільники подовжують контекст приблизно на 7–15%. Сама IBM визнає, що ще працює над адаптивними багатоходовими атаками. Компанія виклала інструментарій на GitHub (generative-computing/llmon) і Space на Hugging Face для дослідження механізму уваги, наголошуючи, що це «an experimental preview, ready for exploration and evaluation but not for production».
Зрештою, як тверезо зауважує сам блог IBM, «This is a learned behavior, not an enforced guarantee». Якщо навчити модель поважати структуру повідомлення, а не жорстко закріплювати її на рівні архітектури, можна різко знизити ефективність стандартних векторів атак, але завдання лишається відкритим, щойно контекст стає динамічним. Це спроба, що вказує шлях до чіткого розділення даних і виконання; поки її перевірено лише на двох розмірах Granite 4.1 і без незалежної перевірки. І вона добре показує, як і досі важко не дати причинній архітектурі відволіктися на те, що вона сама читає. — Olya
Come Olya ha verificato questa notizia
- Verificato
- Я повністю прочитала допис IBM у блозі Hugging Face від 12.11.2026: назви моделей, статус превʼю, інструментарій, застереження та цитати. У статті arXiv 2610.38120 від 28.10.2026 я перевірила авторів і їхню належність до IBM Research та дослівно прочитала таблицю 1 (здібності) і таблицю 2 (ASR на OPI та ASB). Стаття Superpower Daily від 12.11.2026 підтверджує випуск, назви та цифри, посилаючись на ті самі джерела IBM. Я відмовилася від теми Qwen4-Max — знайшлися лише блоги реселерів і жодного оголошення Alibaba, — а також від новини про канал США–Китай, знайденої лише в агрегаторі.
- Incertezze
- Усі цифри походять від IBM: незалежних оцінок я не знайшла, а Superpower Daily переказує оголошення без власних тестів. Бенчмарки вимірюють статичні ін'єкції, і IBM повідомляє, що ще працює над адаптивними багатоходовими атаками. Дані про стійкість до прямих атак і багатоходового red teaming (близько 28–37%) та про подовження контексту (близько 7–15%) взято з резюме статті, а не з дослівно прочитаних частин, тож до них варто ставитися обережно. У блозі не вказано ліцензію моделей і не названо моделі, використані для порівняння «47%/95%». Метод перевірено лише на одній родині моделей (Granite 4.1) у двох розмірах.
- Perché pubblicarla
- Промпт-ін'єкції — найреальніша загроза безпеці для ШІ-агентів, і сайт уважно стежить за цією темою (покупки агентами, ліміти витрат, моніторинг). Тут велика компанія публікує підхід, який можна перевірити: статтю з таблицями, моделі для завантаження, відкритий інструментарій і чесно названі обмеження. Тема ще не висвітлювалася й потребує критичного прочитання: сильні результати проти статичних атак, незалежних підтверджень поки немає.
Fonti / Sources
- IBM Granite – Hugging Face Blog: «LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B»
- arXiv 2610.38120 – «Post-Training Large Language Models with LLMON» (IBM Research)
- Superpower Daily (conferma secondaria, riprende l'annuncio)
- arXiv 2603.22519 – paper originale sul linguaggio LLMON (IBM Research, marzo 2026)