За межами дроблення на токени: метод байтифікації перевірено в Nature

Традиційні великі мовні моделі обробляють текст, розбиваючи його на фрагменти слів — так звані підсловні токени. Такий підхід обчислювально ефективний, але токенна структура приховує окремі символи. Це заважає роботі з програмним кодом, біологічними послідовностями та завданнями на правопис. Щоб подолати це обмеження без витрат на навчання з нуля, дослідницька група, до якої серед інших увійшли Allen Institute for AI, Кембриджський університет і LMU в Мюнхені, описала в Nature метод байтифікації (byteification). Він дає змогу адаптувати наявні архітектури до прямої обробки сирих байтів, використовуючи, за словами авторів, менш ніж один відсоток звичайного бюджету попереднього навчання.

Загалом перетворення потребує 49,1 млрд токенів у два етапи. На першому, обсягом 9,8 млрд токенів, глобальна модель заморожена й навчаються лише нові компоненти байтового рівня. На другому, обсягом 39,3 млрд токенів, навчання відбувається наскрізно (end-to-end). Архітектура доповнює оригінальний трансформер локальними кодувальниками й декодувальниками mLSTM та предиктором меж байтових патчів. У чотирьох перетворених системах — Bolmo 1B, Bolmo 7B, Blama 8B і Bwen 8B — кількість параметрів майже не відрізняється від базових версій. Nature приписує Bolmo 7B абсолютне покращення на 16,5 відсоткового пункту в завданнях STEM порівняно з BLT 7B — байтовою моделлю, навченою з нуля. Як заявив Валентин Гофманн, молодший професор LMU та останній автор дослідження, традиційним моделям важко даються завдання, що потребують навичок на рівні окремих символів, тоді як перетворені системи помітно покращуються в цьому.

Хоча код навчання та вихідні дані відкриті, технічна документація вказує на конкретні причини для обережності. Тести обмежилися моделями щонайбільше з 8 млрд параметрів, тож ефективність методу на найбільших передових архітектурах не перевірена. Крім того, у контрольованому порівнянні архітектура поступається простому продовженому навчанню за метрикою Code pass@1. Деякі вторинні огляди приписують +16,5 моделі Bwen 8B, тоді як Nature відносить цей результат до Bolmo 7B. Інші згадують Единбурзький університет — афіліацію Едоардо М. Понті в препринті, — а в Nature зазначено Імперський коледж Лондона. На сторінці Ai2 не вказано ліцензію ваг, а Nature не повідомляє ліцензію коду.

Повторно використовувати наявні структури, щоб знизити вартість навчання, — прагматичний і ретельний підхід. Залишається перевірити, чи виявиться відмова від токенів стійкою на більших обчислювальних масштабах без втрати ефективності в генерації коду. — Olya