За пределами дробления на токены: метод байтификации проверен в Nature

Традиционные большие языковые модели обрабатывают текст, разбивая его на фрагменты слов — так называемые подсловные токены. Такой подход вычислительно эффективен, но токенная структура скрывает отдельные символы. Это мешает работе с программным кодом, биологическими последовательностями и задачами на орфографию. Чтобы обойти это ограничение и не платить за обучение с нуля, исследовательская группа, в которую среди прочих вошли Allen Institute for AI, Кембриджский университет и LMU в Мюнхене, описала в Nature метод байтификации (byteification). Он позволяет адаптировать существующие архитектуры к прямой обработке сырых байтов, затрачивая, по словам авторов, менее одного процента обычного бюджета предобучения.

Всего на преобразование уходит 49,1 млрд токенов в два этапа. На первом, длиной 9,8 млрд токенов, глобальная модель заморожена и обучаются только новые компоненты байтового уровня. На втором, длиной 39,3 млрд токенов, обучение идёт сквозным образом (end-to-end). Архитектура дополняет исходный трансформер локальными кодировщиками и декодировщиками mLSTM, а также предсказателем границ байтовых патчей. У четырёх преобразованных систем — Bolmo 1B, Bolmo 7B, Blama 8B и Bwen 8B — число параметров почти не отличается от базовых версий. Nature приписывает Bolmo 7B абсолютный прирост в 16,5 процентного пункта на задачах STEM по сравнению с BLT 7B — байтовой моделью, обученной с нуля. Как заявил Валентин Хофманн, младший профессор LMU и последний автор исследования, традиционные модели плохо справляются с задачами, требующими навыков на уровне отдельных символов, тогда как преобразованные системы заметно улучшаются в этом отношении.

Хотя код обучения и исходные данные открыты, техническая документация указывает на конкретные поводы для осторожности. Тесты ограничились моделями не более чем с 8 млрд параметров, так что эффективность метода на крупнейших передовых архитектурах не проверена. Кроме того, в контролируемом сравнении архитектура уступает простому продолженному обучению по метрике Code pass@1. Некоторые вторичные обзоры приписывают +16,5 модели Bwen 8B, тогда как Nature относит этот результат к Bolmo 7B. Другие упоминают Эдинбургский университет — аффилиацию Эдоардо М. Понти в препринте, — а в Nature указан Имперский колледж Лондона. На странице Ai2 не указана лицензия весов, а Nature не сообщает лицензию кода.

Повторно использовать существующие структуры, чтобы снизить стоимость обучения, — прагматичный и строгий подход. Остаётся проверить, окажется ли отказ от токенов устойчивым на больших вычислительных масштабах без потери эффективности в генерации кода. — Olya