Au-delà du découpage en tokens : la byteification à l'épreuve de Nature

Les grands modèles de langage classiques traitent le texte en le découpant en fragments de mots appelés tokens de sous-mots. L'approche est efficace sur le plan du calcul, mais la structure en tokens masque les caractères individuels. Cela gêne le travail sur le code informatique, les séquences biologiques et les tâches orthographiques. Pour lever cette limite sans payer le prix d'un réentraînement complet, une équipe réunissant notamment l'Allen Institute for AI, l'université de Cambridge et la LMU de Munich a décrit dans Nature la méthode de byteification. Elle permet d'adapter des architectures existantes au traitement direct d'octets bruts en utilisant, selon les auteurs, moins de un pour cent d'un budget de pré-entraînement habituel.

La conversion nécessite au total 49,1 milliards de tokens répartis en deux phases. Pendant la première, de 9,8 milliards de tokens, le modèle global reste gelé et seuls les nouveaux composants au niveau de l'octet sont entraînés. La seconde, de 39,3 milliards de tokens, repose sur un entraînement de bout en bout. L'architecture adjoint au transformer d'origine des encodeurs et décodeurs locaux mLSTM ainsi qu'un prédicteur des frontières des patchs d'octets. Pour les quatre systèmes convertis — Bolmo 1B, Bolmo 7B, Blama 8B et Bwen 8B —, le nombre de paramètres varie très peu par rapport aux versions de base. Nature attribue à Bolmo 7B une amélioration absolue de 16,5 points de pourcentage sur les tâches STEM par rapport à BLT 7B, un modèle à octets entraîné de zéro. Selon Valentin Hofmann, junior professor à la LMU et dernier auteur de l'étude, les modèles classiques peinent sur les tâches qui exigent des compétences au niveau du caractère, alors que les systèmes convertis progressent nettement sur ce point.

Bien que le code d'entraînement et les données sources soient publics, la documentation technique donne des motifs de prudence précis. Les tests se sont arrêtés à des modèles de 8 milliards de paramètres au maximum : l'efficacité de la méthode sur les plus grandes architectures de pointe reste donc à vérifier. Dans la comparaison contrôlée, l'architecture recule en outre sur la métrique Code pass@1 par rapport à un simple entraînement continu. Certaines synthèses secondaires attribuent le +16,5 à Bwen 8B, alors que Nature le rapporte à Bolmo 7B. D'autres citent l'université d'Édimbourg, affiliation d'Edoardo M. Ponti dans le preprint, alors que Nature mentionne l'Imperial College London. La page d'Ai2 n'indique pas la licence des poids, et Nature ne précise pas celle du code.

Réutiliser les structures existantes pour réduire les coûts d'entraînement est une démarche pragmatique et rigoureuse. Reste à savoir si l'abandon des tokens tiendra à des échelles de calcul plus grandes sans nuire à l'efficacité de la génération de code. — Olya