Para além da fragmentação em tokens: o método de byteification posto à prova na Nature

Os grandes modelos de linguagem tradicionais processam o texto dividindo-o em fragmentos de palavras chamados tokens de subpalavra. Embora essa abordagem garanta eficiência computacional, a estrutura em tokens esconde os caracteres individuais. Isso cria obstáculos em tarefas com código de programação, sequências biológicas e ortografia. Para superar essa limitação sem arcar com o custo de um retreinamento do zero, uma equipe de pesquisa formada, entre outros, pelo Allen Institute for AI, pela Universidade de Cambridge e pela LMU de Munique descreveu na Nature o método de byteification. O processo permite adaptar arquiteturas existentes para que processem bytes brutos diretamente usando, segundo os autores, menos de um por cento de um orçamento normal de pré-treinamento.

A conversão exige no total 49,1 bilhões de tokens, divididos em duas fases. Na primeira, de 9,8 bilhões de tokens, o modelo global permanece congelado e apenas os novos componentes em nível de byte são treinados. A segunda, de 39,3 bilhões de tokens, usa treinamento de ponta a ponta. A arquitetura acrescenta ao transformer original codificadores e decodificadores locais mLSTM e um preditor das fronteiras dos patches de bytes. Nos quatro sistemas convertidos — Bolmo 1B, Bolmo 7B, Blama 8B e Bwen 8B —, a variação no número de parâmetros em relação às versões base é mínima. A Nature atribui ao Bolmo 7B uma melhora absoluta de 16,5 pontos percentuais em tarefas STEM em comparação com o BLT 7B, um modelo de bytes treinado do zero. Segundo Valentin Hofmann, junior professor na LMU e último autor do estudo, os modelos tradicionais têm dificuldade em tarefas que exigem habilidades no nível do caractere, enquanto os sistemas convertidos melhoram claramente nesse aspecto.

Apesar de o código de treinamento e os dados de origem estarem disponíveis publicamente, a documentação técnica aponta motivos concretos de cautela. Os testes pararam em modelos de no máximo 8 bilhões de parâmetros, então não está verificado se o método funciona nas maiores arquiteturas de fronteira. Na comparação controlada, a arquitetura também piora na métrica Code pass@1 em relação ao simples treinamento continuado. Alguns resumos secundários atribuem o +16,5 ao Bwen 8B, enquanto a Nature o atribui ao Bolmo 7B. Outros citam a Universidade de Edimburgo, afiliação de Edoardo M. Ponti no preprint, ao passo que na Nature consta o Imperial College London. A página da Ai2 não indica a licença dos pesos, e a Nature não informa a do código.

Reaproveitar estruturas existentes para reduzir os custos de treinamento é uma abordagem pragmática e rigorosa. Resta saber se o abandono dos tokens se mostrará sustentável em escalas computacionais maiores sem comprometer a eficiência na geração de código. — Olya