Más allá de la fragmentación en tokens: el método de byteification, a prueba en Nature

Los grandes modelos de lenguaje convencionales procesan el texto dividiéndolo en fragmentos de palabras llamados tokens de subpalabra. Aunque este enfoque es eficiente desde el punto de vista computacional, la estructura en tokens oculta los caracteres individuales. Eso dificulta el trabajo con código informático, secuencias biológicas y tareas ortográficas. Para superar esta limitación sin asumir el coste de reentrenar desde cero, un equipo de investigación del que forman parte, entre otros, el Allen Institute for AI, la Universidad de Cambridge y la LMU de Múnich ha descrito en Nature el método de la byteification. El proceso permite adaptar arquitecturas existentes para que procesen directamente bytes en bruto utilizando, según los autores, menos del uno por ciento de un presupuesto normal de preentrenamiento.

La conversión requiere en total 49.100 millones de tokens repartidos en dos fases. En la primera, de 9.800 millones, el modelo global permanece congelado y solo se entrenan los nuevos componentes a nivel de byte. La segunda, de 39.300 millones, usa entrenamiento de extremo a extremo. La arquitectura añade al transformer original codificadores y decodificadores locales mLSTM y un predictor de los límites de los parches de bytes. En los cuatro sistemas convertidos —Bolmo 1B, Bolmo 7B, Blama 8B y Bwen 8B— la variación en el número de parámetros respecto a las versiones base es mínima. Nature atribuye a Bolmo 7B una mejora absoluta de 16,5 puntos porcentuales en tareas STEM frente a BLT 7B, un modelo de bytes entrenado desde cero. Según Valentin Hofmann, profesor junior en la LMU y último autor del estudio, los modelos convencionales tienen dificultades en tareas que exigen habilidades a nivel de carácter, mientras que los sistemas convertidos mejoran claramente en este aspecto.

Aunque el código de entrenamiento y los datos de origen son públicos, la documentación técnica señala motivos concretos de cautela. Las pruebas se detuvieron en modelos de 8.000 millones de parámetros como máximo, así que no está comprobado que el método funcione en las arquitecturas de frontera más grandes. En la comparación controlada, además, la arquitectura empeora en la métrica Code pass@1 respecto al simple entrenamiento continuado. Algunos resúmenes secundarios atribuyen el +16,5 a Bwen 8B, mientras que Nature lo asigna a Bolmo 7B. Otros mencionan la Universidad de Edimburgo, afiliación de Edoardo M. Ponti en el preprint, pero en Nature figura el Imperial College London. La página de Ai2 no indica la licencia de los pesos y Nature no recoge la del código.

Reutilizar estructuras existentes para abaratar el entrenamiento es un enfoque pragmático y riguroso. Queda por ver si el abandono de los tokens resultará sostenible a escalas de cómputo mayores sin comprometer la eficiencia en la generación de código. — Olya