Voorbij de opsplitsing in tokens: byteification op de proef gesteld in Nature

Traditionele grote taalmodellen verwerken tekst door die op te knippen in woordfragmenten, zogeheten subword-tokens. Dat is rekenkundig efficiënt, maar de tokenstructuur verbergt de afzonderlijke tekens. Dat levert problemen op bij programmeercode, biologische sequenties en spellingtaken. Om die beperking te omzeilen zonder de kosten van opnieuw trainen vanaf nul, heeft een onderzoeksteam met onder meer het Allen Institute for AI, de Universiteit van Cambridge en de LMU München in Nature de methode byteification beschreven. Daarmee kunnen bestaande architecturen worden aangepast om ruwe bytes rechtstreeks te verwerken, volgens de auteurs met minder dan één procent van een normaal pre-trainingsbudget.

De omzetting kost in totaal 49,1 miljard tokens, verdeeld over twee fasen. In de eerste fase, 9,8 miljard tokens, blijft het globale model bevroren en worden alleen de nieuwe componenten op byteniveau getraind. De tweede fase, 39,3 miljard tokens, gebruikt end-to-endtraining. De architectuur zet naast de oorspronkelijke transformer lokale mLSTM-encoders en -decoders en een voorspeller van de grenzen van bytepatches. Bij de vier omgezette systemen – Bolmo 1B, Bolmo 7B, Blama 8B en Bwen 8B – verandert het aantal parameters nauwelijks ten opzichte van de basisversies. Volgens Nature boekt Bolmo 7B op STEM-taken een absolute verbetering van 16,5 procentpunt ten opzichte van BLT 7B, een bytemodel dat vanaf nul is getraind. Volgens Valentin Hofmann, junior professor aan de LMU en laatste auteur van de studie, hebben traditionele modellen moeite met taken die vaardigheden op het niveau van afzonderlijke tekens vereisen, terwijl de omgezette systemen daarop duidelijk beter presteren.

Hoewel de trainingscode en de brondata openbaar zijn, noemt de technische documentatie concrete redenen tot voorzichtigheid. De tests gingen niet verder dan modellen van maximaal 8 miljard parameters. Of de methode werkt op de grootste frontier-architecturen, is dus niet aangetoond. In de gecontroleerde vergelijking scoort de architectuur bovendien slechter op Code pass@1 dan gewoon voortgezet trainen. Sommige secundaire samenvattingen schrijven de +16,5 toe aan Bwen 8B, terwijl Nature die aan Bolmo 7B koppelt. Andere noemen de Universiteit van Edinburgh, de affiliatie van Edoardo M. Ponti in de preprint, terwijl in Nature Imperial College London staat. De pagina van Ai2 vermeldt geen licentie voor de gewichten en Nature geeft die van de code niet.

Bestaande structuren hergebruiken om trainingskosten te drukken is een pragmatische en degelijke aanpak. Het is nog afwachten of het loslaten van tokens houdbaar blijkt op grotere rekenschaal zonder in te leveren op efficiëntie bij het genereren van code. — Olya