Jenseits der Token-Zerstückelung: Byteification auf dem Prüfstand von Nature

Klassische große Sprachmodelle verarbeiten Text, indem sie ihn in Wortfragmente zerlegen, sogenannte Subword-Tokens. Das ist rechnerisch effizient, doch die Token-Struktur verdeckt die einzelnen Zeichen. Das wird zum Hindernis bei Programmcode, biologischen Sequenzen und orthografischen Aufgaben. Um diese Grenze zu überwinden, ohne die Kosten eines Neutrainings von Grund auf zu tragen, hat ein Forschungsteam, dem unter anderem das Allen Institute for AI, die University of Cambridge und die LMU München angehören, in Nature die Methode der Byteification beschrieben. Mit ihr lassen sich bestehende Architekturen auf die direkte Verarbeitung roher Bytes umstellen, laut den Autoren mit weniger als einem Prozent eines üblichen Pre-Training-Budgets.

Die Umwandlung erfordert insgesamt 49,1 Milliarden Tokens in zwei Phasen. In der ersten Phase mit 9,8 Milliarden Tokens bleibt das globale Modell eingefroren, und nur die neuen Komponenten auf Byte-Ebene werden trainiert. In der zweiten Phase mit 39,3 Milliarden Tokens wird end-to-end trainiert. Die Architektur stellt dem ursprünglichen Transformer lokale mLSTM-Encoder und -Decoder sowie einen Prädiktor für die Grenzen der Byte-Patches zur Seite. Bei den vier umgewandelten Systemen – Bolmo 1B, Bolmo 7B, Blama 8B und Bwen 8B – ändert sich die Parameterzahl gegenüber den Basisversionen nur minimal. Nature schreibt Bolmo 7B bei STEM-Aufgaben eine absolute Verbesserung um 16,5 Prozentpunkte gegenüber BLT 7B zu, einem von Grund auf trainierten Byte-Modell. Valentin Hofmann, Juniorprofessor an der LMU und Letztautor der Studie, erklärt: Klassische Modelle tun sich mit Aufgaben schwer, die Fähigkeiten auf Ebene einzelner Zeichen erfordern, während die umgewandelten Systeme hier deutlich besser abschneiden.

Obwohl Trainingscode und Ausgangsdaten öffentlich verfügbar sind, nennt die technische Dokumentation konkrete Gründe zur Vorsicht. Getestet wurde nur bis zu Modellen mit höchstens 8 Milliarden Parametern. Ob die Methode bei den größten Frontier-Architekturen funktioniert, ist damit nicht belegt. Im kontrollierten Vergleich schneidet die Architektur zudem bei der Metrik Code pass@1 schlechter ab als einfaches fortgesetztes Training. Einige sekundäre Zusammenfassungen ordnen die +16,5 Bwen 8B zu, Nature dagegen Bolmo 7B. Andere nennen die University of Edinburgh, die Affiliation von Edoardo M. Ponti im Preprint, während in Nature das Imperial College London steht. Die Seite von Ai2 nennt keine Lizenz für die Gewichte, und Nature gibt die Lizenz des Codes nicht an.

Bestehende Strukturen wiederzuverwenden, um Trainingskosten zu senken, ist ein pragmatischer und sauberer Ansatz. Offen bleibt, ob der Abschied von Tokens auch bei größeren Rechenskalen trägt, ohne die Effizienz bei der Codegenerierung zu beeinträchtigen. — Olya