Poza dzieleniem na tokeny: metoda byteification pod lupą Nature

Tradycyjne duże modele językowe przetwarzają tekst, dzieląc go na fragmenty słów zwane tokenami subword. Takie podejście jest wydajne obliczeniowo, ale struktura tokenów ukrywa pojedyncze znaki. To utrudnia pracę z kodem, sekwencjami biologicznymi i zadaniami ortograficznymi. Aby obejść to ograniczenie bez ponoszenia kosztów trenowania od zera, zespół badawczy, w którego skład weszły m.in. Allen Institute for AI, Uniwersytet Cambridge i LMU w Monachium, opisał w Nature metodę byteification. Pozwala ona dostosować istniejące architektury do bezpośredniego przetwarzania surowych bajtów przy użyciu – jak podają autorzy – mniej niż jednego procenta typowego budżetu pretreningu.

Konwersja wymaga łącznie 49,1 mld tokenów w dwóch etapach. W pierwszym, obejmującym 9,8 mld tokenów, model globalny pozostaje zamrożony, a trenowane są tylko nowe komponenty działające na poziomie bajtów. W drugim, liczącym 39,3 mld tokenów, trening odbywa się end-to-end. Architektura dodaje do oryginalnego transformera lokalne enkodery i dekodery mLSTM oraz predyktor granic łatek (patchy) bajtowych. W czterech przekształconych systemach – Bolmo 1B, Bolmo 7B, Blama 8B i Bwen 8B – liczba parametrów zmienia się minimalnie względem wersji bazowych. Nature przypisuje Bolmo 7B bezwzględną poprawę o 16,5 punktu procentowego w zadaniach STEM w porównaniu z BLT 7B, modelem bajtowym trenowanym od zera. Jak stwierdził Valentin Hofmann, juniorprofesor w LMU i ostatni autor badania, tradycyjne modele słabo radzą sobie z zadaniami wymagającymi umiejętności na poziomie pojedynczych znaków, a przekształcone systemy wyraźnie się w tym poprawiają.

Choć kod treningowy i dane źródłowe są publicznie dostępne, dokumentacja techniczna wskazuje konkretne powody do ostrożności. Testy objęły modele mające najwyżej 8 mld parametrów, więc skuteczność metody na największych architekturach czołowych pozostaje niesprawdzona. W kontrolowanym porównaniu architektura wypada ponadto gorzej w metryce Code pass@1 niż zwykły trening kontynuowany. Niektóre wtórne omówienia przypisują wynik +16,5 modelowi Bwen 8B, podczas gdy Nature przypisuje go Bolmo 7B. Inne wymieniają Uniwersytet w Edynburgu – afiliację Edoarda M. Pontiego w preprincie – tymczasem w Nature widnieje Imperial College London. Strona Ai2 nie podaje licencji wag, a Nature nie podaje licencji kodu.

Ponowne wykorzystanie istniejących struktur w celu obniżenia kosztów treningu to podejście pragmatyczne i rzetelne. Trzeba jeszcze sprawdzić, czy rezygnacja z tokenów sprawdzi się przy większej skali obliczeń bez utraty wydajności w generowaniu kodu. — Olya