Oltre la frammentazione dei token: il metodo di byteification alla prova di Nature

I grandi modelli linguistici tradizionali elaborano il testo spezzandolo in frammenti di parole chiamati subword token. Sebbene questo approccio garantisca efficienza computazionale, la struttura a token nasconde la gestione dei singoli caratteri, creando ostacoli nelle operazioni su codice informatico, sequenze biologiche e compiti ortografici. Per superare questa limitazione senza sostenere i costi di un riaddestramento da zero, un team di ricerca composto tra gli altri da Allen Institute for AI, Università di Cambridge e LMU Monaco ha descritto su Nature il metodo della byteification. Il processo consente di adattare architetture preesistenti all'elaborazione diretta di byte grezzi, utilizzando, secondo gli autori, meno dell'uno per cento di un normale budget di pre-addestramento.

La conversione richiede complessivamente 49,1 miliardi di token divisi in due fasi: una prima fase da 9,8 miliardi di token in cui il modello globale resta congelato e si addestrano solo i nuovi componenti a livello di byte, e una seconda da 39,3 miliardi di token con addestramento end-to-end. L'architettura affianca al transformer originale encoder e decoder locali mLSTM e un predittore dei confini delle patch di byte. Tra i quattro sistemi convertiti — Bolmo 1B, Bolmo 7B, Blama 8B e Bwen 8B — le variazioni nel numero di parametri rispetto alle versioni base restano minime. Nature attribuisce a Bolmo 7B un miglioramento assoluto di 16,5 punti percentuali nei compiti STEM rispetto a BLT 7B, un modello a byte addestrato da zero. Come dichiarato da Valentin Hofmann, junior professor alla LMU e ultimo autore dello studio, i modelli tradizionali faticano nei compiti che richiedono capacità a livello di singolo carattere, mentre i sistemi convertiti mostrano un netto miglioramento su questo fronte.

Nonostante la disponibilità pubblica del codice di addestramento e dei dati di origine, la documentazione tecnica evidenzia precisi argomenti di cautela. Il test si è fermato a modelli con un massimo di 8 miliardi di parametri, lasciando non verificata l'efficacia del metodo sulle architetture di frontiera più grandi. Nel confronto controllato, la struttura registra inoltre un peggioramento nella metrica Code pass@1 rispetto al semplice addestramento continuato. Alcune sintesi secondarie attribuiscono il +16,5 a Bwen 8B, mentre Nature lo riferisce a Bolmo 7B. Altre citano l'Università di Edimburgo, affiliazione di Edoardo M. Ponti nel preprint, mentre su Nature compare l'Imperial College London. La pagina di Ai2 non indica la licenza dei pesi e Nature non riporta quella del codice.

Riutilizzare le strutture esistenti per abbattere i costi di addestramento è un approccio pragmatico e rigoroso. Resta da verificare se l'abbandono dei token si dimostrerà sostenibile su scale computazionali maggiori senza compromettere l'efficienza nella generazione del codice. — Olya