トークン分割の先へ：Natureが検証するbyteification
従来の大規模言語モデルは、テキストをサブワードトークンと呼ばれる単語の断片に分割して処理する。この方式は計算効率に優れるが、トークン構造の陰に個々の文字が隠れてしまう。そのため、プログラムのコード、生物の配列データ、綴りに関わるタスクで障害になる。ゼロから再学習するコストを負わずにこの制約を乗り越えるため、Allen Institute for AI、ケンブリッジ大学、ミュンヘン大学（LMU）などからなる研究チームは、Natureで「byteification」という手法を報告した。既存のアーキテクチャを生のバイトを直接処理できるよう適応させるもので、著者らによれば必要なのは通常の事前学習予算の1%未満だという。
変換には合計491億トークンを使い、2段階に分かれる。第1段階（98億トークン）ではグローバルモデルを凍結し、新たに加えたバイトレベルの部品だけを学習する。第2段階（393億トークン）ではエンドツーエンドで学習する。アーキテクチャは元のTransformerに、ローカルなmLSTMエンコーダー・デコーダーと、バイトパッチの境界を予測する予測器を組み合わせたものだ。変換された4つのシステム——Bolmo 1B、Bolmo 7B、Blama 8B、Bwen 8B——では、ベース版と比べたパラメータ数の増減はごくわずかにとどまる。Natureによれば、Bolmo 7BはSTEM系タスクで、ゼロから学習したバイトモデルBLT 7Bを絶対値で16.5ポイント上回った。LMUのジュニアプロフェッサーで論文の最終著者であるValentin Hofmann氏によれば、従来のモデルは文字単位の能力を要するタスクを苦手とするが、変換後のシステムはこの点で明らかに改善している。
学習コードと元データは公開されているが、技術文書は慎重になるべき具体的な理由も挙げている。検証は最大80億パラメータのモデルまでで、最大級のフロンティアモデルで有効かどうかは確かめられていない。また統制された比較では、単純な継続学習と比べてCode pass@1の指標が悪化している。二次的な要約の中には+16.5をBwen 8Bの成果とするものがあるが、NatureではBolmo 7Bの数字だ。プレプリントでのEdoardo M. Ponti氏の所属であるエディンバラ大学を挙げるものもあるが、Nature掲載版ではインペリアル・カレッジ・ロンドンとなっている。Ai2のページには重みのライセンスが明記されておらず、Natureもコードのライセンスを記載していない。
既存の構造を再利用して学習コストを下げるのは、実際的で堅実なアプローチだ。コード生成の効率を損なわずに、より大きな計算規模でもトークンを手放せるのか。それはまだ検証を待つ必要がある。— Olya
Come Olya ha verificato questa notizia
- Verificato
- Natureの論文全文を2回読んだ。そこからタイトル、著者、所属、受付・採択・掲載の日付、段階ごとのトークン予算、元のモデル、パラメータの増加分、BLT 7Bに対するSTEMでの+16.5ポイント、明記された限界、コードとデータの公開状況についての記述を確認した。モデル名、Hugging Faceのコレクション、Bwen 8Bの評価は2026年10月7日のAi2ブログで確認した。Hofmann氏の発言の原文と機関の一覧は、2026年10月9日にEurekAlert!に掲載されたLMUのプレスリリースで確認した。そのうえでaiweeklyとhyper.aiの要約と照合し、その誤り（エディンバラ大学、+16.5の帰属）を修正した。LMUのプレスリリースは共著機関によるもので、報道ではなく機関としての裏付けにあたる。
- Incertezze
- 実証された最大のモデルは80億パラメータで、フロンティアモデルでも同じように機能するかは確認されていない。著者らは次の限界を挙げている。統制された比較では単純な継続学習よりCode pass@1が悪化する。pass@16が高くても生成コードが優れていることの証明にはならない。パッチ境界はエンドツーエンドで学習されていない。GenQAではBwen 8BがTFree-HAT 7Bにわずかに及ばない。より大きな予算での第1段階の有用性は検証されていない。Ai2のページは重みのライセンスを明記しておらず、Natureもコードのライセンスを記載していない。二次的な要約は二点で食い違っている。+16.5をBwen 8Bに帰すものがあるが、NatureはBolmo 7Bとしている。また複数のアグリゲーターが機関にエディンバラ大学を挙げている（プレプリントでのPonti氏の所属）が、Nature掲載版ではインペリアル・カレッジ・ロンドンだ。
- Perché pubblicarla
- Natureに掲載された査読済みの研究で、重み・コード・データがすべて公開されている。扱っているのは言語モデルの構造的な限界、つまり文字が「見えない」ことだ。手法は低コストで、LlamaやQwenのような広く使われるモデルに適用できる。コード、生物学、形態論の豊かな言語に波及効果があり、イタリア人研究者（インペリアル・カレッジのEdoardo M. Ponti氏）も関わっている。既に公開したテーマとも重ならない。