토큰 쪼개기를 넘어서: Nature가 검증한 바이트화(byteification) 기법

기존 대규모 언어 모델은 텍스트를 서브워드 토큰이라 불리는 단어 조각으로 나눠 처리한다. 이 방식은 계산 효율이 높지만, 토큰 구조가 개별 문자를 가려 버린다. 그래서 프로그래밍 코드, 생물학적 서열, 철자 관련 작업에서 걸림돌이 된다. 처음부터 다시 학습하는 비용을 들이지 않고 이 한계를 넘기 위해 Allen Institute for AI, 케임브리지 대학교, 뮌헨 대학교(LMU) 등이 참여한 연구진은 Nature에 바이트화(byteification) 기법을 발표했다. 이 기법은 기존 아키텍처가 원시 바이트를 직접 처리하도록 조정하며, 저자들에 따르면 일반적인 사전 학습 예산의 1%도 안 되는 자원으로 가능하다.

변환에는 모두 491억 토큰이 들며 두 단계로 나뉜다. 98억 토큰을 쓰는 1단계에서는 전역 모델을 고정한 채 새로 추가한 바이트 수준 구성 요소만 학습한다. 393억 토큰을 쓰는 2단계에서는 엔드투엔드로 학습한다. 아키텍처는 원래의 트랜스포머에 로컬 mLSTM 인코더·디코더와 바이트 패치 경계 예측기를 덧붙인 구조다. 변환된 네 시스템인 Bolmo 1B, Bolmo 7B, Blama 8B, Bwen 8B 모두 기본 버전과 비교해 파라미터 수 변화가 미미하다. Nature는 Bolmo 7B가 처음부터 학습한 바이트 모델 BLT 7B보다 STEM 과제에서 절대값으로 16.5%포인트 향상됐다고 밝혔다. LMU의 주니어 교수이자 연구의 마지막 저자인 Valentin Hofmann은 기존 모델이 문자 단위 능력이 필요한 과제에서 어려움을 겪는 반면, 변환된 시스템은 이 부분에서 뚜렷한 개선을 보인다고 말했다.

학습 코드와 원본 데이터가 공개돼 있지만, 기술 문서는 조심해야 할 구체적인 이유를 짚는다. 실험은 최대 80억 파라미터 모델까지만 진행돼, 가장 큰 프런티어급 아키텍처에서도 효과가 있는지는 확인되지 않았다. 통제된 비교에서는 단순한 지속 학습보다 Code pass@1 지표가 오히려 나빠졌다. 일부 2차 요약은 +16.5를 Bwen 8B의 결과로 소개하지만, Nature는 이를 Bolmo 7B의 결과로 기록한다. 또 일부는 프리프린트상 Edoardo M. Ponti의 소속인 에든버러 대학교를 언급하지만, Nature에는 임페리얼 칼리지 런던으로 나와 있다. Ai2 페이지는 가중치의 라이선스를 밝히지 않았고, Nature도 코드의 라이선스를 적지 않았다.

기존 구조를 재활용해 학습 비용을 낮추는 것은 실용적이면서도 엄밀한 접근이다. 토큰을 버리는 선택이 코드 생성 효율을 해치지 않으면서 더 큰 연산 규모에서도 지속 가능할지는 아직 지켜봐야 한다. — Olya