AI 텍스트세: 기계가 쓴 웹으로 모델을 학습시키는 비용

메릴랜드 대학교와 Pangram Labs 연구진이 arXiv에 공개한 프리프린트는 웹의 어느 정도가 AI 생성 텍스트로 채워졌는지, 그리고 그것이 모델 사전 학습에 어떤 영향을 주는지를 측정합니다. FineWeb 코퍼스를 2026년 8월까지 확장해 분석한 결과, AI 생성 토큰의 비중은 2021년 0.1% 미만에서 2026년 여름 31.1%로 늘었습니다. 저자들은 파라미터 10억 개 미만의 모델 800개를 학습시키고 이를 바탕으로 스케일링 법칙을 도출했습니다. 이 법칙에 따르면, 2억 6,800만 파라미터 모델을 파라미터당 20토큰으로 2026년 8월 비중(31.1%)의 필터링하지 않은 웹에서 학습시키면 사람이 쓴 텍스트만으로 이루어진 부분집합보다 1.6배의 연산이 필요합니다. 사람 데이터의 양이 늘어날수록 이 격차는 커집니다. 게다가 비효율은 더 심해질 전망입니다. Digital Applied가 전한 저자들의 전망에 따르면, 2027~2028년에 예상되는 비중에서 배수는 2.1, 이어서 3.0까지 오르고, AI 생성 텍스트의 비중은 2028년 말 51%에 이를 것으로 보입니다. 어디까지나 예측일 뿐 측정값은 아닙니다.

패턴은 분명합니다. 사람 데이터가 충분할 때는 AI 생성 토큰을 더하면 loss가 거의 즉시 나빠집니다. 사람 데이터가 부족할 때는 AI 텍스트가 처음에는 도움이 되지만 곧 정체되고 결국 역효과를 냅니다. 반면 새로운 사람 데이터는 계속 성능을 끌어올립니다. 그래서 저자들은 사람이 쓴 텍스트에서의 성능이 목표라면 기계 생성 텍스트를 걸러내라고 권합니다. 웹에서 긁어온 AI 텍스트로 데이터셋을 부풀리느니 이미 쓴 사람 데이터를 반복하는 편이 낫다고까지 제안합니다. 프로젝트는 WildAI 데이터셋(문서 9,604만 건, 라벨링된 토큰 833억 1,000만 개), 학습된 모델 800개 전부, 그리고 코드를 공개했습니다.

그렇더라도 결과는 신중하게 읽어야 합니다. 이 연구는 아직 동료 심사를 거치지 않은 프리프린트입니다. 영어만 다루고, 하위 작업 능력이 아니라 loss만 측정하며, 작은 모델만 사용했습니다. 따라서 프런티어 시스템에 대한 결론은 외삽일 뿐입니다. 또한 측정은 상용 탐지기 Pangram 3.3.2 하나에만 기대고 있습니다. 이 탐지기는 연구비를 댄 회사가 만들었고, 저자 중 4명이 그 회사 소속입니다. 저자들은 오탐률이 극히 낮다고 밝힙니다. 그러나 PCMag의 독립 테스트에서는 텍스트 '휴머나이저' 도구로 이 탐지기를 피해 갈 수 있고, AI의 도움을 받아 쓴 글을 잘 잡아내지 못한다는 점이 드러났습니다. 웹에 있는 AI 생성 텍스트의 실제 비중은 이와 다르거나 더 높을 수 있습니다.

미래의 모델을 학습시키려면 먼저 지금의 모델들이 만들어낸 것을 웹에서 걷어내야 한다면, 우리는 묘한 산업적 역설 앞에 서 있는 셈입니다. 연산 효율을 좌우하는 것은 칩의 성능보다, 우리가 이제 막 만들어내기 시작한 배경 소음 속에서 우리 자신의 목소리를 가려낼 수 있느냐일지도 모릅니다. — Olya