Nemotron 3.5: NVIDIA, 에이전트 모델을 24GB 게이밍 GPU에 들어갈 만큼 압축하다

공식 블로그에 Kari Briski 명의로 게재된 발표는 Nemotron 3.5 Super VL을 총 1,200억 파라미터, 토큰당 120억 파라미터가 활성화되는 멀티모달 모델로 소개한다. NVIDIA에 따르면 추론과 도구 사용에 텍스트·이미지·문서·영상 이해를 결합했으며, 차트와 웹 페이지, 문서를 다루는 에이전트를 위해 설계됐다. 회사는 이를 "동급에서 가장 빠른 오픈 에이전트 모델"이라 부르며, 최고의 경쟁 모델보다 약 5배 빠르고, 자사 최대 추론 모델과 비슷한 정확도를 약 5분의 1 파라미터로 낸다고 주장한다. 여기서 멈춰 볼 필요가 있다. 블로그는 경쟁 모델도, 내부 비교 기준 모델도 밝히지 않았고 점수도 공개하지 않았다. 제조사의 주장일 뿐, 비교 가능한 측정값이 아니다. 모델은 Hugging Face, OpenRouter, ModelScope, 그리고 NIM 마이크로서비스로 제공된다. 공개된 학습 내용은 사전 학습과 지속 사전 학습을 합쳐 약 26조 토큰, 약 380만 개의 사후 학습 샘플, 수십 개 환경에서의 강화 학습이며, 오픈 데이터셋이 공개됐고 RL 환경은 NeMo Gym에 있다.

흥미로운 건 두 번째 모델이다. Bolt 74B-A9B 24GB는 총 740억, 활성 90억 파라미터이며, 네이티브 2비트 양자화 덕분에 24GB 메모리에 들어간다. GeForce RTX PC, RTX Spark 노트북, DGX Spark, DGX Station, RTX PRO 워크스테이션에서 돌아간다. Hugging Face 모델 카드에는 기술적 세부 사항이 있다. LatentMoE라는 Mamba-2/Transformer 하이브리드 아키텍처, C-RADIO v4-H 비전 인코더, 텍스트·이미지·영상 입력, 25만 6천 토큰 컨텍스트, OpenMDW-1.1 라이선스. 출처도 설명한다. Super VL 120B-A12B를 NVIDIA의 Star Elastic 기법(arXiv 2605.07182)으로 압축한 것으로, 활성 전문가 수가 22개에서 9개로 줄었고 압축 후 1,200억 토큰 규모의 복원 학습을 거쳤다.

Super VL과 달리 Bolt에 대해서는 NVIDIA가 모델 카드에 수치를 공개했다. IQ2 양자화 버전은 GPQA Diamond 86.43, Terminal-Bench 2.1 50.98, BrowseComp 66.75를 기록했고, 비교 대상은 Qwen3.6-35B-A3B, Gemma4 26B-A4B, Nemotron 3.5 Lightning 30B-A3B다. 모든 항목에서 이기지는 않는다. AA-Omniscience 정확도는 16.90으로 Gemma4의 22.17에 못 미치고, PinchBench는 87.82로 Qwen3.6의 88.07보다 낮다. NVIDIA는 llama.cpp, Ollama, LM Studio, Unsloth, vLLM 지원을 명시했는데, 실제로 모델을 로컬에서 돌릴 때 쓰는 도구들이다. 세 번째 모델인 4GB Bolt E4B는 대화형 에이전트, 음성 비서, 인터랙티브 캐릭터용으로 Jetson에서도 쓸 수 있으며, NVIDIA는 10월 23일 출시를 예고했다. 발표된 날짜일 뿐 아직 공개된 것은 아니다. 초기 도입 기업으로는 Scale AI(Skydance와 EY용 버전 포함), AfterQuery(Hebbia용), AI21, Alice, Mercor를 꼽았고, Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce, Synopsys와의 통합도 발표했다. NVIDIA Dynamo와 함께 쓰면 최대 8배 많은 사용자를 처리하고 지연 시간을 85% 줄인다고 하지만, 여기서도 무엇과 비교한 수치인지는 밝히지 않았다.

내게 남는 건 하나의 발표 안에 담긴 두 발표 사이의 비대칭이다. Bolt는 라이선스, 아키텍처, 컨텍스트, 벤치마크(NVIDIA 공개 수치), 심지어 어디서 지는지까지 알 수 있다. 반면 더 크고 속도 주장의 근거가 되는 Super VL은 Hugging Face 모델 카드 접근이 막혀 열어 볼 수 없었고, 그래서 라이선스와 컨텍스트 길이는 확인하지 못했다. NVIDIA 포럼에는 100만 토큰이라는 언급이 있고, Artificial Analysis 지수 26.5라는 수치가 2차 사이트에 돌고 있지만 원 출처에서는 찾지 못했다. 그래도 740억 파라미터 모델을 24GB 소비자용 GPU에 담는 2비트 양자화가 이번 기술 뉴스의 핵심이다. 그 24GB가 실제 부하에서도 버틴다면, 집에서 멀티모달 에이전트를 돌릴 수 있는 사람의 범위가 달라진다. 하지만 그건 독립적인 측정이 말해 줄 일이고, 현재로선 세 모델 어느 것에도 그런 측정이 없다(게다가 Bolt E4B는 아직 나오지도 않았다).

— Olya