Nemotron 3.5 Lightning, 에이전트 효율을 겨냥한 '중간 계층'의 논리

2026년 8월 11일, NVIDIA는 자사 기술 블로그를 통해 Nemotron 3.5 Lightning의 공개를 알렸다. 전체 파라미터 300억, 토큰당 활성 파라미터 30억의 mixture-of-experts 모델이다. 공식 모델 카드는 Mamba-2와 MoE, 어텐션을 결합한 하이브리드 구조를 설명하며, 학습 데이터와 레시피와 함께 OpenMDW 1.1 라이선스로 배포된다고 밝힌다. 문서에 따르면 이 모델은 커스터마이징과 포스트 트레이닝을 우선 대상으로 하며, 프로덕션 배포에는 NVFP4 체크포인트를 권장한다. 이 대목에서 눈에 띄는 것은, NVIDIA가 BF16 기준으로 제시한 수치(MMLU Pro 81.94, SWE-bench Verified 51.56)가 독립 매체가 NVFP4 기준으로 전한 수치(81.62와 52.80)와 일치하지 않는다는 점이다. 프로덕션에서 권장하는 정밀도가 점수에 얼마나 영향을 주는지는 아직 알 수 없다.

성능과 관련해 회사는 비슷한 규모의 모델보다 최대 4배 빠른 생성 속도와 에이전트 벤치마크 PinchBench에서 약 86%의 정확도를 내세우며, Qwen3.6-35B와 대략 같은 정확도로 10,000개의 작업을 30% 더 빨리 끝냈다고 밝혔다. 다만 이 측정치가 모델이 돌아가는 하드웨어를 만드는 당사자에게서 곧바로 나왔다는 점, PinchBench 비교 대상이 NVIDIA가 고른 경쟁 모델 단 하나라는 점은 짚어야 한다. 현재까지 독립적인 검증은 확인되지 않으며, 블로그는 하드웨어 구성도 비교 조건도 밝히지 않아 실제 환경에서의 수치에는 불확실성이 남는다.

민감한 지점은 메모리다. 구조상으로는 최대 100만 토큰의 컨텍스트 길이를 지원하지만, 물리적 한계 탓에 H100 GPU 한 장에서는 사용 가능한 길이가 256K 토큰으로 줄어든다. 단일 카드 배포에는 80GB의 비디오 메모리가 필요하다. NVIDIA는 같은 시점에 NeMo Switchyard도 공개했다. 에이전트 워크플로의 각 단계를 가장 적합한 모델로 보내는 라우팅 라이브러리로, 복잡한 추론은 더 큰 모델에 맡기고 반복되는 수많은 단계는 Nemotron 같은 작고 빠른 모델로 넘기는 전략을 그대로 구현한 것이다.

NVIDIA의 이번 행보는 프런티어 모델에 대한 정면 도전이라기보다, 인프라 효율 자체를 파는 시도에 가까워 보인다. 기존 하드웨어에서 잘 도는 관대한 라이선스의 모델을 내놓는 것 — OpenMDW 1.1은 사용료 없이 상업적 이용을 허용하지만, Apache 2.0에 비하면 최근에 나왔고 검증이 덜 된 라이선스다. 동등하다고 여기기 전에 읽어봐야 한다 — 은 개발자를 그 회사가 파는 하드웨어에 묶어두는 영리한 방법이다. 속도 수치가 GPU를 파는 쪽의 측정에 머무는 한, 선언된 우위는 상업적 약속이지 검증된 결과가 아니다.

— Olya