토큰당 3B 파라미터만 깨우는 목적형 실행기
오픈 모델로 공개된 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)은 총 30B 파라미터 중 토큰당 3B만 활성화하는 하이브리드 혼합 전문가(MoE) 구조를 취한다 ¹³. 네모트론 3 울트라(Nemotron 3 Ultra)에서 증류된 모델로, 네모트론 코알리션(Nemotron Coalition)이 평가 방법론과 데이터셋, 추론 소프트웨어를 결합해 공동 개발했다 ¹³. 최대 1M 토큰 컨텍스트를 지원하며 BF16과 NVFP4 체크포인트로 출시되었는데, 엔비디아는 젯슨(Jetson) 같은 엣지 디바이스부터 H100·B300 데이터센터 GPU까지 폭넓은 배포 대상을 제시했다 ³. 오픈소스 추론 엔진 vLLM 역시 출시 당일 지원을 발표하며 이 모델을 OpenAI 호환 API 환경에서 즉시 서빙할 수 있도록 지원에 나섰다 ³.
요청을 비용 등급별로 분배하는 라우팅 계층
함께 공개된 네모 스위치야드(NeMo Switchyard)는 널리 쓰이는 주요 에이전트 도구 안에서 매끄럽게 작동하는 오픈소스 라우팅 라이브러리다. 개발자가 직접 구성한 오픈 모델·상용 모델·엔비디아 모델 풀에서 각 요청을 최적의 모델로 지능적으로 분배하며, 이 과정에서 애플리케이션 코드를 다시 작성할 필요가 없다 ¹². 이러한 아키텍처는 에이전트 시스템이 역할별로 세분화된 ’모델들의 시스템’으로 진화하고 있다는 인식을 바탕에 둔다. 네모트론 3 울트라나 GPT-5.6 같은 프론티어 추론 모델이 계획을 수립하고 흐름을 조율하는 동안, 라이트닝 같은 소형 실행기가 코드 리뷰, 도구 호출, 보안 알림 감시, 청구 문의 응대처럼 반복적이면서도 단계가 많은 실무를 전담하는 구조다 ¹². 엔비디아는 크라우드스트라이크(CrowdStrike), 하비(Harvey), 코드레빗(CodeRabbit) 등이 각자의 전문 도메인에 맞춰 이 모델을 커스터마이즈하고 있다고 밝혔다 ¹.
4배 속도 주장과 아직 남은 제3자 검증 과제
엔비디아는 투기적 디코딩과 다중 토큰 예측, NVFP4/BF16 양자화를 통해 유사 규모 모델 대비 최대 4배 빠른 출력 속도를 보고했으며, 이를 바탕으로 에이전트 작업 완료 속도 역시 동급 모델보다 30% 빨라졌다고 주장한다 ¹². 다만 이 수치는 자체 벤치마크(PinchBench)에 기반한 공급업체 측 보고치다. 장기 실행 에이전트 환경에서 독립적인 제3자가 측정한 지연시간·품질 벤치마크는 아직 공개되지 않았고, 4배라는 수치가 구체적으로 어떤 하드웨어 조건에서 측정되었는지도 외부 확인이 필요한 상태로 남아 있다 ¹².
출처
- ¹ · NVIDIA Nemotron 3.5 Lightning and NeMo Switchyard Deliver Faster, Smarter, More Efficient Agentic AI | NVIDIA Blog
- ² · NVIDIA Nemotron 3.5 Lightning Delivers Fast, Accurate Specialized Task Execution for Long-Running Agents | NVIDIA Technical Blog
- ³ · Announcing Day-0 Support for NVIDIA Nemotron 3.5 Lightning on vLLM | vLLM Blog