엔비디아, 플래그십 550B 모델 '네모트론 3 울트라' 정식 오픈소스화: 최초의 맘바-트랜스포머 하이브리드 MoE 아키텍처 도입, 장기 에이전트에 특화

동차 Beating 모니터링에 따르면, 엔비디아가 6월 4일 공식적으로 5500억 개의 파라미터와 550억 개의 활성 파라미터를 가진 플래그십 대규모 언어 모델 Nemotron 3 Ultra를 오픈소스로 공개했습니다. 이 모델은 복잡한 계획, 추론 및 도구 호출 등 장기 지능형 에이전트 작업에 최적화되었습니다.

서드파티 벤치마크 플랫폼 Artificial Analysis의 지능 지수에서 Nemotron 3 Ultra는 47.7점을 기록하며 현재 미국 내에서 가장 성능이 뛰어난 오픈소스 가중치 모델로 평가되었습니다. 그러나 글로벌 오픈소스 모델 중에서는 Kimi K2.6(53.9점), MiMo-V2.5-Pro(53.8점), DeepSeek V4 Pro(51.5점) 등 여러 중국 오픈소스 모델에 뒤처집니다.

기술 아키텍처 측면에서 이 모델은 Mamba-Transformer 혼합 전문가 아키텍처 MoE를 채택했습니다. Mamba-2 상태 공간 모델 레이어와 Transformer 자기 주의 레이어를 번갈아 사용하여 초장기 컨텍스트에서 KV 캐시가 2차 함수적으로 증가하는 메모리 병목 현상을 방지하며, 극히 낮은 메모리 오버헤드로 100만 토큰의 컨텍스트 윈도우를 지원합니다. 혼합 아키텍처는 에이전트 작업에서 최대 5배의 처리량 향상과 30%의 추론 비용 절감을 실현했습니다.

생태계 지원 측면에서 엔비디아는 NemoClaw 오케스트레이션 블루프린트와 OpenShell 런타임을 포함한 에이전트 툴킷 Agent Toolkit을 동시에 출시했습니다. 오픈소스 콘텐츠에는 모델 가중치, 데이터셋 및 훈련 레시피가 직접 포함되어 있습니다. 이 모델은 Hugging Face, NVIDIA NIM 및 OpenRouter에 이미 업로드되었으며, 기업용 AI 검색 서비스 제공업체 Glean 등이 상업용 폐쇄형 대규모 모델의 대안으로 도입을 발표했습니다.