엔비디아가 NVHBM 메모리 기술을 발표했으며, 대역폭은 30% 향상되고 전력 소비는 15% 감소했습니다.

BlockBeats 뉴스, 8월 27일, 엔비디아가 차세대 AI 인프라를 위한 NVHBM 기술을 발표했다. NVHBM은 주요 메모리 칩 공급업체와 공동 설계 및 검증된 맞춤형 HBM 기반 다이로, NVLink Fusion을 통해 맞춤형 AI 가속기(XPU)를 개발하는 하이퍼스케일 클라우드 서비스 제공업체와 AI 네이티브 기업에 제공될 예정이다.

표준 HBM4e와 비교하여 NVHBM은 스택당 최대 30%의 추가 메모리 대역폭을 제공하고, HBM 전력 소비를 최대 15% 절감하며, XPU를 위해 최대 25%의 컴퓨팅 다이 면적을 확보한다. 엔비디아는 이러한 개선이 맞춤형 가속기가 더 큰 AI 모델을 지원하고, KV 캐시를 더 빠르게 읽을 수 있게 하며, 훈련 및 대규모 추론 효율성을 향상시킬 수 있다고 밝혔다.

NVHBM은 물리적 메모리 인터페이스를 재설계하여 메모리 컨트롤러를 3D HBM 스택으로 이동시키고 맞춤형 PHY를 통합함으로써 PHY 및 관련 영역의 면적을 최대 67% 줄이는 동시에 인터포저 배선을 단순화한다. 확보된 칩 면적은 매트릭스 엔진, 캐시, 네트워크 및 특정 워크로드에 특화된 기타 기능을 추가하는 데 사용될 수 있다.

랙 레벨에서 NVLink Fusion 칩렛은 맞춤형 XPU를 NVLink 네트워크에 연결하고 NVLink-C2C를 통해 CPU와 연결할 수 있다. 엔비디아는 NVHBM과 NVLink Fusion을 결합하면 XPU당 엔드투엔드 성능이 약 30% 향상될 수 있으며, 맞춤형 XPU가 엔비디아 GPU와 이기종 컴퓨팅 시스템을 구성할 수 있다고 밝혔다. 공식적으로 구체적인 상용화 시점은 아직 공개되지 않았다.