엔비디아가 첫 번째 Groq 칩 LPX를 출시했습니다. 이 칩은 베라 루빈과 함께하여 1MW당 추론 효율이 최대 35배 향상되었으며 다음 세대 Kyber 프로토타입을 소개했습니다.

1M AI News에 따르면, Groq 3 LPU(언어 처리 유닛)는 NVIDIA가 지난 12월 대략 200억 달러에 인공지능 추론 칩 스타트업 Groq를 인수한 후 출시한 최초의 칩으로, 올해 3분기에 생산이 시작될 예정입니다. Groq 3 LPX 랙은 256개의 LPU를 수용하며, 128GB의 온보드 SRAM과 초당 640TB의 확장 인터커넥션 대역폭을 갖추고 있습니다. 회사 측은 LPX가 Vera Rubin NVL72와 함께 배포될 때, 메가와트 당 추론 처리량이 최대 35배 증가하며, 동시에 조심적인 수익 잠재력이 있는 조건에서 조건부 추론 시나리오와 맞춤형 토큰 백엔드 처리를 언락할 수 있다고 설명했습니다. 황은훈은 이 두 칩을 "극단적인 차이지만 상호 보완적이며: 한 쪽은 고 처리량을, 다른 한 쪽은 낮은 지연을 추구"라고 설명했으며, LPX의 온보드 메모리는 모델에서 사용 가능한 총 메모리 용량을 크게 확대합니다. LPX 랙은 올해 하반기에 Vera Rubin 플랫폼과 함께 출시될 예정입니다.

회의에서 황은훈은 또한 코드명 Kyber인 다음 세대 랙 아키텍처 프로토타입을 소개했습니다. Kyber는 144개 GPU의 컴퓨팅 트레이를 수직으로 배치하여 물리적 밀도를 향상시키고 지연을 감소시키며, Vera Rubin의 후속 플랫폼 Vera Rubin Ultra에 장착될 예정으로, 2027년 출시될 예정입니다.