반도체 전문가: AI 연산 병목이 칩에서 패키징, 인터커넥트, 메모리로 이동하고 있다

동찰 Beating AI 속보, 베테랑 칩 설계자이자 하드웨어 분석가인 「Mr. Bubble」이 Frictionless Podcast 인터뷰에서 AI 컴퓨팅 인프라의 핵심 병목이 단순한 칩 연산력 향상에서 첨단 패키징, 시스템 인터커넥트 지연 및 스토리지 계층 관리로 전환되고 있다고 밝혔다.

Mr. Bubble은 첨단 공정 비용이 빠르게 상승하는 반면 트랜지스터 밀도 향상 폭은 제한적이어서 전통적인 무어의 법칙이 경제성 측면에서 도전에 직면하고 있다고 본다. 공정을 계속 축소하는 대신, 업계는 첨단 패키징을 통해 여러 칩을 하나의 컴퓨팅 시스템으로 연결하는 방식을 더 많이 채택하고 있다. 그는 미래 AI 컴퓨팅의 기본 단위가 더 이상 단일 칩이나 서버가 아니라 완전한 랙, 나아가 여러 랙이 될 수 있으며, PCB, 패키징 및 인터커넥트 역량이 핵심 제약 요인이 될 것이라고 지적했다.

스토리지 측면에서 그는 AI 추론 컨텍스트 윈도우가 확대됨에 따라 방대한 과거 컨텍스트가 전부 값비싼 HBM을 차지해서는 안 되며, 업계는 플래시 오프로딩을 더 많이 채택하여 고빈도 데이터는 HBM에 남기고 저빈도 컨텍스트는 더 큰 용량, 더 낮은 비용의 스토리지 계층으로 마이그레이션할 가능성이 있다고 보았다. 그는 나아가 3D DRAM이 차세대 메모리 기술의 중요한 방향이 될 수 있다고 전망했다.

AI 인프라 투자에 대해 Mr. Bubble은 프리필과 디코딩이 점차 분리형 아키텍처를 채택함에 따라 시스템 수준 하드웨어 설계의 중요성이 더욱 부각될 것이라고 본다. 그는 또한 대형 모델 기업에 직접 베팅하는 것보다 하드웨어, 패키징, 스토리지 및 기타 핵심 인프라 역량을 갖춘 기업이 AI 산업 체인에서 더 장기적인 역할을 할 수 있다고 밝혔다.