TL;DR

·AI의 저장 수요는 HBM에 그치지 않는다. 훈련은 HBM, 시스템 DRAM부터 SSD와 공유 저장소에 이르는 전체 메모리 체계를 거의 모두 동원해야 한다.

·추론의 진정한 병목은 디코딩 단계에서 나타난다. KV Cache는 컨텍스트 길이와 동시 사용자 수에 따라 함께 증가하며, 메모리 용량이 모델 가중치보다 먼저 상업화 규모를 제한할 수 있다.

·에이전트는 저장 압력을 더욱 확대한다. 다단계 호출은 반복적으로 컨텍스트를 생성하고 외부 도구를 호출하며 CPU, DRAM 및 KV Cache 수요를 증가시킨다.

·HBM과 기존 SSD 사이에는 CXL, 'Storage Next', CMX를 포함한 여러 새로운 계층이 등장하고 있으며, 목표는 더 낮은 비용으로 확장되는 추론 데이터를 수용하는 것이다.

·모든 새로운 기술 경로가 실현 가능한 것은 아니다. HBF, zHBM, NVHBM, ZAM 및 PIM은 각각 방열, 수율, 생태계 호환성 또는 공급망 이익 재분배 문제에 직면해 있다.

·번스타인은 삼성전자, SK하이닉스, 마이크론, 샌디스크, 시게이트 및 웨스턴디지털에 대해 계속 긍정적 전망을 유지하며, 키옥시아에 대해서는 '시장 수익률 하회' 등급을 유지한다.

지난 2년간 AI 저장 시장의 서사는 거의 HBM을 중심으로 전개되었다. 그러나 대형 모델이 훈련에서 대규모 추론으로 전환되면서 단순히 HBM을 늘리는 것만으로는 모든 문제를 해결할 수 없게 되었다.

번스타인이 최근 발표한 글로벌 저장 보고서에 따르면, 서로 다른 AI 워크로드가 메모리에 요구하는 사항은 뚜렷하게 다르다: 훈련은 연산 능력과 대역폭을 강조하고, 추론의 디코딩 단계는 용량에 더 의존하며, RAG는 대규모 데이터베이스를 필요로 하고, 에이전트 워크플로우는 기존 서버와 AI 서버의 부담을 동시에 증가시킨다.

이는 AI로 인한 변화가 HBM에서 시스템 DRAM, SSD, HDD, 심지어 테이프 저장까지 아래로 전파되고 있음을 의미한다. '메모리 벽'을 중심으로 산업 체인은 기존 계층 사이에 새로운 제품을 삽입하여 성능, 용량 및 비용 사이에서 새로운 균형을 찾으려 하고 있다.

추론 규모의 상한선은 KV Cache에 달려 있을 수 있다

대형 모델 훈련 단계에서 GPU와 HBM은 여전히 핵심 위치를 차지한다.

훈련은 모델 파라미터와 중간 데이터를 빈번하게 읽어야 하므로 연산 능력과 메모리 대역폭에 대한 요구가 모두 높다. 그러나 대형 모델의 훈련은 HBM에만 의존하지 않는다: 원본 데이터 세트는 더 낮은 비용의 저장 매체에 보관해야 하며, 데이터가 GPU에 들어가기 전에 일반적으로 시스템 DRAM과 로컬 SSD가 캐싱 및 전처리를 완료해야 한다. 수 주에서 수 개월에 걸친 훈련은 또한 하드웨어나 소프트웨어 오류로 인해 작업이 처음부터 다시 시작되지 않도록 주기적으로 체크포인트를 저장해야 한다.

따라서 대규모 학습 한 번은 실제로 HBM, 시스템 DRAM부터 로컬 SSD와 네트워크 스토리지에 이르는 전체 계층을 호출하게 된다.

추론 단계에 들어서면 메모리 요구 사항은 더욱 세분화된다.

추론은 일반적으로 프리필(Prefill)과 디코드(Decode) 두 단계로 나눌 수 있다. 프리필은 사용자 입력을 처리하고 첫 번째 토큰을 생성하는 역할을 하며, 주로 대규모 행렬 연산을 수행하므로 '연산 제한'에 더 가깝다. 이 단계에서는 GPU 활용률과 HBM 대역폭이 더 중요하며, 일반적인 지표는 첫 토큰 지연 시간이다.

디코드 단계는 다르다. 모델은 토큰을 하나씩 생성해야 하며, 새 토큰을 생성할 때 이전에 생성된 정보를 호출해야 한다. 반복 계산을 피하기 위해 시스템은 일반적으로 이러한 데이터를 KV 캐시에 저장한다.

KV 캐시는 두 가지 중요한 특징을 가진다. 용량이 컨텍스트 길이에 따라 선형적으로 증가하며, 각 사용자는 독립적인 캐시가 필요하다. 따라서 컨텍스트가 길어지고 동시 사용자가 증가하면 두 요소가 함께 메모리 점유율을 높이게 된다.

번스타인은 대규모 AI 배포에서 KV 캐시가 차지하는 메모리가 모델 가중치를 초과할 수 있으며, 동시 사용자 수와 컨텍스트 창을 제한하는 주요 요인이 된다고 본다. 모델이 얼마나 많은 사용자를 서비스할 수 있고, 얼마나 긴 컨텍스트를 유지할 수 있는지는 궁극적으로 수익 규모에 직접적인 영향을 미친다.

이런 관점에서 추론 시대의 경쟁 포인트는 칩이 얼마나 많은 계산을 수행할 수 있는지뿐만 아니라, 시스템이 얼마나 낮은 비용으로 점점 확장되는 컨텍스트를 저장하고 읽을 수 있는지도 포함된다.

RAG와 에이전트, 수요를 전통적 메모리로 확장

RAG와 에이전트의 보급은 AI 스토리지 수요를 HBM 너머로 더욱 확산시키고 있다.

RAG는 주로 데이터베이스 구축과 데이터베이스 검색 두 단계로 구성된다. 데이터베이스를 구축할 때 시스템은 PDF, 웹페이지, 코드 등 대량의 비정형 데이터를 처리한 후 이를 검색 가능한 벡터 및 인덱스로 변환해야 한다. 이 과정은 대용량 SSD와 시스템 DRAM에 더 의존하며, HBM의 역할은 상대적으로 제한적이다.

데이터베이스가 구축된 후 사용자 쿼리는 먼저 벡터로 변환된 다음 데이터베이스의 콘텐츠와 매칭된다. 벡터 생성은 GPU와 HBM에서 빠르게 완료될 수 있지만, 실제 검색은 일반적으로 시스템 DRAM에 더 의존한다. 검색 결과는 사용자 질문과 병합되어 정상적인 프리필 및 디코드 흐름으로 들어간다.

에이전트 워크플로우는 더 큰 부담을 가져온다.

기존의 대화는 일반적으로 '입력—모델—출력'의 단일 호출 방식이지만, 에이전트는 목표를 여러 단계로 분할하고 다른 모델이나 외부 도구를 호출하며 중간 결과를 저장하고 피드백에 따라 재계획을 수립해야 합니다. 각 호출에서 생성된 결과는 다시 다음 모델 호출의 입력이 될 수 있습니다.

이는 동시에 두 가지 유형의 수요를 증가시킵니다. 한편으로는 도구 호출과 비 AI 작업에 더 많은 CPU와 시스템 메모리가 필요하고, 다른 한편으로는 여러 모델 간에 지속적으로 컨텍스트가 전달되면서 프리필(prefill), 디코딩, KV 캐시 부담이 빠르게 확대됩니다.

따라서 에이전트 애플리케이션의 발전은 GPU와 HBM에만 유리한 것이 아니라, 서버 DRAM, 엔터프라이즈 SSD 및 더 낮은 비용의 저장 매체에 대한 수요도 함께 끌어올릴 수 있습니다.

HBM과 SSD 사이에 새로운 메모리 계층이 형성되고 있다

기존 서버의 메모리 체계는 대략 프로세서 내부 캐시, 시스템 DRAM, 로컬 SSD, 공유 스토리지로 구분할 수 있습니다. AI 서버는 이 구조에 HBM을 추가했지만, HBM은 용량이 제한적이고 비용이 높아 모든 데이터를 감당하기 어렵습니다.

현재 산업 체인은 서로 다른 계층 사이에 새로운 제품을 추가하는 방식으로 이 문제를 해결하고 있습니다.

CXL은 물리적으로 분산된 메모리를 공유 리소스 풀로 통합하여 CPU, GPU 및 확장 장치가 DRAM을 더 유연하게 호출할 수 있도록 시도합니다. 일부 제품은 DRAM 또는 SRAM을 캐시로 사용하고 NAND와 결합하여 비용을 절감하면서 액세스 지연 시간을 단축합니다.

엔비디아가 추진하는 'Storage Next'는 스토리지 관리의 일부를 CPU에서 GPU로 전환하고, NAND가 DRAM에 더 가까운 지연 시간, IOPS 및 데이터 액세스 세분성을 확보하도록 시도합니다. 키옥시아가 XL-FLASH를 기반으로 출시한 GP 시리즈 SSD가 바로 이 방향을 대표합니다.

CMX는 주로 KV 캐시를 대상으로 합니다. SSD를 독립적인 데이터 노드에 배치하고 DPU, 이더넷 및 스위치 칩을 통해 컴퓨팅 노드와 연결합니다. 그 목표는 서로 다른 GPU 간에 추론 컨텍스트를 공유하여 중복 저장을 줄이고, 동시에 단일 서버의 메모리 용량 제한을 돌파하는 것입니다.

이러한 솔루션들은 모두 동일한 추세를 가리킵니다. AI 시스템은 모든 활성 데이터를 장기간 HBM에 보관할 수 없으며, 데이터의 액세스 빈도와 지연 시간 요구 사항에 따라 이를 여러 계층에 분산해야 합니다.

핫 데이터는 HBM에 남고, 일부 컨텍스트는 시스템 DRAM 또는 고성능 SSD로 이동하며, 더 콜드한 데이터는 일반 SSD, HDD, 심지어 테이프까지 계속 내려갑니다. 메모리 계층이 더 세분화될수록 시스템은 성능과 비용 사이에서 균형을 더 잘 잡을 수 있습니다.

신기술이密集하게 등장하지만, 상업화에는 여전히 불확실성이 존재

'메모리 벽'을 둘러싸고, 산업 체인에서는 이미 여러 가지 새로운 경로가 제시되고 있다.

삼성의 zHBM 계획은 HBM을 프로세서 위에 적층하여 데이터 전송 거리를 더욱 단축시키는 것을 목표로 한다. 다만, 이 설계는 GPU에서 발생하는 열을 처리해야 할 뿐만 아니라, 웨이퍼 레벨 하이브리드 본딩의 수율과 비용에 더 높은 요구 사항을 제기한다.

엔비디아가 추진하는 NVHBM은 베이스 다이를 엔비디아가 설계하고, TSMC가 제조할 가능성이 있다. 이 방안은 전력 소모를 낮추고 대역폭을 높일 수 있지만, 메모리 제조사의 HBM 베이스 다이 설계 및 제조 가치를 약화시킬 수도 있다. 제품 표준화가 진행됨에 따라, 일부 부가가치는 메모리 제조사에서 엔비디아와 파운드리로 이전될 수 있다.

샌디스크와 SK하이닉스가 추진하는 HBF는 NAND를 활용하여 HBM에 근접한 대역폭을 제공하면서도 더 큰 용량과 더 낮은 단위 비용을 확보하려는 목표를 가지고 있다. 다만, NAND와 DRAM 간에는 지연 시간과 성능에서 여전히 상당한 격차가 존재하며, HBF는 여러 기술 단계를 넘어야 하므로 실현 난이도가 낮지 않다.

인텔의 ZAM은 DRAM 다이를 90도 회전시켜 방열을 개선하려는 시도로, 2029 회계연도 실용화를 목표로 한다. 퀄컴의 HBC는 LPDDR과 기존 패키징을 사용하여 일부 성능을 희생하는 대신 CoWoS 비용을 우회한다.

또한, PIM은 저장 칩에 직접 연산 능력을 추가하여 프로세서와 메모리 간의 데이터 이동을 줄이려고 한다. 그러나 이는 기존 컴퓨팅 아키텍처를 변경해야 하며, 프로세서, 소프트웨어, 네트워크가 함께 적응해야 하고, 이미 고도로 성숙된 로직 칩과 메모리 칩의 분업 체계에도 충격을 줄 것이다. 번스타인은 그 산업적 채택이 여전히 제한적이라고 판단한다.

이를 통해 볼 때, 새로운 방안의 수가 빠르게 증가한다고 해서 모든 경로가 규모 있는 시장을 형성할 수 있는 것은 아니다. 기존 소프트웨어 및 하드웨어 생태계와의 호환성, 비용 경쟁력 확보 여부, 그리고 공급망 각 주체 간의 이익 균형 달성 여부가 최종 상업화 결과를 결정할 것이다.

AI 스토리지 수혜자는 HBM 제조사만 있는 것이 아니다

투자 관점에서 번스타인의 판단은 비교적 명확하다. AI가 스토리지 산업에 미치는 견인 효과는 소수의 고급 제품에서 더 많은 계층으로 확산되고 있다.

HBM은 여전히 트레이닝과 고성능 추론의 핵심이며, 삼성전자, SK하이닉스, 마이크론은 고대역폭 메모리 수요로 계속 수혜를 입을 것이다. 그러나 추론 규모가 확대되면 시스템 DRAM과 NAND의 중요성이 높아진다. KV 캐시 오버플로우, RAG 데이터베이스, 그리고 에이전트가 생성하는 대량의 중간 데이터도 SSD 및 공유 스토리지 수요를 증가시킬 것이다.

더 차가운 데이터는 계속 하락할 것이다. 번스타인은 AI로 인한 데이터 증가가 이미 HDD에 혜택을 주기 시작했으며, 일부 시나리오에서는 NAND와 HDD 용량 부족으로 인해 전통적으로 주로 아카이빙에 사용되던 테이프 수요도 증가하고 있다고 밝혔다.

보고서는 삼성전자, SK하이닉스, 마이크론, 샌디스크, 시게이트, 웨스턴디지털에 대해 계속 '시장 상회' 등급을 부여했다. 이 중 삼성전자, SK하이닉스, 마이크론은 DRAM 및 HBM에 해당하고, 샌디스크는 NAND와 HBF의 수혜를 받으며, 시게이트와 웨스턴디지털은 더 낮은 비용의 대용량 스토리지에 해당한다. 키옥시아는 '시장 하회'로 평가받았다.

하지만 이 보고서의 핵심 가치는 새로운 기술 약어를 나열하는 데 있는 것이 아니라, AI 스토리지 시장의 경계를 재정의하는 데 있다.

훈련 시대의 병목 현상은 주로 GPU와 HBM에 집중되어 있었다. 추론 및 에이전트 시대에는 병목 현상이 전체 메모리 시스템으로 확산되기 시작했다. 미래 AI 인프라 경쟁은 칩이 얼마나 빠르게 연산할 수 있는지에 달려 있을 뿐만 아니라, 데이터가 충분히 낮은 비용으로 HBM, DRAM, NAND 및 공유 스토리지 간에 효율적으로 흐를 수 있는지에도 달려 있다.

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia