IOSG: 핫 스토리지에서 콜드 메모리로, AI 시대 스토리지 열풍 속의 탈중앙화 스토리지

원문 제목: 《IOSG｜핫 스토리지에서 콜드 메모리로: AI 시대 스토리지 열풍 속 탈중앙화 스토리지》
원문 저자: Jacob Zhao, IOSG Ventures

최근 '국산 스토리지 1호주' 창신 스토리지가 공식적으로 차이넥스트 시장에 상장하며, 무려 500% 폭등이라는 놀라운 성과로 시장을 뒤흔들었다. 최근 스토리지 섹터 전반이 여전히 조정 여파에 흔들리고 있지만, AI 스토리지는 현재의 기술 서사 속에서 자본의 광적인 재평가를 받고 있다. 동시에 Web3 분야의 탈중앙화 스토리지는 장기간의 침체와 실망감에 빠져 있다. 왜 같은 '스토리지'라는 이름을 달고도 시장 성과는 극명하게 엇갈리는 것일까? 그 근본적인 이유는 기저 가치 함수의 완전한 분화에 있다.

AI 시대의 스토리지 재평가는 본질적으로 '핫 데이터 효율성'에 대한 향연이며, 이는 연산 자원 활용률과 상업적 수익화의 극대화를 위해 봉사한다. 반면 탈중앙화 스토리가 고수하는 것은 '콜드 데이터 신뢰성'이라는 가치 제안으로, 데이터의 공정성, 검열 저항성, 그리고 인류 문명의 장기적 기억을 수호한다. 전자는 핫 데이터의 효율 시스템이고, 후자는 콜드 데이터의 신뢰 시스템이다. 현재 자본 시장은 분명히 '효율성' 편에 단호히 서 있지만, 인류 문명은 결국 변조 불가능한 기억의 기반을 필요로 한다. 신뢰할 수 있는 콜드 스토리지의 장기적 가치는 결코 사라지지 않았으며, 단지 주기의 어두운 면에 숨어 시대의 재평가를 기다리고 있을 뿐이다.

스토리지가 왜 다시 AI 산업 체인의 초점이 되었나

전통적인 IT 시대에서 스토리지는 '용량 비즈니스'였다. 기업 CIO는 단위 용량 비용, 하드디스크 신뢰성, 재해 복구 방안, 아카이빙 전략, 그리고 3~5년의 장비 업데이트 주기에 주목했다. 스토리지는 서버 구매를 따라가는 부속품으로 간주되었다.

이번 스토리지 열풍은 전통적인 주기 회복이 아니라, AI가 데이터 흐름 능력을 재평가한 결과다. 대규모 언어 모델 시대에서 스토리지 논리는 '용량 우선'에서 '효율성 최우선'으로 질적 변화를 겪었으며, GPU 공급률, 체크포인트 쓰기, RAG의 극저지연 등 한계 지표를 극한으로 추구한다. 이는 스토리지 가치가 '데이터의 최종 주차장'에서 '데이터가 연산으로 진입하는 고속 채널'로 도약했음을 의미한다.

AI 인프라의 자원 병목 현상 진화는 본질적으로 '목재 통 효과'를 메우는 싸움이다. 연산의 실제 활용률은 단일 자산의 선형적 합산이 아니라 엄격한 승수 효과에 의해 결정된다: 연산 실제 활용률 = GPU × HBM × DRAM × SSD × 네트워크 × 파일 시스템, 이 중 어느 하나라도 약점이 있으면 전체 연산 활용률이 붕괴된다. AI 시대에서 스토리지는 처음으로 '비용 센터'에서 '효율성 엔진'으로 변모했다. 이것이 스토리지가 재평가되는 근본적인 논리다.

AI 스토리지 아키텍처 전망: HBM 대역폭 기관부터 데이터 레이크 기반까지

AI 스토리지는 단순히 단일 하드웨어를 쌓아 올린 것이 아니라, 긴밀하게 결합되고 계층적으로 스케줄링되는 복잡한 시스템입니다. 이 시스템에서 산업적 가치와 자본의 초점은 HBM, 엔터프라이즈 SSD, SSD 컨트롤러, NVMe/CXL 프로토콜 및 고성능 스토리지 시스템에 집중됩니다. 가치 흐름을 명확히 분석하기 위해 AI 스토리지 아키텍처를 상위에서 하위로 네 가지 핵심 계층으로 나눕니다:

· 컴퓨팅 근접 메모리 계층(대역폭 핵심): HBM이 절대적인 주력이며, DRAM 및 CXL 메모리 풀링 기술이 보조합니다. 이 계층은 GPU/CPU 패키지 또는 버스에 직접 연결되어 '메모리 벽'을 허물기 위한 첫 번째 관문으로, 연산 능력이 완전히 발휘될 수 있는지 여부를 결정합니다.

· 고속 영구 저장 계층(IO 허브): 핵심 로직은 엔터프라이즈 SSD = NAND 입자 + SSD 컨트롤러 + NVMe/PCIe 데이터 경로입니다. 이 계층은 빈번한 Checkpoint 쓰기, 대규모 훈련 데이터 세트 로드 및 RAG 핫 데이터 캐싱을 처리하며, AI 데이터 센터에서 가장 명확한 영구 저장 증분입니다.

· 저비용 대용량 저장 계층(용량 기반): HDD, 콜드 스토리지 및 데이터 레이크 아카이브 시스템으로 구성됩니다. 기하급수적으로 증가하는 멀티모달 원시 데이터, 히스토리 로그 및 규정 준수 백업에 직면하여 이 계층은 여전히 대체 불가능한 TCO(총 소유 비용) 이점을 제공합니다.

· AI 스토리지 시스템 및 데이터 소프트웨어(스케줄링 두뇌): 고성능 병렬 파일 시스템, 분산 객체 스토리지, 벡터 데이터베이스 및 RAG 데이터 거버넌스 계층을 포함합니다. AI가 실제로 소비하는 것은 베어 하드웨어가 아니라, 소프트웨어 스택에 의해 효율적으로 구성되고 인덱싱되며 권한이 부여된 데이터 가용성입니다.

· 생태계 확장으로서, 탈중앙화 스토리지는 AI 핫 데이터의 밀리초 단위 경쟁에 직접 개입하지 않고, 공공 데이터 세트 증명, AI 훈련 데이터 출처(Provenance) 및 장기 콜드 메모리 아카이빙에 초점을 맞추어 '신뢰할 수 있는 콜드 레이어'로서의 독특한 생태적 위치를 확립했습니다.

HBM: AI 스토리지 체인에서 연산 능력에 가장 가까운 '대역폭 기관'

고대역폭 메모리(HBM)는 전통적인 스토리지가 아니라, GPU 근처의 고대역폭 메모리 계층입니다. 핵심 임무는 데이터를 저장하는 것이 아니라, 매우 높은 대역폭으로 연산 능력에 지속적으로 데이터를 '공급'하는 것입니다. HBM은 AI 스토리지 체인에서 연산 능력에 가장 가깝고 확실성이 가장 높은 부분으로, GPU가 '포화'될 수 있는지 직접 결정하며, 현재 가장 핵심적인 공급망 병목 현상입니다.

HBM의 핵심 아키텍처는 '3D DRAM 적층 + 2.5D 고급 패키징'입니다. TSV 수직 적층과 CoWoS 이종 집적을 통해 저장-연산 거리를 극한으로 압축하여 대역폭의 세대 차이 수준 도약을 실현합니다. 그 산업 장벽은 단순한 DRAM 설계가 아니라 DRAM 공정, TSV, 초박형 적층, 패키징, 방열, 테스트 및 고객 인증을 아우르는 시스템 엔지니어링입니다. 어느 한 단계에서라도 수율 결함이 발생하면 전체 HBM Stack이 폐기됩니다.

현재 전 세계적으로 SK하이닉스, 삼성, 마이크론 세 거대 기업만이 안정적으로 양산할 수 있으며, 최고 수준의 DRAM 공정, 패키징 역량, 그리고 NVIDIA/AMD 고객 인증이라는 삼중 해자를 구축하고 있습니다.

DRAM과 CXL: 시스템 메모리 기반과 메모리 풀링 엔진

HBM은 GPU 근접 한계 대역폭을 해결하고, DRAM은 서버 시스템 메모리 기반을 강화하며, CXL은 물리적 경계를 허물고 데이터센터 메모리 리소스의 구성 방식을 재구축하려 합니다.

· DRAM: 주로 CPU 측 캐시, 데이터 전처리, 중간 상태 임시 저장 및 시스템 실행을 담당하며, 서버의 가장 기본적인 시스템 메모리 계층입니다. 글로벌 DRAM 시장은 SK하이닉스, 삼성, 마이크론 세 거대 기업에 고도로 집중되어 있으며, 창신메모리(CXMT)는 중국 DRAM 국산화 대체의 핵심 변수입니다.

· CXL(Compute Express Link): 데이터센터를 위한 차세대 캐시 일관성 상호 연결 프로토콜로, 기존 DIMM 슬롯, 로컬 메모리 용량 및 서버 메모리 리소스 고립의 한계를 돌파하고 메모리 아키텍처를 확장, 풀링 및 공유 방향으로 발전시키는 것을 목표로 합니다. 현재 CXL은 플랫폼 지원 단계에서 대규모 배포 단계로 나아가는 초기 단계에 있으며, 중장기적 아키텍처 가치가 높습니다. 핵심 기업으로는 Astera Labs와 란치 테크놀로지가 있습니다.

엔터프라이즈 SSD: NAND, 컨트롤러 및 NVMe로 구축된 데이터 허브

엔터프라이즈 SSD는 AI 데이터센터에서 가장 핵심적인 고처리량 영구 저장 계층으로, 매우 높은 처리량, 극도로 낮은 지연 시간 및 안정적인 QoS를 통해 데이터를 지속적으로 GPU에 '공급'하며, 훈련 데이터 로딩, 체크포인트 쓰기, RAG 검색, 추론 캐싱 및 로그 반환 등 전체 수명 주기에 걸쳐 사용됩니다.

AI 스토리지 아키텍처에서 SSD는 단순한 하드웨어가 아니라 고도로 결합된 시스템으로, 산업 공식으로 정리할 수 있습니다: 엔터프라이즈 SSD = NAND 플래시 + SSD 컨트롤러 + NVMe/PCIe 데이터 경로. 세 계층은 독립적인 산업 체인 단계를 나타냅니다:

· NAND 플래시(원자재 계층): 저장 밀도와 단위 비용을 결정하며, 컨트롤러는 성능 발휘와 수명 관리를 제어합니다. 대표 기업: Samsung, SK hynix(Solidigm), Micron, Kioxia, Western Digital, 长江存储

· SSD 컨트롤러(성능 강화 계층): 성능 발휘, 데이터 오류 수정, QoS 안정성 및 웨어 레벨링을 결정합니다. 대표 기업: Phison(群联), Silicon Motion(慧荣), Marvell, Maxio(联芸).

· NVMe/PCIe(데이터 경로 계층): 저장소에서 컴퓨팅으로의 데이터 전송 효율성을 결정합니다. GPUDirect Storage 기술과 결합하여 CPU 메모리 바운스 버퍼와 CPU 개입을 줄여 I/O 병목 현상을 크게 완화합니다. 대표 기업: Broadcom, Marvell, Astera Labs

HDD / 콜드 스토리지 / 아카이브: AI 데이터 레이크의 저비용 기반

AI가 HDD를 없애지는 않습니다. 멀티모달 대규모 모델이 비디오와 이미지 데이터에 대한 갈망, 그리고 기업 규정 준수 로그와 과거 데이터셋의 기하급수적 증가로 인해 저비용 콜드 데이터 저장 수요가 동시에 폭발적으로 증가하고 있습니다. AI 스토리지 아키텍처에서 SSD와 HDD는 비즈니스 가치에 따라 계층적으로 협력합니다: SSD는 핫 데이터와 높은 처리량을 담당하고, HDD는 저비용과 장기 보존을 담당합니다. 대표 기업: Seagate, Western Digital, Toshiba.

AI 스토리지 소프트웨어 스택: 데이터 가용성의 스케줄링 허브

AI가 실제로 소비하는 것은 결코 베어 디스크가 아니라, 소프트웨어 스택에 의해 정밀하게 조직된 '데이터 서비스'입니다. 이 아키텍처는 하위 계층 하드웨어를 상위 계층 AI가 직접 호출할 수 있는 지식 자산으로 변환하며, 구체적으로 네 가지 계층으로 나뉩니다:

· 고성능 스토리지 시스템(공급 시스템): 동시 처리량과 낮은 지연 시간을 핵심으로 하며, 병렬 파일 시스템을 통해 GPU 클러스터의 '데이터 기아' 문제를 해결하고 훈련 및 추론의 초고속 흐름을 보장합니다. 대표 기업: VAST Data, WEKA, Pure Storage.

· 객체 스토리지 (원시 데이터 레이크): Object, Key 및 Metadata 관리를 핵심으로 하여 방대한 비정형 데이터를 수용합니다. 극한의 저지연성을 추구하지 않으며, 저비용과 클라우드 네이티브 특성을 통해 용량 기반을 구축합니다. 대표 기업: AWS S3

· 벡터 데이터베이스 (의미 인덱스 계층): 벡터 데이터베이스는 임베딩 모델이 생성한 벡터를 저장, 인덱싱 및 검색하여 AI가 방대한 지식에서 정확하게 관련 콘텐츠를 찾을 수 있도록 합니다. 대표 기업: Pinecone, Milvus

· RAG 데이터 계층 (지식 호출 계층): 단순 검색을 넘어 데이터 슬라이싱, 정제, 권한 제어 및 인용 추적을 포함하여 기업 데이터가 대규모 언어 모델에 의해 안전하고 정확하며 추적 가능하게 호출될 수 있도록 보장합니다. 대표 기업: Databricks

AI 핫 스토리지에서 탈중앙화 콜드 메모리로: 효율성 극대화 vs 신뢰성 극대화

AI 스토리지는 극한의 효율성 중심 시스템으로, 그 가치 함수는 컴퓨팅 출력을 극대화하는 데 초점을 맞춥니다. HBM 대역폭은 GPU가 충분히 활용될 수 있는지를 결정하고, SSD 처리량은 데이터셋과 체크포인트의 읽기/쓰기 효율을 결정하며, 저지연성은 RAG와 추론의 실시간 경험에 영향을 미칩니다. 이러한 지표는 궁극적으로 GPU 활용률과 단위 토큰 비용으로 수렴되어 AI 애플리케이션의 비즈니스 손익을 직접 결정합니다. AI 스토리지의 궁극적인 목표는 보존이 아닌 가속화이며, 그 서비스 대상은 생산성입니다.

반면, 탈중앙화 스토리지의 가치 함수는 완전히 다릅니다. 이는 데이터가 10년 후에도 여전히 존재하는지, 변조되지 않았는지, 단일 지점 검열을 견딜 수 있는지를 묻습니다. 암호학적 증명과 분산 네트워크를 통해 개방형 액세스와 영구 보존이 가능한 공공 데이터 기반을 구축합니다. 그 궁극적인 목표는 데이터의 절대적 진실성과 주권적 독립성을 수호하는 것이며, 공정성, 검열 저항 요구 및 문명의 기억을 위해 봉사합니다.

AI 스토리지는 미래 생산성에 연료를 공급하는 '핫 스토리지'이고, 탈중앙화 스토리지는 인류 문명을 위해 삭제 불가능한 역사 기록을 보존하는 '콜드 메모리'입니다. 전자는 효율성을 위해 극한의 속도를 추구하고, 후자는 신뢰성을 위해 침묵하는 기억을 수호합니다. 전자는 모델이 얼마나 빠르게 실행되는지를 결정하고, 후자는 기억이 삭제될지 여부를 결정합니다. 현재 시장 메커니즘은 생산성의 효율성에 보상하며, AI 스토리지는 최전선에 있지만, 탈중앙화 스토리지는 가치 평가 붕괴와 내러티브 약화의 침묵을 겪고 있는 것으로 보입니다.

탈중앙화 스토리지의 비전과 현실

탈중앙화 스토리지 프로젝트는 많지만, 업계의 인식과 생태계 축적을 고려할 때 핵심 대표주자는 항상 Filecoin과 Arweave입니다. 둘 다 '탈중앙화 스토리지'에 속하지만, 기본 아키텍처 철학은 거의 완전히 다른 두 가지 경로를 따릅니다. 전자는 시장 기반 계약을 통해 AWS의 탄력성에 접근하고, 후자는 일회성 사회적 계약을 통해 도서관의 영속성에 접근합니다.

· Filecoin: PoRep과 PoSt를 통해 가장 완벽한 검증 가능한 경제 시스템을 구축했습니다. 더 이상 소비자용 클라우드 스토리지에서 AWS와 경쟁하기보다는 AI 데이터 출처 추적(Provenance), 공공 데이터 세트 호스팅 및 규정 준수 아카이빙으로 전환하여 모델 감사 및 저작권 증명을 위한 검증 가능한 체인을 제공해야 합니다. 필수 경로는 S3 호환 API로 패키징되고 법정화폐 결제를 지원하여 '저렴한 스토리지 시장'에서 '검증 가능한 컴퓨팅 인프라'로 업그레이드하는 것입니다.

· Arweave: '한 번 지불, 영구 저장'이라는 내러티브를 통해 Blockweave 및 SPoRA 메커니즘을 활용하여 채굴자들이 가능한 한 많은, 특히 희소한 과거 데이터를 저장하고 빠르게 액세스하도록 유도합니다. 최적의 위치는 인류의 공공 기억 기반입니다. 인권 기록, 전쟁 범죄 증거, 문화 고전을 보존하고, 법률 및 금융 역사를 아카이빙하며, AI 에이전트에게 영구적으로 액세스 가능한 장기 기억을 제공합니다. Arweave의 가치는 속도가 아니라 사이클을 초월하는 문명 기억의 저장 능력에 있습니다.

Filecoin, Arweave 등 탈중앙화 스토리지 프로젝트의 어려움은 가치 제안이 잘못되었기 때문이 아니라, 제품화, 검색 경험, 실제 수요 및 토큰 인센티브 간의 장기적인 불일치에 있습니다. 이는 극도의 기술적 이념에서 주류 상업적 응용 프로그램으로의 거대한 격차를 드러냅니다:

· 수요-공급 인센티브 불일치: Filecoin으로 대표되는 초기 네트워크는 토큰을 통해 빠르게 확장되었지만, 충분히 강력한 유료 수요 측면을 구축하지 못하여 용량은 막대하지만 활용률과 유료 전환율이 낮습니다. '저장할 수 있다'에 보상하고 '저장해야 한다'에는 보상하지 않습니다.

· 엔터프라이즈급 서비스 역량 부족: AWS의 진입 장벽은 하드 드라이브가 아니라 API, SLA, 권한 관리, 규정 준수 감사 및 기술 지원으로 구성된 '데이터 운영 체제'입니다. 기업은 '안심'을 구매하는 것이지, 키와 노드 선택을 직접 처리해야 하는 실험적인 인프라를 구매하는 것이 아닙니다.

· 검색 경험의 한계: '저장하는 것'은 '안정적이고 지연 시간이 짧게 꺼내는 것'과 같지 않습니다. 노드 분산, 토폴로지 복잡성, 통일된 SLA 부재로 인해 AI 핫 데이터 워크플로우를 처리하기 어렵고, 신뢰할 수 있는 콜드 아카이빙 및 데이터 출처 추적에 더 적합합니다.

· 프라이버시 규정 준수 부족: 기업의 프라이빗 데이터를 공개 영구 네트워크에 단순히 기록할 수 없으며, 삭제 권리와 영구 불변성 사이에는 본질적인 충돌이 존재합니다. 탈중앙화 스토리지는 핵심 프라이빗 데이터를 무차별적으로 수용하기보다는 공공 데이터와 장기 아카이브에 더 적합합니다.

· 토큰 경제의 주기 증폭: 강세장에서는 금융화가 수요 부족을 가리고, 약세장에서는 채굴자의 ROI 하락이 상업화의 한계를 드러냅니다. 토큰은 공급을 콜드 스타트할 수 있지만, 수요와 지속 가능한 수익을 자동으로 창출하지는 못합니다.

한편, 다른 탈중앙화 스토리지 프로젝트들은 주로 특정 생태계나 세부 분야에 집중하고 있습니다: Storj/Sia는 Filecoin/Arweave에 비해 업계 인지도와 Web3 내러티브 영향력이 약합니다; BNB Greenfield/Walrus는 BNB 또는 SUI의 특정 퍼블릭 체인 생태계에 종속됩니다; Celestia/EigenDA 등은 데이터 가용성(DA) 레이어로, 장기 아카이브보다는 Rollup 트랜잭션 확인을 지원합니다; 0G와 같은 AI/DA 혼합 내러티브 프로젝트는 스토리지, 데이터 가용성, 컴퓨팅 및 AI 에이전트 결제를 하나의 AI 네이티브 모듈형 인프라로 통합하려 하지만, 실제 수요, 개발자 채택 및 상업화 완결성은 여전히 검증이 필요합니다.

탈중앙화 스토리지의 미래 기회: 효율성과 신뢰성 사이의 장기적 진자

기술적 호황기에는 자본이 효율성에 열광하며 GPU, HBM 등의 자산에 높은 프리미엄이 부여되고, '신뢰성과 공정성'을 주장하는 탈중앙화 스토리지는 자연스럽게 소외됩니다. 그러나 역사의 진자는 영원히 효율성 쪽에 머물지 않습니다. 슈퍼 플랫폼의 불합리한 차단 및 콘텐츠 삭제, AI 저작권 소송 폭발로 인한 데이터 출처 증명 필요성, 지정학적 갈등으로 인한 데이터 주권 쟁탈, 데이터 독점으로 인한 공공 아카이브 소멸, 그리고 규제 당국의 모델 훈련 데이터 규정 준수 감사 압력 등과 같은 사건들은 '신뢰할 수 있는 스토리지'의 재평가를 촉발할 수 있으며, 탈중앙화 스토리지의 미래 기회는 여전히 다음과 같은 방향에서 독특한 가치를 발휘할 가능성이 있습니다:

· AI 데이터 출처(Provenance): 암호학적 증명과 결합하여 '데이터 혈통 증명'을 구축하고, 규제 및 감사 압력에 대응합니다.

· 공공 데이터셋 및 문명 아카이브: 검열된 아카이브와 문화 유산을 고정하여 대체 불가능하고 삭제 불가능한 기억을 구축합니다.

· 신뢰할 수 있는 아카이브 및 규정 준수 증명: 해시 증명을 통해 신뢰할 수 있는 자체 증명을 실현하고, 높은 수준의 디지털 공증을 제공합니다.

· ZK/TEE/DID 기술 융합: 프라이버시 긴장을 해소하고, 단순한 '스토리지 프로토콜'에서 '신뢰할 수 있는 데이터 인프라'로 업그레이드합니다.

· 투명화된 제품 로드맵: S3 호환 API와 법정화폐 기반 과금을 제공하여 사용자가 직접 '신뢰할 수 있는 아카이빙' 서비스를 구매할 수 있도록 합니다.

AI 스토리지와 탈중앙화 스토리지, 하나는 극한의 효율성을 추구하며 미래를 향해 나아갈 연료를 제공하고, 다른 하나는 침묵하는 기억을 수호하며 과거를 되돌아볼 권리를 지킵니다. 현재 시장은 효율성에 아낌없이 보상하며, 이에 따라 탈중앙화 스토리지는 고요하고 심지어 붕괴된 듯 보입니다. 하지만 AI 시대가 데이터 독점, 저작권 분쟁, 역사적 기억의 취약성을 더욱 부각시킬 때, 탈중앙화 스토리지는 '신뢰할 수 있는 콜드 레이어'로서 가치 재평가를 맞이할 수 있습니다. 플랫폼, 기업 또는 어떤 단일 권력에 의해 쉽게 지워질 수 없는 그 기억들은 이상주의적 낭만에서, 주변부 신념에서 필수 인프라로 거듭날지도 모릅니다.

원문 링크

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia