원문 제목: DeepSeek의 10조 달러 대규모 전략
원문 작성자: @bookwormengr
번역: Peggy, BlockBeats

에디터 주: 지난 1년 동안 DeepSeek에 대한 토론은 주로 모델 성능, 오픈 소스 전략 및 가격 전쟁에 집중되었습니다. 그러나 DeepSeek를 "구독을 판매할 것인가", "다중 모달이 있는가", "코딩 에이전트를 만들 수 있는가"로만 이해한다면, 실제로 변화하려는 것을 과소평가할 수 있습니다.

본문은 더 공격적인 판단을 제시합니다: DeepSeek의 목표는 단기적인 응용프로그램 계층 이윤 실현이 아니라 일련의 기본적인 아키텍처 혁신을 통해 AI 훈련과 추론의 비용 구조를 재구성하고 새로운 하드웨어 생태계 형성을 간접적으로 촉진하는 것입니다. MoE, MLA부터 DSA, CSA, mHC, Engram, Dual Path, TileLang으로 이어지는 DeepSeek의 기술적 추진력은 항상 핵심적인 문제에 초점을 맞추고 있습니다: HBM, 첨단 프로세스, 패키징 및 CUDA 생태계가 모두 제약을 받는 상황에서, 더 높은 엔드 알고리즘 성능을 내기 위해 더 적은 하이엔드 컴퓨팅 자원을 어떻게 사용할 것인가.

가장 주목할만한 점은 "DeepSeek가 API 또는 구독을 통해 몇 억 달러를 벌어낼 수 있는가"가 아니라, 모델 능력, 메모리 시스템 및 국산 하드웨어 생태계를 결합하고 있는지 여부입니다. KV 캐시 압축은 HBM에 대한 의존성을 줄이고, NAND 및 SSD는 장기 캐시를 맡을 수 있으며, LPDDR은 가중치를 스트리밍하고 Engram 저장에 사용될 수 있으며, TileLang은 CUDA 생태계를 약화하려고 합니다. 이러한 혁신적인 기술이 계속 보급되면 DeepSeek 자체뿐만 아니라 스토리지, ASIC, GPU, 네트워크 칩 및 전체 AI 인프라 생태계가 이익을 얻게 됩니다.

물론, "10조 달러 산업 생태계" 및 "1조 달러 평가"에 대한 글에서는 강한 추론이 여전히 존재합니다. 그러나 이는 DeepSeek를 이해하는 중요한 루트를 제시합니다: 오픈 소스는 반드시 상업화를 포기한다는 의미가 아니며, 저렴한 가격은 단순히 시장 보조만을 의미하지는 않습니다. DeepSeek에게 진정한 비즈니스는 응용 프로그램 계층이 아닌 더 많은 하드웨어를 이용할 수 있게 하고, 더 낮은 비용의 AI 공급을 가능하게 하는 데 있습니다. 다시 말해, DeepSeek가 판매하는 것은 모델 그 자체가 아니라 차세대 AI 인프라의 실현 가능성입니다.

원문은 다음과 같습니다:

당신은 DeepSeek가 돈을 어떻게 벌고, 많은 돈을 벌 수 있는지에 대해 고민해 보셨나요?

GLM, MoonShot 및 MiniMax와 같은 경쟁력 있는 프로그래밍 구독 계획을 시작하지 않았으며, 다중 모드, 오디오, 비디오 모델도 출시하지 않았습니다. 지금까지 자체 harness조차 갖추지 않았으며, 모델 호출, 도구 접근 및 작업 실행을 위한 외부 실행 프레임워크인 harness도 아직 구축하지 않았습니다. 하지만 최근 해당 분야 채용을 시작하여 이러한 시스템을 구축할 준비를 하고 있습니다.

동시에 DeepSeek는 오래 전부터 오픈 소스 측면을 굳게 지키고 있으며, 자사의 "비밀"을 공개적으로 공유하는 것을 매우 선호합니다. 이것이 미친 짓이 아니라고요? 돈이 아낀다는 건 아니지 않은가요? 그에게 100 억 달러 투자할 예정인 투자자들은 도대체 돈을 오수로 버리고 있는 건가요?

개인적으로 그 반론을 옹호합니다.

이어서, DeepSeek가 지금까지 한 일을 기반으로 관찰과 DeepSeek가 따르는 전략 세트를 분석하겠습니다. DeepSeek CEO 량문풍의 목표는 현재의 모델 경쟁 이상을 넘어선 곳에 있을 수 있습니다. 그는 더 큰 상을 노리는 것일지도 모릅니다: DeepSeek는 1조 달러 가치를 노리며, 동시에 10조 달러 규모의 새로운 산업 형성을 주도할 기회를 갖고 있습니다.

DeepSeek의 최근 자금 조달에 관한 TechInAsia의 보도

DeepSeek의 "영웅 여정" 다시 생각하기

DeepSeek는 계속해서 역풍을 겪어왔습니다. 약간 더 강력한 모델을 계속해서 출시하여 그들을 즉시 상업화 가능한 애플리케이션으로 포장하려는 급한 마음을 부리는 방식을 선택하지 않았습니다. 2025년 1월 27일, 나는 DeepSeek의 "영웅 여정"에 관한 광범위한 트윗을 게시했었습니다. 지금은 이야기가 더욱 흥미롭게 변해 있습니다.

다른 사람들이 밀집 모델을 만들려고 노력하던 시기에 DeepSeek는 더 어려운 전문가 혼합 모델(MoE)로 훈련하는 길을 택했습니다.

그들은 "일차원적 원리" 접근법을 채택하여, 당시 주류지만 실행 비용이 더 높은 PPO 강화 학습 알고리즘을 대체하기 위한 새로운 GRPO 알고리즘을 발명했습니다.

그들은 검증된 보상에 기반한 강화 학습(Reinforcement Learning from Verified Rewards, RLVR)이 모델 추론 능력을 향상시키는 핵심 전략임을 발견했습니다.

그들은 또한 "다중 토큰 예측"을 통해 간단한 디코딩 전략을 제안했으며, 이로 인해 교육 신호가 보다 밀집되었습니다.

그들은 한정된 GPU 자원을 활용하기 위해 "제로 버블" 파이프라인을 개선했습니다.

그들은 MoE 모델을 보다 쉽게 배포할 수 있도록 전문가 로드 밸런서를 출시했습니다. 특히 "와이드 전문가 병렬" 전략을 통해 모델은 더 큰 배치로 서비스를 제공할 수 있어 추론 비용이 크게 감소합니다.

그들은 KV Cache 수요를 감소시키고 컨텍스트 길이 증가에 따라 증가하는 계산 요구 사항을 거의 일정하게 유지하기 위해 MLA, DSA, CSA, HCA 등의 메커니즘을 개발했습니다.

그들은 Engram을 발명하여 메모리를 효율적으로 사용했습니다.

그들은 또한 모델 규모를 확장할 때에도 안정적인 교육을 보장하는 mHC를 발명했습니다. 비슷한 예가 많이 있습니다.

가장 보편적인 서술 구조인 "영웅의 여행"에서 영웅은 항상 처음에 자신의 여정이 어디로 향하는지 결정하지 않습니다. 그는 학습을 통해 진정한 위대한 사명을 발견하고 막다른을 극복하며 이를 완수합니다. 그는 많은 의심하는 자들을 만날 것이지만 그들을 무시하기로 선택합니다. 그는 악의적인 행동자들을 만날 것입니다. 그에게는 명백한 결함이 있지만 결국 이러한 문제를 극복하고 자신의 사명을 완수할 것입니다. 그는 극복하기 어려워 보이는 도전에 직면하겠지만 동맹을 찾고 제한적이고 귀중한 자원을 지혜롭게 사용하는 방법을 깨닫습니다. 이것이 관중들이 영웅을 응원하고자 하는 이유입니다. 이것은 DeepSeek가 추종자들을 확보하고 세계적인 존경과 반대를 받는 이유입니다.

내가 자세히 설명하겠지만, DeepSeek는 이미 오래 전부터 이 길을 걸어왔으며, 자신의 궁극적인 운명을 발견해왔습니다: 그것의 목표는 프로그래밍 구독 서비스를 판매하는 것이 아니라 1 조 달러의 AI 하드웨어 생태계를 주도하고 1 조 달러 가치의 가치를 실현하는 것입니다. 이 과정에서 서양 하드웨어 생태계에 많은 새로운 참가자에게 기회를 제공할 것입니다.

일단 몇 가지 흥미로운 KV Cache 계산부터 시작해 보겠습니다

최근 @SemiAnalysis_의 매우 적시적인 트윗을 살펴보십시오:

DeepSeek는이 문제를 해결하는 데 더 많은 것을 달성했습니다!

먼저 재미있는 KV Cache 계산을해 봅시다. 수학을 좋아하지 않더라도 걱정하지 마세요. 최근에 출시된 KV Cache 계산기를 사용하여 DeepSeek V4 Pro가 얼마나 많은 KV Cache를 절약할 수 있는지 살펴보고 최신 GLM 및 Qwen 모델과 비교하겠습니다.

여기서 제가 100만 컨텍스트 길이로 계산하고 KV 정밀도가 8비트이며 인덱서 정밀도가 16비트라고 가정합니다. 아래 계산기를 직접 열어서 시도해 볼 수도 있습니다: https://kvcache.ai/tools/kv-cache-calculator/

계산기를 직접 열어 시도해 볼 수도 있습니다!

100만 컨텍스트 길이에서:

·DeepSeek V4는 5.48GB HBM만 필요합니다;
·GLM-5는 60GB HBM이 필요합니다;
·Qwen3-235B-A22B는 최대 89GB HBM이 필요합니다.

주의해야 할 점은:

·DeepSeek는 1조 6천억 매개변수 모델입니다;
·GLM-5는 약 7000억 매개변수를 가지고 있으며 이미 DeepSeek의 MLA 및 DSA를 채택했지만 아직 최신 압축 주의 메커니즘을 사용하지 않았습니다;
·Qwen3-235B-A22B는 약 2350억 매개변수를 가지고 있으며 GQA 주의 메커니즘을 사용했습니다.

DeepSeek는 메모리 압력 완화 측면에서 기본적인 기여를했습니다. 이러한 혁신이 널리 채택되면 장기 주기 에이전트의 운영 비용이 크게 절감되며 새로운 응용 프로그램 시나리오가 해제될 것입니다.

100만 토큰 컨텍스트 및 모델 크기에서의 KV Cache 사용 비교

「미쳐」 뒤의 방법론

KV Cache 용량이 이토록 작으면서도 모델 품질을 희생하지 않는 이유는 DeepSeek가 매우 낮은 비용으로 긴 시간 캐시를 제공할 수 있는 이유입니다. 그 가격은 심지어 Sonnet 4.6 캐시 맞춤 가격의 3%에 불과하며 DeepSeek는 캐시를 수십 시간 유지할 수 있습니다.

장기 주기 작업의 경우 더 작은 KV 캐시는 SSD로 효율적으로 언로드하고 필요시 다시로드할 수 있음을 의미합니다. 이렇게 함으로써 HBM에 대한 의존도를 줄일 수 있습니다. 중국 AI 하드웨어 산업의 관점에서 보면, HBM은 공급 부족뿐만 아니라 가장 어려운 메모리 유형 중 하나입니다.

또한, DeepSeek는 SSD로부터 더 빠르게 KV 캐시를로드하는 기술을 개발했으며, 이는 그들의 Dual Path 논문에서 이미 설명되어 있습니다.

DeepSeek V4는 KV 캐시의 압축 비율이 매우 크기 때문에이 단계가 더 이상 필요하지 않을 수도 있습니다.

그렇다면, KV 캐시 압축의 가장 직접적인 수혜자는 누구인가요?

대규모 SSD 공급 업체는 누구인가요? YMTC(Changjiang Storage)가 3D NAND 분야의 거물로 성장하고 있음을 기억해야 합니다. NAND는 DeepSeek가 KV를 중복 계산하는 것을 피하는 데 도움이 될 수 있습니다. 그 반대로, DeepSeek는 NAND 및 SSD에 대한 거대한 시장을 만들어내었으며, 이는 창강저장소뿐만 아니라 다른 연관 업체에게도 혜택을 줄 것입니다.

그러나, 이것은 NAND 및 SSD에만 영향을 미치는 것은 아닙니다.

LPDDR 메모리도 큰 잠재력을 가지고 있습니다. 모델 가중치를 저장하는 장소로 사용될 수 있으며, 필요할 때 이러한 가중치를 HBM으로 스트리밍하여 HBM에 대한 수요 압력을 완화할 수 있습니다. SGLang 팀은 이에 대해 좋은 블로그를 게시했습니다. 다음 그림은이 솔루션의 작동 방식을 보여줍니다.

DeepSeek가이 솔루션에 대해 특별히 설계한 것은 아니지만, MoE 아키텍처, 상당한 전문가 모델 보유, 그리고 4비트 가중치 특성으로 이 솔루션이 보다 쉽게 실현될 수 있습니다.

이 그림은 메모리가 어떻게 사용될 수 있고, 모델 가중치가 LPDDR에서 HBM으로 스트리밍되는 방식을 보여줍니다. SGLang의 그 블로그를 읽는 것을 강력히 권장합니다.

이 혁신적인 방법이 매우 콤팩트하고 손실이 없는 KV 캐시와 결합되면 HBM에 대한 수요가 크게 줄어들 것입니다.

그렇다면, 중국에서 누가 LPDDR를 생산하고 있나요? 대답은 CXMT, 즉 ChangXin Memory Tech입니다. 그들은 LPDDR 속도에서 약 반 세대 뒤처지고, 밀도에서 한 세대 뒤처지며, 차이가 크지 않습니다.

충분한 NAND뿐만 아니라, 중국 AI 생태계는 곧 충분한 LPDDR 공급을 갖게 될 것입니다. 이것은 연산 능력의 압력을 완화할 수 있을까요? 대답은: 가능합니다. 계속 읽어보세요.

메모리 스마트 사용은 GPU / ASIC 압력을 완화할 수도 있습니다

KV Cache를 저장하기 위해 NAND를 사용하는 역할은 실제로 매우 쉽게 이해할 수 있습니다: KV Cache를 보다 오래 보유하게 함으로써 HBM에 대한 압력을 줄이고 KV Cache의 반복 계산을 피함으로써 GPU 및 ASIC의 계산 부담을 줄일 수 있습니다.

그렇다면, LPDDR도 유사한 방식으로 작용할 수 있을까요? 최적의 시점에 가중치를 HBM으로 실시간 스트리밍하는 저장소로서의 역할뿐만 아니라, 더 많은 계산 압력을 줄일 수 있을까요?

대답은: 가능합니다.

LPDDR은 Engram이라고 불리는 내용을 대량으로 저장하는 데 사용될 수 있습니다. DeepSeek의 Engram 논문에서 그들은 MoE가 모델 용량을 확장하기 위해 조건부 계산을 통해 확장될 수 있지만, Transformer 자체에는 원시적인 "지식 검색" 메커니즘이 부족하다고 지적하였습니다. 따라서, Transformer는 종종 계산을 통해 검색 프로세스를 비효율적으로 모방해야 합니다.

이 문제를 해결하기 위해, DeepSeek는 Engram 모듈을 제안했습니다. 그것은 고전적인 N-gram 임베딩을 현대화하여 해시 기반의 O(1) 검색 메커니즘으로 변형시켜, 조건부 메모리(conditional memory)라고 하는 보완적인 희소 경로를 만들어 냅니다.

이 방식은 계산을 절약할 수 있지만, 임베딩 테이블을 운반할 메모리도 필요하며, 이 테이블 자체가 매우 방대할 수 있습니다.

본질적으로 이는 "메모리 대 계산"의 전형적인 방식입니다. 그러나 중요한 통찰력은: 각 bit 데이터에 대한 읽기 비용에서 보면, "메모리" 측면은 훨씬 저렴합니다 - 한 번의 LPDDR 검색은 데이터가 완전한 Transformer의 여러 계층을 통과하여 전방 계산되는 것보다 훨씬 저렴합니다. 따라서 대규모 시나리오에서 이것은 매우 비용 효율적인 교환이 됩니다.

이것이 DeepSeek가 일부 메모리를 희생하여 계산을 절약하는 방식입니다.

희생할 가치

동등한 칩 밀도나 EUV가 없기 때문에, 중국의 GPU와 ASIC는 초기 FLOP 계산 능력에서 서양의 GPU에 장기적으로 뒤처질 가능성이 높습니다. 그들은 선진 포장 측면에서도 여전히 상당한 차이가 납니다. 그러므로, 특히 중국이 NAND와 LPDDR 메모리를 대량 생산할 수 있는 경우에는 이러한 희생이 매우 가치가 있습니다.

DeepSeek의 장기 전략 검토

이러한 혁신들을 토대로, DeepSeek의 목표는 현재 수십억 달러의 이윤을 창출하는 것 같지 않습니다. 그들이 지난에 한 많은 선택들은 이를 보여줍니다: 현재까지 멀티 모달도 없고, 음성 모델도 없으며, 비디오 모델은 아예 언급되지 않았습니다.

그들이 실제로 참여한 것은, 아마도 10조 달러에 달하는 규모의 장기 게임이었습니다: 대체 AI 하드웨어 생태계의 형성.

이것은 중국의 메모리 제조업체가 중국 심지어 전세계 인공지능 하드웨어 시장에서 주요 선수로 자리매칭하는 것만이 아닙니다. 오히려 이는 근본적으로 자원 요구를 줄이고, AI 모델의 훈련과 서비스를 보다 비용 효율적으로 만드는 것입니다. 그렇게 되면 많은 GPU 및 ASIC 제조업체 및 네트워크 칩셋 제조업체가 선택지가 될 기회를 얻을 것입니다.

동시에, 이러한 혁신은 서양의 오픈 소스 생태계와 새로운 하드웨어 제조업체에 이익을 줄 것입니다.

사실 모든 징후들은 이미 나타났습니다. DeepSeek가 지금까지 제시한 이러한 혁신들을 자세히 살펴보면어:

1. DeepSeek V2에 도입된 전문가 혼합 모델(MoE)와 MLA

DeepSeek는 V2에서 MoE와 MLA를 도입했습니다. MoE를 사용함으로써, 고성능 모델을 훈련하는 데 필요한 계산 양을 약 40%에서 50% 줄일 수 있었습니다. MLA는 KV 캐시를 90% 줄이는 데에 이바지했습니다.

이는 KV 캐시를 SSD로 오프로드하는 것이 상당히 효율적이게 만들었습니다.

이러한 아이디어들은 처음으로 2024년 5월에 발표된 DeepSeek V2 논문에서 등장했습니다. 이후에 이들은 DeepSeek V3의 훈련에 기초를 두었습니다. 그 때, DeepSeek는 성능 저하된 2048개의 H800 GPU만 사용하여, 프로프라이어타리 모델 수준의 성능을 가진 시스템을 훈련했습니다.

2、DSA：DeepSeek V3.2 Exp에서 소개되었으며 장거리 문맥 시나리오에서의 계산 비용을 줄이고 동시에 HBM 대역폭 압력을 완화하는 데 사용됩니다.

DSA의 핵심 기능은 문맥 길이의 증가에 따라 계산량이 계속 증가하지 않도록 보장하는 것입니다. 아래 차트를 참조하십시오. 문맥 길이가 증가함에 따라 DeepSeek-V3.2의 처리 시간이 거의 일정합니다.

3、mHC：DeepSeek가 2025년 12월에 "mHC: Manifold-Constrained Hyper-Connections" 논문에서 제안되었습니다.

mHC는 DeepSeek가 매크로 아키텍처 수준에서의 혁신으로 Transformer 계층 간의 정보 흐름 방식을 재설계했습니다.

과거에는 ResNet부터 모델이 일반적으로 표준 잔여 연결인 x + F(x)를 사용했습니다. 그러나 mHC는 잔여 흐름을 병렬 정보 채널로 확장하고 모델이 이러한 채널 간에 학습 가능한 혼합을 수행하도록 허용하는 방식입니다. 핵심은 혼합 행렬을 이중 무작위 행렬로 제한하는 것이며, 이를 통해 Sinkhorn-Knopp 프로젝션을 사용하여 Birkhoff 다면체 내에 제한됩니다. 이러한 방식으로 모델이 얼마나 깊게 쌓이든 신호 크기가 안정적으로 유지될 수 있도록 수학적으로 보장됩니다.

이것은 이전의 비제약 Hyper-Connections이 직면한 재앙적으로 불안정한 문제를 해결했습니다. Hyper-Connections은 처음에 바이트 댄스가 제안했지만, 제약이 없는 상황에서는 신호 증폭이 270억 개의 매개변수 규모에서 3000배로 급증하여 최종적으로 훈련이 완전히 실패했습니다.

mHC의 계산 비용은 매우 낮습니다. 실제 훈련 시간에 대략 6.7%의 추가 소요 시간을 갖고 있으며, 주의층 또는 FFN 층의 FLOP을 변경하지 않고 이러한 층의 출력 방식만 변경했기 때문입니다.

그러나 이것이 제공하는 성능 향상은 상당히 뚜렷합니다. 270억 개의 매개변수 규모에서 mHC는 BIG-Bench Hard 추론 작업에서 7.2 포인트, DROP에서 3.2 포인트, GSM8K 수학 작업에서 2.8 포인트, MMLU 일반 지식 작업에서 1.4 포인트 향상시켰습니다. 이러한 향상은 동일한 모델 규모 및 거의 동일한 계산 예산에서 달성되었습니다.

본질적으로 mHC는 네트워크에 더 풍부하고 표현력이 높은 교차 계층 정보 라우팅 토폴로지를 제공함으로써 거의 추가 FLOP을 거의 추가하지 않고도 더 높은 단위 매개 변수 지능을 달성했습니다.

mHC 는 복잡한 아키텍처 설계이지만 더 안정적인 훈련 과정과 더 높은 단위 매개 변수 지능을 제공할 수 있습니다.

4. CSA, HSA: DeepSeek는 2026 년 4 월 V4에서 도입되었습니다.

CSA 및 HSA의 목표는 KV 토큰을 압축하여 KV 캐시 요구 사항을 90% 추가로 낮추는 동시에 필요한 FLOP 수를 크게 줄여 HBM 및 GPU / ASIC 압력을 동시에 완화하는 것입니다.

5. Engram: DeepSeek는 2026 년 1 분기에 도입되었으며 본질적으로 LPDDR 메모리를 일부 사용하여 계산 효율성을 얻는 것입니다.

아래의 구체적인 차트에서 전체 매개 변수 할당이 동일한 상황에서 Engram은 뚜렷한 성능 향상을 이끌어 냈습니다.

6. Engram: DeepSeek는 2026 년 1 분기에 도입되었으며 본질적으로 LPDDR 메모리를 일부 사용하여 계산 효율성을 얻는 것입니다.

아래의 구체적인 차트에서 전체 매개 변수 할당이 동일한 상황에서 Engram은 뚜렷한 성능 향상을 이끌어 냈습니다.

이것은 DeepSeek가 하드웨어 제조업체에 공유 한 V4 논문에서 제안한 것입니다. 저는 오프라인 회의에서 그들이 더 많은 피드백을 준다고 확신합니다.

7. TileLang에 대한 투자는 또한 같은 방향을 가리킵니다. DeepSeek는 자신의 계산 능력 병목 현상뿐만 아니라 중국 하드웨어 생태계가 서양 생태계와 경쟁력을 갖도록 돕고 있습니다.

TileLang을 활용하면 개발자는 커널을 한 번만 작성하고 여러 하드웨어 플랫폼에서 성공적으로 실행할 수 있습니다. 단, 해당 플랫폼에는 해당 TileLang 백엔드 지원이 이미 구축되어 있어야 합니다.

저는 다른 중국 AI 연구소들도 차례로 참여할 것으로 예상합니다. 이는 중국 하드웨어 제조업체들이 "CUDA의 요새"에 대응하는 간접적인 방법으로 도와줄 것입니다. 동시에 AMD와 같은 서양 하드웨어의 잠재력을 해방할 것입니다.

언급할 점은 중국의 많은 AI 하드웨어 플랫폼이 이미 CUDA 호환 기능 또는 CUDA 변환층을 제공하고 있다는 것입니다. 예를 들어, 모어스레드, 무샤이, 비렌 및 톈수질인은 모두 변환층을 통해 높은 CUDA 호환성을 가진 중국의 칩 제조업체입니다. 따라서 이론적으로 그들은 TileLang이 필요하지 않을 수도 있습니다.

대규모 강화 학습과 RSI

DeepSeek가 더 많은 계산 리소스 원천, 즉 선택 가능한 하드웨어가 더 많아짐에 따라 모델 자체가 요구하는 계산 리소스가 감소함으로써, 더욱 야심찬 학습 프로젝트, 특히 강화 학습 이후 학습을 추진할 수 있게 됩니다.

강화 학습은 많은 트라젝토리를 생성해야 하며, 즉 수조 토큰을 생성해야 합니다. 이 과정은 매우 비싸게 빠르게 변할 것입니다. 더 나아가, 100만 단어 길이의 모델을 학습하려면 동일한 길이의 트라젝토리를 생성해야 합니다. 이러한 하나의 초장 트라젝토리에서만 모델을 훈련시키면 실제로 장기적인 작업을 지원할 수 있습니다.

또한, 하드웨어 옵션이 증가함에 따라 DeepSeek의 사용 가능한 하드웨어 리소스도 더 많아지게 되어, 이는 자동화된 연구를 촉진할 것입니다. 즉, RSI라고 합니다. RSI는 AI가 자체적으로 실험을 설계하고 실행하는 것을 의미합니다. 이 접근 방식은 많은 시행착오를 수반하며, 비용도 급속히 증가할 것입니다. 그러나 RSI는 전체 모델 디자인 공간을 탐색하는 데 중요합니다. AGI로 나아가고, 그 후로 ASI로 나아가기 전에 DeepSeek는 반드시 RSI 능력을 갖추어야 합니다.

DeepSeek가 오늘 수행하는 일은 내일 전업계가 따를 것입니다

DeepSeek는 전문가 혼합 모델, MLA, DSA 등을 중심으로 한 혁신을 통해 전 세계 및 중국 타 AI 실험실에서 채택되었습니다.

예를 들어, GLM 시리즈 모델의 개발자인 ZAI는 MLA와 DSA를 사용했습니다. 키미 또는 Moonshot은 MLA를 채택했으며, 그 아키텍처는 DeepSeek 아키텍처를 기반으로 한 것으로 명시적으로 밝혔습니다. 반면에 DeepSeek는 뮨 최적화기를 사용했는데, 뮨은 최초에 키미(Moonshot)에서 대규모 훈련에서 채택되었습니다.

언급할 점은:

MoE는 Google에서 2017년에 처음 소개되었으며, 주요 저자는 노암 샤지어입니다. DeepSeek의 공헌은 MoE를 대규모로 적용하고, 고유의 수반 기술을 발명한 것입니다.

뮤온(Muon), 즉 뉴튼-슐츠에 의해 직교화된 모멘텀 최적화기는 2024년 말에 머신 러닝 연구원 켈러 조던이 제안했습니다. 키미(Moonshot) 팀은 이를 대규모 학습에 처음 사용한 팀입니다.

돈을 벌 수 있는 문제는 어떻게 해결하나요?

우리는 OpenAI의 흥미로운 예시를 살펴볼 수 있습니다.

OpenAI는 AMD와 Cerebras 주식을 상대적으로 저렴한 가격에 구매하는 옵션을 받았는데, 이러한 권리는 그들의 컴퓨팅 성과 목표와 연계되어 있습니다. AMD와 Cerebras에게는 이는 매우 이득이 되는 거래입니다. 왜냐하면 OpenAI가 그들의 하드웨어를 사용할 것을 약속하면 그들의 장기적인 성공 가능성이 크게 향상될 것이기 때문입니다.

AMD의 공지문에는 다음과 같이 기술되어 있습니다:

“계약의 일환으로 상호 전략적 이해를 더욱 강화하기 위해, AMD는 OpenAI에게 최대 1.6억주의 AMD 보통주를 구매할 수 있는 액면지분 증서를 발급했으며, 특정 마일스톤 달성에 따라 점진적으로 양도될 것입니다. 첫 번째 일괄은 초기 1GW 배치 완료 시 양도되며, 후속 일괄은 구매 규모가 6GW로 확장됨에 따라 점진적으로 양도될 것입니다. 양도 조건은 AMD가 특정 주가목표를 달성하고, OpenAI가 AMD가 대규모 배치를 위해 필요한 기술적 및 상업적 마일스톤들을 달성할 때에 연동됩니다.”

나는 DeepSeek도 여러 중국의 메모리, ASIC, CPU 및 네트워크 기술 스택 업체들과 유사한 협약을 맺고, 그들과 긴밀히 협력하여 이러한 업체들의 하드웨어 스택이 선도적인 AI 워크로드를 수행할 수 있도록 할 것으로 예상합니다.

서방뿐만 아니라 동아시아 동맹국을 포함한 모든 AI 주식 시가총액은 이미 10조 달러를 훨씬 웃도는데, 이러한 '협력을 통한 주식되돌려 받기' 방식은 DeepSeek가 중국이 같은 큰 산업을 구축하는 데 도움을 주고, 그 안에서 스스로의 큰 조각을 차지할 수 있는 기회를 제공해, 마침내 자체가 1조 달러 가치를 실현할 수 있도록 할 것입니다.

이것은 DeepSeek가 기존의 응용프로그램 구독사업을 훨씬 능가하는 많은 돈을 벌게 해주는 것 뿐만 아니라, 동시에 그들이 말하는 '모든 사람에게 인공지능의 혜택을 가져다준다'는 목표를 실현할 수 있는 것입니다. 런 웨이펑은 짐 샤몬스의 충실한 팬이자 매우 똑똑한 자본가인데, 그는 이런 점을 놓칠 수 없을 것입니다.

지금까지 DeepSeek가 한 모든 것을 다시 살펴보면, 설명할 수 있는 것은 이 한 가지일 뿐입니다.

이들은 핵심 AI 주식입니다. 그림에는 아직 hyperscaler, 즉 거대한 규모의 클라우드 공급업체 및 많은 다른 관련 회사가 포함되지 않았습니다.

[원문 링크]

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia