딥시크는 8조 개 파라미터 모델 훈련을 계획하고 있으며, 규모는 기존 최대 오픈소스 모델의 거의 3배에 달한다

동찰 Beating AI 속보, DeepSeek가 또 모델을 더 크게 만들려고 한다. CEO 량원펑은 투자자들에게 회사가 2조 파라미터 모델을 훈련 중이며, 이후 8조 파라미터 모델도 개발할 계획이라고 밝혔다. 현재 플래그십 V4-Pro는 1.6조 파라미터에 불과하다.

8조가 어떤 개념인가? 현재 가중치가 공개된 초대형 모델 중 Moonshot AI의 Kimi K3가 2.8조 파라미터에 도달해 이미 세계 최대 오픈소스 모델이다. DeepSeek가 계획 중인 8조 모델은 규모가 거의 3배 더 크다.

하지만 총 파라미터가 많다고 해서 매번 실행할 때 모든 파라미터를 호출하는 것은 아니다. Kimi K3는 MoE 아키텍처로, 2.8조 총 파라미터 중 각 Token마다 1040억만 활성화된다.