동차 Beating 모니터링에 따르면, 선전 허타오 학원, 하얼빈 공업대학(선전), 선전시 빅데이터 연구원 및 화웨이 관련 팀으로 구성되고, 선즈청 AI 컴퓨팅 플랫폼과 협력한 합동 연구팀이 국산 AI 컴퓨팅 플랫폼에서 1.6조 매개변수 대형 모델 DeepSeek-V4-Pro의 전체 매개변수 후속 훈련(Post-training)을 성공적으로 수행했다고 발표했습니다.
이는 글로벌 제3자 기관이 국산 컴퓨팅 플랫폼에서 처음으로 1.6조 매개변수 규모 모델의 전체 매개변수 후속 훈련을 완료한 사례입니다.
처음부터 시작하는 사전 훈련(Pre-training)과 달리, 후속 훈련 단계(주로 지도 미세 조정 SFT와 강화 학습 RL 포함)는 고품질 명령어와 인간 선호도 정렬을 통해 모델이 명령을 따르고 특정 작업을 수행하도록 가르치는 데 중점을 둡니다. 그러나 1.6조 매개변수의 MoE 아키텍처 모델의 경우, 전체 매개변수 후속 훈련은 여전히 하드웨어의 메모리 용량, 다중 카드 간 통신 대역폭(예: MoE 라우팅으로 인한 전대전 통신) 및 대규모 클러스터 안정성에 대해 매우 까다로운 요구 사항을 제기합니다. 합동 연구팀은 천 개 이상의 칩 규모 화웨이昇腾 910C 컴퓨팅 클러스터를 기반으로, 분산 부하 및 부하 균형 전략을 최적화하여 통신 병목 현상을 성공적으로 극복했습니다. 1500단계 이상의 훈련 과정에서 시스템이 한 번도 중단되지 않았으며, 모델 컴퓨팅 효율(MFU)이 30%를 초과하고, 주요 연산자 효율이 14% 향상되어 모든 지표가 산업 수준 운영 기준을 충족했습니다.
업계 분석에 따르면, 화웨이昇腾 910C 클러스터가 조 단위 모델 훈련에서 성공을 거둔 것은 국산 AI 칩이 초대규모 모델 심층 훈련 작업을 수행할 때의 기술적 가능성을 입증했습니다. 이전에는 대형 모델 개발의 핵심 사전 훈련이 주로 엔비디아 GPU 클러스터에 의존했으며, 국산 컴퓨팅은 주로 추론(Inference) 또는 소규모 매개변수 미세 조정 작업을 담당했습니다. 이번 합동 연구의 성공은 국산 컴퓨팅 생태계가 '추론만 지원'에서 '초대규모 매개변수 모델의 전체 매개변수 훈련 지원'으로의 기술적 폐쇄 루프를 가속화하고 있음을 의미합니다.
