홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

국산 연산력의 이정표: 천 개의昇腾 910C가 DeepSeek 1.6조 모델의 전체 파라미터 후속 훈련을 성공적으로 수행

동차 Beating 모니터링에 따르면, 선전 허타오 학원, 하얼빈 공업대학(선전), 선전시 빅데이터 연구원 및 화웨이 관련 팀으로 구성되고, 선즈청 AI 컴퓨팅 플랫폼과 협력한 합동 연구팀이 국산 AI 컴퓨팅 플랫폼에서 1.6조 매개변수 대형 모델 DeepSeek-V4-Pro의 전체 매개변수 후속 훈련(Post-training)을 성공적으로 수행했다고 발표했습니다.

이는 글로벌 제3자 기관이 국산 컴퓨팅 플랫폼에서 처음으로 1.6조 매개변수 규모 모델의 전체 매개변수 후속 훈련을 완료한 사례입니다.

처음부터 시작하는 사전 훈련(Pre-training)과 달리, 후속 훈련 단계(주로 지도 미세 조정 SFT와 강화 학습 RL 포함)는 고품질 명령어와 인간 선호도 정렬을 통해 모델이 명령을 따르고 특정 작업을 수행하도록 가르치는 데 중점을 둡니다. 그러나 1.6조 매개변수의 MoE 아키텍처 모델의 경우, 전체 매개변수 후속 훈련은 여전히 하드웨어의 메모리 용량, 다중 카드 간 통신 대역폭(예: MoE 라우팅으로 인한 전대전 통신) 및 대규모 클러스터 안정성에 대해 매우 까다로운 요구 사항을 제기합니다. 합동 연구팀은 천 개 이상의 칩 규모 화웨이昇腾 910C 컴퓨팅 클러스터를 기반으로, 분산 부하 및 부하 균형 전략을 최적화하여 통신 병목 현상을 성공적으로 극복했습니다. 1500단계 이상의 훈련 과정에서 시스템이 한 번도 중단되지 않았으며, 모델 컴퓨팅 효율(MFU)이 30%를 초과하고, 주요 연산자 효율이 14% 향상되어 모든 지표가 산업 수준 운영 기준을 충족했습니다.

업계 분석에 따르면, 화웨이昇腾 910C 클러스터가 조 단위 모델 훈련에서 성공을 거둔 것은 국산 AI 칩이 초대규모 모델 심층 훈련 작업을 수행할 때의 기술적 가능성을 입증했습니다. 이전에는 대형 모델 개발의 핵심 사전 훈련이 주로 엔비디아 GPU 클러스터에 의존했으며, 국산 컴퓨팅은 주로 추론(Inference) 또는 소규모 매개변수 미세 조정 작업을 담당했습니다. 이번 합동 연구의 성공은 국산 컴퓨팅 생태계가 '추론만 지원'에서 '초대규모 매개변수 모델의 전체 매개변수 훈련 지원'으로의 기술적 폐쇄 루프를 가속화하고 있음을 의미합니다.

举报 오류 신고/제보
관련추천
기술은 절대로 소위 고상한 사치품이어서는 안 됩니다.
트레이닝 및 추론 요구사항을 낮춤으로써 국내 스토리지, 칩 및 네트워크 공급업체를 AI 인프라 경쟁에 끌어들입니다.
모든 것이 순조롭게 진행된다면, 빠르면 올해 말입니다.
V4-Pro-Max(최고 추론 강도 모드)는 현재 최강의 오픈 소스 모델로, 인코딩 벤치마크가 최고 수준에 도달하며 추론 및 에이전트 작업은 프로프리트 전선과의 간극이 크게 줄어들었다.
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료