홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

텐센트 혼위안 Hy4가 기반을 재구축: DeepSeek 희소 어텐션 + 지푸 IndexCache를 함께 적용

동차 Beating AI 속보, 텐센트 혼위안 Hy4 preview는 이번에 모델을 키우는 것 외에도 기본 아키텍처를 대대적으로 개편했다. 이전 세대 Hy3는 전통적인 전체 어텐션을 사용했지만, Hy4는 Gated DSA, 즉 DeepSeek Sparse Attention의 게이트 버전으로 변경했다. 모델이 초장문 텍스트를 처리할 때 이전의 모든 내용을 다시 계산하는 대신, 먼저 가장 관련성 높은 부분을 골라 집중적으로 처리한다.


Hy4는 DSA에 IndexCache도 추가했다. 모델의 각 레이어는 원래 '어떤 내용이 가장 중요한지'를 매번 다시 판단해야 했지만, 이제 일부 레이어는 이전에 이미 선별된 결과를 직접 재사용하여 중복 계산을 크게 줄일 수 있다.


텐센트는 이 설계가 DeepSeek와 GLM에서 영감을 받았다고 명확히 밝혔다.


또 다른 변화는 잔차 구조다. 전통적인 Transformer는 대략 하나의 정보 본선만 있는 것으로 이해할 수 있지만, Hy4는 iHC를 사용해 이를 4개로 확장하여 모델이 매우 깊은 네트워크에서도 더 많은 정보를 동시에 보존할 수 있게 했다. MoE 전문가 수는 Hy3의 192개에서 256개의 라우팅 전문가 + 1개의 공유 전문가로 증가했으며, 각 토큰은 8개의 라우팅 전문가를 선택하면서 동시에 항상 공유 전문가를 거친다.

관련추천
그리하여 우리는 힘껏 앞으로 나아가려 애쓰지만, 물살을 거슬러 노를 저으며, 끊임없이 과거로 밀려난다.
V4-Pro-Max(최고 추론 강도 모드)는 현재 최강의 오픈 소스 모델로, 인코딩 벤치마크가 최고 수준에 도달하며 추론 및 에이전트 작업은 프로프리트 전선과의 간극이 크게 줄어들었다.
트레이닝 및 추론 요구사항을 낮춤으로써 국내 스토리지, 칩 및 네트워크 공급업체를 AI 인프라 경쟁에 끌어들입니다.
엔비디아가 중국 대규모 모델 훈련에서의 친수를 "필수"에서 "선택 사항"으로 낮췄습니다.
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료