동차 Beating AI 속보, 텐센트 혼위안 Hy4 preview는 이번에 모델을 키우는 것 외에도 기본 아키텍처를 대대적으로 개편했다. 이전 세대 Hy3는 전통적인 전체 어텐션을 사용했지만, Hy4는 Gated DSA, 즉 DeepSeek Sparse Attention의 게이트 버전으로 변경했다. 모델이 초장문 텍스트를 처리할 때 이전의 모든 내용을 다시 계산하는 대신, 먼저 가장 관련성 높은 부분을 골라 집중적으로 처리한다.
Hy4는 DSA에 IndexCache도 추가했다. 모델의 각 레이어는 원래 '어떤 내용이 가장 중요한지'를 매번 다시 판단해야 했지만, 이제 일부 레이어는 이전에 이미 선별된 결과를 직접 재사용하여 중복 계산을 크게 줄일 수 있다.
텐센트는 이 설계가 DeepSeek와 GLM에서 영감을 받았다고 명확히 밝혔다.
또 다른 변화는 잔차 구조다. 전통적인 Transformer는 대략 하나의 정보 본선만 있는 것으로 이해할 수 있지만, Hy4는 iHC를 사용해 이를 4개로 확장하여 모델이 매우 깊은 네트워크에서도 더 많은 정보를 동시에 보존할 수 있게 했다. MoE 전문가 수는 Hy3의 192개에서 256개의 라우팅 전문가 + 1개의 공유 전문가로 증가했으며, 각 토큰은 8개의 라우팅 전문가를 선택하면서 동시에 항상 공유 전문가를 거친다.