동찰 Beating AI 속보, 텐센트 수석 AI 과학자 야오순위와 훈위안 연구팀이 Reddit에서 공개 Q&A를 진행하며 차세대 훈위안 모델의 연구개발 계획을 공개했다.
한 개발자가 바이트댄스, Kimi 등 업체들이 수조 파라미터 대형 모델을 탐색하고 있는데 왜 훈위안은 여전히 약 7000억 파라미터 규모에 머물러 있느냐고 물었다.
텐센트는 더 작지만 탄탄하게 훈련된 모델도 더 큰 모델을 능가할 수 있으며 훈련 비용도 더 낮다고 답했다. 그러나 팀은 여전히 Scaling Law를 믿고 있으며, 차세대 Hy 모델은 파라미터 규모를 크게 확대할 것이고 기존 Hy4도 대규모 강화학습을 통해 계속 성능을 향상시킬 것이라고 밝혔다.
텐센트는 또한 개인용 컴퓨터에서 로컬로 실행할 수 있는 소형 모델 로드맵도 공개했다. Hy4-mini는 이미 계획에 포함되었으며, 더 경량화된 Flash-Lite도 출시될 예정이다.
