텐센트 혼위안 Hy4 오픈소스: 총 7700억 파라미터, 100만 컨텍스트

동차 Beating AI 속보, 텐센트가 Hy4 preview를 발표하고 오픈소스로 공개했다. 새 모델은 MoE 아키텍처를 채택했으며, 총 파라미터 770B, 매번 활성화되는 파라미터 49B, 컨텍스트 길이는 1M으로 확장되었다. Hy3의 총 파라미터 295B, 활성화 파라미터 21B, 컨텍스트 256K와 비교하면, 이번 세대는 규모가 두 배 이상 늘어났고, 긴 컨텍스트도 약 4배로 확대되었다.

텐센트는 이번에 일반적인 벤치마크 점수만 강조하지 않고, 코드, 오피스, 게임, 연구 등 실제 작업을 특별히 강화했다. 예를 들어, 모델은 Three.js 3D 웹사이트를 처음부터 구축할 수 있고, Unity에서 플레이 가능한 게임 데모를 제작할 수 있으며, 72개의 재무 문서를 한 번에 처리하여 중복报销, 한도 초과, 예산 이상을 검사할 수 있다. Hy4는 WorkBuddy, CodeBuddy 등 텐센트 제품과 함께 훈련 및 반복 개발되었다.

더 특별한 점은 Hy4가 이미 자체 개발에 참여하기 시작했다는 것이다. 텐센트에 따르면, Hy4는 훈련 방법, 데이터 전략, 평가 체계, 하위 연산자를 최적화하는 데 도움을 주며, 스스로 방안을 제안하고 실험을 실행한 후 결과에 따라 계속 조정한다. 실험에서 생성된 코드, 로그, 피드백은 다시 다음 라운드 개발에 투입되어 초기 단계의 자기 개선 루프를 형성했다.

Hy4 preview는 이미 WorkBuddy, CodeBuddy, Yuanbao, ima, 텐센트 클라우드 TokenHub 및 OpenRouter에 연결되었다. 텐센트는 앞서 실적 보고서에서 Hy4가 Hy3보다 더 클 것이라고 예고했으며, 실제 제품 피드백을 모델 훈련의 중요한 원천으로 삼고 있다.