텐센트 Hy4 블라인드 테스트에서 GLM-5.3, Kimi K3를 능가하며, 출력 가격이 최소 82% 저렴하다.

동차 Beating AI 속보, 텐센트는 또한 Hy4 preview의 실제 엔지니어링 블라인드 테스트 결과를 별도로 공개했습니다. 163명의 텐센트 내부 전문가가 203개의 엔지니어링 작업으로 다양한 모델을 테스트했으며, Hy4는 평균 2.99/4를 기록하여 GLM-5.3의 2.92/4와 Kimi K3의 2.94/4보다 높았습니다.

구체적으로 살펴보면, Hy4는 GLM-5.3에 대해 승률 46.8%, 무승부 12.8%, 패배율 40.4%를 기록했고, Kimi K3에 대해서는 승률 51.2%, 무승부 7.9%, 패배율 40.9%를 기록했습니다. 이러한 문제들은 텐센트 내부의 실제 엔지니어링 작업에서 비롯된 것으로, 기존의 고정 벤치마크가 아닙니다.

하지만 Hy4는 공개 벤치마크에서 전반적으로 앞서지는 않았습니다. 텐센트가 공개한 평가 결과에 따르면, Hy4는 GLM-5.3, Kimi K3 등 모델과 각각 승패를 주고받았으며, DeepSWE, CyberGym 등의 코드 및 네트워크 보안 테스트에서는 여전히 GLM-5.3에 뒤처졌습니다.

가격은 Hy4의 가장 확실한 장점입니다. 백만 토큰당 입력 6위안, 출력 18위안으로, 각각 GLM-5.3보다 25% 및 약 36% 저렴하며, Kimi K3에 비해서는 70% 및 82% 더 저렴합니다. 캐시 적중 시 비용은 0.3위안에 불과해, GLM-5.3 및 Kimi K3의 2위안보다 85% 저렴합니다.