1.5TB가 214GB로: 텐센트, Hy4 preview 초극한 양자화 버전 출시

동차 Beating AI 속보, Hy4 preview가 막 오픈소스로 공개된 가운데, 텐센트 혼위안이 극한 양자화 버전을 또 내놓았습니다. 원본 모델 가중치는 약 1.5TB에 달하지만, 새 GGUF 버전은 약 214GB에 불과해 이 770B MoE 모델의 로컬 배포门槛을 크게 낮췄습니다.

이는 전체 모델을 1.25-bit로 압축한 것이 아닙니다. 텐센트는 각 레이어의 정밀도 민감도에 따라 개별적으로 양자화하여, 견딜 수 있는 부분은 최저 약 1.31-bit까지 낮추고, 민감한 부분은 2-bit 이상의 정밀도를 유지했습니다. 최종적으로 전체 파일은 평균 약 2.38 bpw입니다. 텐센트가 제공한 네 가지 평가에서 BF16 원본 대비 0.2에서 1.6점만 하락했습니다.

크기를 줄인 후, 텐센트는 prima.cpp와 함께 이기종 디바이스 연합 추론을 테스트했습니다. RTX 4090 노트북 한 대와 4카드 A4000 서버 한 대로, 총 80GB VRAM과 64GB 메모리만으로 모델을 1.02 token/s 속도로 실행했으며, 이는 노트북 단독 오프로드보다 약 6배 빠릅니다. 여러 대의 서로 다른 사양의 디바이스도 함께 모델 추론을 분담할 수 있습니다.