Unsloth 극한 압축 753B 모델 GLM-5.2, Mac 로컬에서 원활하게 배포 및 실행 가능

동차 Beating 모니터링에 따르면, Unsloth AI는 동적 양자화 기술을 통해 Zhipu AI의 753B 파라미터 대형 모델 GLM-5.2의 용량을 80% 이상 압축하고, Mac 로컬 배포를 지원하는 GGUF 형식 버전을 출시했습니다. 동적 1-bit 및 2-bit 양자화를 통해 원래 1.51 TB에 달하던 모델을 217 GB(1-bit 변형)에서 239 GB(2-bit UD-IQ2_M 변형)까지 축소할 수 있어, 일반 개발자와 중소기업이 단일 Mac Studio만으로 로컬 오프라인 배포 및 실행이 가능해졌습니다.

양자화 버전은 Mac Studio M3 Ultra(256 GB 통합 메모리) 장치에서 21.6 tokens/s의 원활한 속도를 기록했으며, 원본 모델의 정밀도를 76%에서 82%까지 유지했습니다. Unsloth AI가 발표한 비교 테스트에서, 완전히 로컬에서 실행된 1-bit 수준의 GLM-5.2 GGUF는 독립적인 픽셀 아트, 사운드 효과 및 입자 시스템을 갖춘 완전한 HTML5 게임(Flappy Bird 리메이크 버전 )을 작성하는 프롬프트에서 Claude 4.8 Opus 및 GPT-5.5와 유사한 생성 품질을 보여주었습니다.

Zhipu AI가 출시한 오픈소스 혼합 전문가(MoE) 모델인 GLM-5.2는 753B 총 파라미터와 100만 토큰 컨텍스트를 보유하고 있습니다. 기존 배포 방식에서는 초대형 모델을 실행하기 위해 고비용의 클라우드 멀티 GPU 컴퓨팅 클러스터를 구축해야 했지만, 동적 양자화 솔루션의 출시로 하드웨어 장벽이 무너져 개인과 소규모 팀이 최고 수준의 오픈소스 모델을 독립적으로 배포하는 진입 장벽이 크게 낮아졌습니다. 현재 GLM-5.2 GGUF 가중치는 Hugging Face 플랫폼에서 다운로드 가능하며, 사용자는 llama.cpp 또는 Unsloth Studio를 통해 직접 로드 및 실행할 수 있습니다.