동차 Beating 모니터링에 따르면, 오픈소스 AI 도구 회사 Unsloth가 Kimi K3의 1-bit GGUF 버전을 출시하여 모델을 1.56TB에서 594GB로 압축했습니다. 사용자는 Unsloth Studio 또는 llama.cpp를 통해 Mac에서 로컬로 실행할 수 있습니다.
하지만 이 버전은 최소 약 610GB의 메모리가 필요합니다. 공식 솔루션에 따르면, 최고 사양 512GB Mac Studio는 128GB 메모리 장치와 함께 사용해야 합니다. 메모리가 부족할 경우 하드 디스크를 이용해 간신히 로딩할 수 있지만 속도가 크게 저하됩니다.
커뮤니티에는 350GB 및 451GB의 MLX 축소 버전도 있어 단일 512GB Mac Studio에 설치할 수 있습니다. 하지만 이들은 73%에서 80%의 전문가를 삭제했으며, 실제 속도는 약 0.14~0.20 token/s로 성능도 현저히 떨어집니다.