PrismML이 Qwen3.6을 4GB로 압축하고, 27B 모델을 iPhone에 탑재했습니다.

동차 Beating 모니터링에 따르면, 캘리포니아 공과대학 수학자 Babak Hassibi가 공동 창업한 AI 연구소 PrismML이 알리바바의 오픈소스 모델 Qwen3.6-27B를 압축하여 iPhone 17 Pro에서 구동하는 데 성공했다고 밝혔습니다.

Qwen3.6-27B는 270억 개의 파라미터를 가진 밀집 모델입니다. 추론 시 모든 파라미터가 참여하며, 일부 파라미터만 활성화되는 MoE 모델이 아닙니다.

PrismML에 따르면, 모델 크기는 약 54GB에서 4GB 미만으로 줄었으며, 성능 저하는 거의 없습니다. 이 모델은 복잡한 대화, 추론, Agent 및 코드 작업에 사용될 수 있습니다.

애플은 이미 PrismML과 접촉하여 이 기술을 어떻게 활용할지 논의 중입니다. 애플은 더 많은 AI를 기기 로컬에 배치하려고 노력해 왔지만, 고급 Siri는 여전히 클라우드 모델에 의존하고 있습니다.