2.78조 파라미터 Kimi K3, 8GB 메모리에서 실행 가능…개발자, 경량 C 추론 엔진 오픈소스로 공개

BlockBeats 뉴스, 8월 8일, 한 개발자가 최근 오픈소스 프로젝트 kimi-k3-in-c를 공개하여, 2.78조 개의 파라미터를 가진 Kimi K3 모델을 단 8GB 메모리 장치에서 실행할 수 있도록 시도했습니다. 이 프로젝트는 단 176KB에 불과하며, 순수 C99로 작성되었고, GPU, CUDA, PyTorch 또는 BLAS에 의존하지 않으며, CPU만으로 모델 추론을 완료할 수 있습니다.

이 방안은 Kimi K3의 MoE(혼합 전문가) 아키텍처 특성을 활용합니다. 모델의 총 파라미터 규모가 2.78T에 달하지만, 각 레이어의 896개 전문가 중 단 16개만 활성화되므로, 개발자는 전체 약 1.56TB의 모델 가중치를 메모리에 로드하는 대신, 대부분의 전문가 가중치를 NVMe 하드 드라이브에 저장하고 추론 요구에 따라 실시간으로 읽어옵니다. 동시에 일부 밀집 레이어(dense trunk)도 레이어별 스트리밍 로드 방식을 채택합니다.

다만, 이 방안은 현재 명확한 성능 제한이 있습니다. 8GB 메모리 모드에서 모델이 하나의 토큰을 생성하는 데 약 32.7초가 소요되며, 동시에 약 1.7TB의 고속 저장 공간 지원이 필요합니다.

개발자는 이 방안이 현재 대규모 모델 추론 인프라 최적화 방향에 대한 실험적 탐구에 더 가깝다고 밝혔으며, 실제 생산 사용 가치는 없지만, '하드 드라이브 스트리밍 로드 + MoE 희소 활성화' 방식을 통해 미래에 저비용으로 초대규모 모델을 실행할 수 있는 새로운 아이디어를 제공합니다.