Cursor가 GPU 파이프라인을 재배치하여 MoE 모델 훈련 속도를 41% 향상시켰습니다.

동차 Beating 모니터링에 따르면, Cursor가 Mixture-of-Kittens(MoK)를 오픈소스로 공개하여 MoE 대규모 모델 훈련을 가속화합니다. 이는 기존에 분리되어 있던 GPU 데이터 전송과 계산을 하나의 커널(GPU에서 직접 실행되는 하위 수준 프로그램)로 통합합니다.

MoE는 모델을 다수의 '전문가'로 분할하고, 매번 그중 일부만 호출합니다. 전문가들이 서로 다른 GPU에 분산되어 있어 데이터를 자주 이동해야 하며, 때로는 훈련 시간의 절반 이상을 차지하기도 합니다.

MoK는 GPU가 데이터를 전송하면서 동시에 계산을 수행하여 대기 시간을 줄입니다. 512개의 GB300 GPU 실제 훈련에서 전체 처리량이 41% 향상되었습니다. MoE 레이어만 단독 테스트했을 때, 공개된 솔루션보다 최대 2.37배 빠릅니다.

MoK는 이미 Cursor의 수만 개 GPU Composer 훈련에 사용되고 있으며, Apache 2.0 라이선스로 오픈소스 공개되었습니다. 현재는 엔비디아 Blackwell GPU만 지원하며, 주로 GB200, GB300 NVL72 클러스터를 보유한 기관을 대상으로 합니다.