동차 Beating 모니터링에 따르면, MiniMax 개발자 관계 책임자 Ryan Lee는 NVIDIA Blackwell(SM100) GPU를 대상으로 한 고성능 어텐션 라이브러리 MiniMax Sparse Attention(MSA)이 MIT 라이선스로 정식 오픈소스화되었다고 발표했습니다. Ryan Lee는 또한 MiniMax-M3 가중치가 이번 주 금요일에 공개될 예정이라고 밝혔습니다.
MSA는 이미 MiniMax-M3의 백만 수준 컨텍스트 추론에 적용되어, 각 GQA 그룹에서 가장 관련성 높은 KV 블록을 필터링하고 선택된 블록에 대해서만 어텐션 연산을 수행합니다. 논문에 따르면, 100만 토큰 컨텍스트에서 동일한 구성의 Dense GQA와 비교하여 MSA는 어텐션 연산량을 28.4배 줄이고, H800 GPU에서 14.2배의 프리필 가속과 7.6배의 디코딩 가속을 달성했습니다.
오픈소스 버전은 동일한 Python 패키지에 C++ JIT와 CuTe-DSL 두 가지 구현을 통합했으며, Dense FlashAttention과 Sparse Top-k Attention Kernel을 함께 제공하고 BF16, FP8, NVFP4, FP4 등 다양한 정밀도 형식을 지원합니다. 현재 주로 NVIDIA Blackwell(SM100) GPU 배포를 대상으로 합니다.
