동차 Beating 모니터링에 따르면, 국산 대규모 모델 개발사 MiniMax가 Hugging Face에서 네이티브 멀티모달 혼합 전문가(MoE) 모델인 MiniMax M3의 가중치를 공식 오픈소스로 공개했습니다. MiniMax M3의 총 파라미터 수는 4280억 개이며, 단일 토큰 활성화 시 230억 개의 파라미터를 사용하고, 네이티브로 100만 개의 초장기 컨텍스트를 지원합니다. 배포 시 메모리 사용량을 줄이기 위해 개발팀은 MXFP8 양자화 버전을 동시에 공개했으며, SGLang, vLLM, Transformers 등 주요 추론 프레임워크에 최적화했습니다.
멀티모달 설계 측면에서 MiniMax M3는 사전 학습 단계에서 텍스트, 이미지, 비디오를 함께 학습하여 네이티브 의미 융합을 구현했으며, 후학습 단계에서 멀티모달 정렬을 수행하지 않습니다. 실행 메커니즘에서는 복잡한 논리 및 도구 오케스트레이션을 위한 Thinking(사고) 모드와 저지연 대화 및 코드 생성을 위한 Non-thinking(비사고) 모드의 이중 추론 모드를 제공합니다.
백만 개의 초장기 컨텍스트를 지원하는 핵심 기술은 동시에 오픈소스로 공개된 경량화 어텐션 커널 라이브러리인 MiniMax Sparse Attention(MSA)입니다. 공식 데이터에 따르면, MSA는 그룹 쿼리 어텐션(GQA) 청크 검색 메커니즘을 사용하며, 100만 토큰의 극장기 컨텍스트 실측에서 NVIDIA Blackwell(SM100) 아키텍처에 최적화된 MSA 연산자는 기존 풀 어텐션 메커니즘 대비 9배 이상의 프리필 가속과 15배의 디코딩 속도 향상을 달성하며, 추론 비용을 크게 절감했습니다.