동차 비팅(Beating)의 모니터링에 따르면, 대규모 모델의 장기 소프트웨어 엔지니어링 작업 해결 능력을 평가하는 벤치마크 플랫폼 DeepSWE가 최신 순위 업데이트를 발표하며, MiniMax 코딩 모델 MiniMax M3를 공식 평가에 포함시켰습니다. 113개의 실제 오픈소스 작업 평가에서 MiniMax M3는 20.4%의 Pass@1 통과율을 기록했습니다. 이 성과는 여전히 월지안면(Moonshot AI)의 Kimi-k2.6(23.9%)에 뒤처지지만, 샤오미(Xiaomi)의 mimo-v2.5-pro(19.5%), 지푸(Zhipu)의 GLM-5.1(17.5%), 구글 Gemini 3.1 Pro(9.7%), DeepSeek V4 Pro(7.5%)를 성공적으로 앞질렀습니다.
이전(6월 2일) 독립 개발자 @bleysg가 발표한 독립 평가 결과와 비교하면, MiniMax M3의 성능은 현저히 개선되었습니다. 이전 독립 실측에서 90분 일반 시간 제한 하에 M3의 엄격 통과율은 13.3%(15/113)에 불과했으며, 당시 공개된 모델 성능 중 Kimi와 GLM에 뒤처졌습니다. 이번 공식 테스트에서 20.4%의 통과율이 크게 향상된 주된 이유는 MiniMax가 6월 3일에 배포한 주요 추론 업그레이드 덕분입니다. 이 업그레이드는 간헐적으로 발생하는 비정상 토큰 생성 문제를 수정하고 긴 컨텍스트 캐시 효율성을 최적화하여, 모델의 장기 프로그래밍에서 코드 정확도를 현저히 개선하고 선두 모델과의 격차를 좁혔습니다. 주목할 점은 Pass@4(4회 시도 허용 통과율)를 보면, MiniMax M3는 48.7%를 기록하여 Kimi-k2.6과 동률을 이루며, GLM-5.1의 38.9%를 크게 상회한다는 것입니다.
그러나 높은 리소스 및 계산 비용은 여전히 MiniMax M3의 약점입니다. 공식 벤치마크 테스트에서 M3가 단일 작업을 해결하는 에이전트 단계 중앙값은 311단계에 달하며, 출력 토큰 중앙값은 9만 1천 개, 단일 작업 평균 비용 중앙값은 5.04달러입니다. 이에 비해 Kimi-k2.6은 단일 작업 해결 중앙값 단계가 136.5단계, 비용 중앙값이 2.70달러이며, 샤오미 mimo-v2.5-pro의 단계 중앙값은 114.5단계, 비용 중앙값은 1.68달러로 더 낮습니다. 데이터는 M3가 문제 해결 상한선과 통과율에서 나쁘지 않은 성과를 보였지만, 계산 효율성과 추론 비용 최적화 측면에서는 국내 다른 주류 모델에 비해 여전히 개선 여지가 크다는 것을 보여줍니다.