동차 Beating 모니터링에 따르면, 독립 개발자 @bleysg가 DeepSWE 장기 소프트웨어 엔지니어링 벤치마크에서 MiniMax M3 코딩 모델의 독립 실측 보고서를 발표했습니다. 113개의 실제 오픈소스 기능 개발 작업을 포함한 테스트에서, 모델은 90분의 일반 시간 제한 내에서 엄격한 기준 통과율이 13.3%(15/113)에 불과했으며, 이는 공식이 이전에 SWE-bench Pro 벤치마크에서 발표한 59.0% 평가 성적과 큰 차이를 보였습니다. 공개된 DeepSWE 순위에서 M3의 성과는 국내 주류 모델인 Kimi-k2.6(24%) 및 GLM-5.1(18%)에 뒤쳐졌지만, 구글의 Gemini 3.1 Pro(10%) 및 DeepSeek V4 Pro(8%)보다는 앞섰습니다.
구체적으로, 모델의 JavaScript 작업 통과율은 40.0%(2/5), TypeScript는 17.1%(6/35), Go는 11.8%(4/34), Python은 8.8%(3/34)였으며, 5개의 Rust 작업은 모두 실패했습니다. 평가 데이터에 따르면 완전히 해결되지 않은 작업 중 35개 작업의 숨겨진 테스트 통과율이 90%를 초과하여 '거의 통과'로 분류되었습니다. 또한 전체 113개 작업 중 기존 코드를 손상시켜 실패한 경우는 8건에 불과해, 모델이 보수적인 패치를 생성하는 경향이 있어 회귀 결함을 유발하기 어렵다는 것을 시사합니다.
그러나 좋은 코드 회귀 방지 성능과 비교할 때, M3의 매우 높은 실행 비용이 뚜렷한 단점으로 드러났습니다. DeepSWE 벤치마크에서 모델이 단일 작업을 해결하는 데 필요한 실행 단계 중앙값은 325단계, 출력 토큰 중앙값은 8만 개, 단일 작업 평균 비용 중앙값은 7.48달러에 달했습니다. 높은 리소스 비용은 주류 최첨단 모델과 비교해 M3의 계산 효율성에 여전히 큰 개선 여지가 있음을 나타냅니다. 테스트 보고서는 실행 시간 제한을 완화할 경우 모델의 확장 시간 통과율이 16.8%(19/113)로 상승하며, 90분을 초과하는 다중 파일 복잡 작업 4개를 추가로 해결할 수 있다고 지적했습니다.