MiniMax M3.1 Flash 순위 조작 논란에 휩싸여: 기존 문제는 거의 만점, 새로운 문제는 거의 제로점

동찰 Beating AI 속보, 대형 모델 평가 블로거 「마오라오반」이 MiniMax M3.1 Flash를 테스트하던 중, 모델이 기존 문제에서는 거의 만점에 가까운 점수를 받았지만 새로운 문제로 바꾸자 거의 0점에 가까운 점수를 받은 것을 발견했다. 모델은 평균 문제당 수만 개의 Token을 소비하지만, 일부 어려운 문제는 약 1만 개의 Token만으로 정답을 맞혔다. 이러한 비정상적인 성능은 모델이 일부 문제의 답을 미리 암기한 것이 아닌지 의심하게 만든다.

마오라오반은 장기적으로 「즈즈」 대형 모델 순위표를 운영하며, 비공개 개인 문제 은행을 사용해 주로 논리, 수학, 프로그래밍 능력을 테스트한다. 문제 은행은 보통 28개 문제, 270개 테스트 케이스 이내로 유지되며, 매월 일부 문제를 업데이트하고 각 문제를 3회 테스트하여 최고 점수와 중위 점수를 동시에 집계한다. 이번 M3.1 Flash의 중위 점수는 51.76으로, 이전 세대 M3의 23.86보다 두 배 이상 향상되었으며, 최신 DeepSeek V4.1 Flash 1017의 56.03에 근접했다.

일부 개발자들은 모델이 기존 문제에 대해 특별 훈련을 받았을 뿐, 문제 해결 방법을 진정으로 습득하지 못했을 가능성을 의심한다. 이렇게 평가 점수를 높이기 위해 모델을 특별히 최적화하는 방식을 Benchmaxxing이라고 부른다.