메타 최고 AI 책임자 알렉산더 왕이 SemiAnalysis의 '순위 조작론'을 반박: 기존 테스트는 이미 포화 상태

동차 Beating AI 속보, AI 연구 기관 SemiAnalysis가 Gemini 3.8 Flash와 Muse Spark 1.3을 지목하며, 현재 가장 명백한 '벤치맥스드' 모델 중 하나라고 밝혔습니다. 즉, 공개 평가에 너무 과도하게 최적화되었다는 뜻입니다. 두 모델은 Terminal-Bench 2.1에서 각각 89.4%와 88.8%를 기록하며 GPT-6 Astra 및 Claude Fable 5.1에 근접했습니다. 그러나 방금 출시된 Terminal-Bench 4.0에서는 각각 19.1%와 33.3%로 급락했습니다. Astra와 Fable 5.1은 각각 57.7%와 55.8%를 유지했습니다.

SemiAnalysis는 문제가 공개 테스트가 점점 더 타겟 최적화되기 쉬워지는 데 있다고 의심합니다. Terminal-Bench 2.1의 작업은 모두 공개되어 있어, 모델 제조사가 테스트 문제를 직접 훈련에 사용하지 않더라도 이러한 작업과 매우 유사한 강화 학습 환경 데이터를 구매할 수 있습니다. 모델은 점점 이 시험에 능숙해지지만, 새로운 작업에 일반화되지는 못할 수 있습니다. 그러나 SemiAnalysis는 Google이나 Meta가 이러한 데이터를 구매했다는 직접적인 증거를 제시하지 않았습니다.

Meta의 최고 AI 책임자 Alexandr Wang은 이후 반박하며 이 주장이 '어리석다'고 말했습니다. 그는 GPT-5.6 Sol도 Terminal-Bench 2.1의 88.8%에서 4.0의 37.3%로 떨어졌다고 예를 들었습니다. 그의 설명은 2.1이 이미 포화 상태여서 최고 모델을 효과적으로 구분할 수 없지만, 4.0은 아직 포화 상태와 거리가 멀다는 것입니다. Terminal-Bench 4.0은 실제로 포화 상태이거나 공개 해법이 있거나 기타 문제가 있는 8개 작업을 삭제하고, 19개 문제를 수정했으며, 시간, CPU, 메모리 등 리소스 제한을 재조정했습니다.