동차 Beating 모니터링에 따르면, Terminal-Bench 3.0 최신 순위가 바뀌었습니다. 이 평가는 AI 에이전트가 실제 터미널 환경에서 작업을 완료하고, 마지막에 결과가 올바른지 직접 확인합니다.
현재 상위 3위는 각각 다음과 같습니다:
1. Claude Opus 5 Max + mini-SWE-agent: 43.5%
2. GPT-5.6 Sol Max + Codex: 34.6%
3. Claude Fable 5 + Claude Code: 34.1%
Terminal-Bench 3.0은 7월 23일에 출시되었으며, 목적은 문제를 다시 어렵게 만드는 것입니다. 기존 버전의 프론티어 모델 성적은 이미 서로 밀집되어 있었고, 새 버전은 다시 격차를 벌리기를 희망합니다. 첫 버전에는 74개의 작업이 있으며, 7개 분야를 포괄하고, GPU, 다중 컨테이너 네트워크 등 더 복잡한 환경도 추가되었습니다. 작업은 단순히 코드 작성만이 아니라 모델 가중치 제출, 형식 증명, 스프레드시트 및 CAD 파일 제출을 요구할 수도 있습니다.
하지만 이를 Opus 5 자체가 Sol보다 약 9% 포인트 강하다고 직접 해석할 수는 없습니다. Terminal-Bench는 모델이 서로 다른 에이전트와 함께 실행되는 것을 허용하며, 상위 3위는 각각 mini-SWE-agent, Codex 및 Claude Code를 사용했습니다. 에이전트는 모델이 도구를 호출하고, 명령을 실행하며, 컨텍스트를 처리하는 방식을 결정하므로, 순위는 더 정확하게 '모델 + 에이전트' 전체 시스템의 능력을 측정합니다.