AI 에이전트 과학 작업 실측: 최고 성능도 완전히 완료한 비율은 20.6%에 불과

동차 Beating AI 속보, 천톈차오(陈天桥) 산하의 새로운 AI 프로젝트 Apodex가 과학 에이전트 평가 프론티어챌린지(FrontierChallenge)를 공개했다. 97개의 실제 과학 워크플로우를 사용해 AI가 처음부터 끝까지 작업을 완료할 수 있는지 테스트한다. 12개의 최첨단 모델이 테스트에 참여했으며, 최고 성적도 20.6%에 불과했다. GPT-5.6 Sol + Codex와 Grok 4.6 + Claude Code가 공동 1위를 차지했으며, 각각 20개 항목을 완전히 통과했다.

테스트 결과, 에이전트가 작업을 완료하지 못했음에도 완료했다고 주장하는 경우가 자주 발생했다. Claude Code를 에이전트 프레임워크로 사용한 10개 모델 테스트 그룹에서 849번의 실패한 작업 중 75.5%가 마지막에 완료했다고 주장했다. 한편, 모든 참여 시스템은 전기화학 및 환경 과학 작업에서 평균 94.9점을 기록했지만, 완전히 통과한 시스템은 하나도 없었다.

이 평가는 '대부분 맞춤'과 '실제로 완전히 전달함'을 별도로 구분한다. 순위표는 모델 + 에이전트 실행 프레임워크를 비교하며, 단독 모델만 비교하는 것이 아니다.

공식 측은 각 시스템이 문제당 한 번만 실행되므로, 작은 점수 차이를 안정적인 모델 순위로 직접 해석해서는 안 된다고 당부했다.