AA 스마트 지수 대개편: Claude 우승, DeepSeek와 GLM은 26점 뒤처져

동찰 Beating AI 속보, AI 평가 기관 Artificial Analysis가 Intelligence Index 순위를 대폭 개편했다. 새 버전에는 실제 오픈소스 프로젝트의 프로그래밍 과제 132개가 추가되었으며, AI가 작성한 코드는 테스트를 통과해야 할 뿐만 아니라 프로젝트 유지관리자가 병합할 의향이 있는 기준에 도달해야 한다. 또한 과학 연구 과제 70개가 새로 추가되어 AI가 터미널에서 실제로 연구 프로세스를 완수해야 한다. 모델이 사전에 문제를 본 영향을 줄이기 위해 새 버전은 평가 가중치의 60%를 비공개 테스트 세트 또는 숨겨진 정답에서 가져온다.

순위 상위권은 여전히 Anthropic과 OpenAI의 세상이다. Claude Opus 5.5가 58점으로 1위를 차지했고, GPT-6 Astra와 GPT-6.1 Sol은 각각 57점, 55점을 받았다. Kimi K3.1 Pro는 46점을 받았지만 아직 가중치를 오픈소스화하지 않았다.

이미 가중치를 오픈소스화한 DeepSeek V4.1 Flash와 GLM-5.3은 모두 32점에 그쳐 1위와 무려 26점 차이이며, Claude Haiku 5.5의 36점보다도 낮다.

새로 추가된 과학 연구 과제에서 GPT-6 Astra의 완료율은 63%, Kimi K3.1 Pro는 34%, DeepSeek V4.1 Flash는 13%에 불과했다.

GPT-6.1 Sol은 Claude Opus 5.5보다 3점 낮지만, 공개 API 가격으로 추산하면 종합 평가 과제당 평균 1.27달러만 필요하며 후자는 10.04달러로 약 8배 차이다.

새 버전의 문제는 전반적으로 Token을 더 많이 소모하며, 과제당 출력 Token 중앙값은 이전 버전의 3만 5천에서 5만 9천으로 증가했다.