AI 평가 대변혁! Artificial Analysis, 업계 역량 지수 발표: Claude Fable 5 압도적 우위, 오픈소스 GLM-5.2가 폐쇄형 최전선에 근접

동차 Beating 모니터링에 따르면, 기존 AI 모델 평가는 일반적으로 범용 학술 데이터셋에 의존하여 테스트 점수와 기업 실제 적용 성과 간에 차이가 발생합니다. 평가 기관 Artificial Analysis는 기존 에이전트 및 프로그래밍 두 가지 범용 기술 지수에 기반하여, 금융, 법률, 의료, 운영, 엔지니어링 및 경제 분야를 포함한 실제 업무 성과를 평가하는 6대 산업 지수를 출시했습니다.

범용 기술 지수와 달리, 산업 지수는 O*NET 직무 활동 분류법을 기반으로 실제 직무의 작업 분포 빈도를 시뮬레이션하여 맞춤형 가중치를 적용합니다. 이는 대규모 모델의 기본 능력 테스트(예: HLE 추론, LCR 장문 처리, GDPval 에이전트 작업 등)와 각 산업의 전문 지식 베이스(AA-Omniscience)를 결합합니다. 첫 번째 실제 테스트에서 폐쇄형 모델 Claude Fable 5는 8개 지수 모두에서 1위를 차지했으며, 오픈소스 GLM-5.2는 6개 산업 지수 중 5개에서 1위를 기록했고, 엔지니어링 지수에서 53점을 획득하여 Claude Sonnet 5의 55점에 근접했습니다.

평가는 또한 큰 효율성 격차를 드러냈습니다. 운영 지수에서 Claude Fable 5의 단일 작업 비용(3.48달러)은 오픈소스 DeepSeek V4 Pro(0.03달러)의 100배 이상이며, 법률 지수에서 Gemini 3.1 Pro 프리뷰 버전은 Claude Fable 5보다 거의 7배 빠르고 점수 차이는 11점에 불과했습니다.

작업 시나리오에 따라 효율성과 가성비를 가중치로 고려하는 것이 수직 분야 AI 선택의 새로운 기준이 되고 있습니다.