동차 비팅(Beating) 모니터링에 따르면, 평가 기관 Artificial Analysis가 대규모 모델 에이전트를 위해 설계된 최초의 장기 지식 작업 평가 벤치마크인 AA-Briefcase를 출시했습니다. 이 평가는 데이터 과학, 제품 관리, 은행 업무 운영 및 중공업 전략의 네 가지 시나리오로 구성되며, 구글, 맥킨지, 보스턴 컨설팅 그룹 출신의 업계 전문가들이 개발했습니다. 총 91개 작업으로 구성되어 실제 복잡한 비즈니스 프로젝트 흐름을 시뮬레이션합니다.
벤치마크는 객관식 문제, 분석 품질 및 레이아웃 표시의 세 가지 차원을 통해 1:1 대결 및 기준 평가를 진행합니다. 결과에 따르면, Anthropic의 Claude Fable 5가 가장 높은 종합 점수인 AA-Briefcase Elo를 기록했으며, Claude Opus 4.8 (max)와 GLM-5.2 (max)가 각각 2위와 3위를 차지했습니다. Claude Fable 5조차도 엄격한 단일 작업 완전 정답 기준에서 완벽률은 3%에 불과했으며, 91개 작업 중 31개는 어떤 모델도 50% 이상의 점수를 얻지 못했습니다.
오픈소스 모델 중에서는 지푸(GLMO)의 GLM-5.2 (max)가 뛰어난 성과를 보였으며, 종합 점수는 Claude Opus 4.8 (max)보다 90점 낮았지만, 실행 비용은 Claude Opus 4.8 (max)의 25% 미만이었습니다. 실행 비용은 모델 간에 큰 차이를 보여, DeepSeek V4 Flash의 단일 작업 비용은 0.04달러에 불과한 반면, 가장 비싼 Claude Fable 5는 31달러를 초과했습니다. 분석에 따르면, 시각 검사 능력이 결과물의 레이아웃 품질을 향상시키는 데 매우 중요하며, 레이아웃 점수에서 선두를 달리는 Claude Fable 5와 Claude Opus 4.8 (max)는 각각 작업당 평균 21회와 12회의 이미지 확인 도구를 호출했습니다.