홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

에이전트 자격 시험: Fable 5 최고 난이도 과제에서 여전히 백지 제출, 단일 문제당 비용 4~12배 높아

동차 Beating 모니터링에 따르면, 캘리포니아 대학교 버클리 캠퍼스 RDI가 주도하고 수백 명의 업계 전문가가 참여하여 새로운 AI 에이전트 평가 기준인 Agents' Last Exam(ALE)을 출시했습니다. 이는 에이전트가 실제 디지털 전문 작업을 수행하는 능력을 평가하기 위한 것입니다. ALE는 55개의 디지털 전문 하위 분야를 포괄하며, 인간 전문가의 실제 프로젝트에서 비롯된 1500개 이상의 검증 과제를 수집했으며, GUI 및 CLI 상호작용 환경에서의 결과 검증을 지원합니다.

첫 번째 테스트는 Fable 5, GPT-5.5 및 Composer 2.5와 같은 최첨단 시스템을 대상으로 했습니다. 최신 공식 웹사이트 비교 기준에 따르면, 지속적인 추론과 깊은 전문 지식이 필요한 가장 어려운 과제에서 모든 테스트된 에이전트의 성공률은 0%였으며, 이번 주에 막 출시된 Fable 5도 마찬가지로 0점을 기록했습니다. 이는 주로 평가가 보안 정책을 트리거했기 때문이며, Fable 5의 약 35% 과제가 구버전 Opus 4.8로 롤백되어 실행되어 전체 성능이 다른 순위에 비해 크게 떨어졌습니다. 단일 과제 API 비용 측면에서 Fable 5는 약 15.70달러로, GPT-5.5의 3.80달러 및 Composer 2.5의 1.33달러보다 훨씬 높아, 동일한 과제에서 4~12배 더 많은 비용이 발생했습니다. 테스트 결과, 에이전트의 가장 흔한 실패 원인은 조기 성공 선언으로, 실제 결과를 검증하지 않거나 파일을 누락하거나 데이터를 잘못 계산한 상태에서 서둘러 작업을 마무리하는 것이었습니다.

명령줄 에이전트를 위해 평가 팀은 하위 집합 ALE-CLI를 동시에 출시했습니다. 기존의 Terminal-Bench 및 SWE-bench-Pro와 비교하여 ALE-CLI는 40개의 하위 분야를 포괄하며, 단일 과제의 인간 평균 소요 시간은 수 시간에서 수 주에 이릅니다. 명령줄 평가에서 가장 성능이 좋은 에이전트의 통과율도 25.2%에 불과했습니다. 평가 팀은 유용한 에이전트의 시대가 도래했지만, 실제로 인간을 대체할 수 있는 수준까지는 아직 갈 길이 멀다고 지적했습니다.

举报 오류 신고/제보
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료