AI 인턴 7개월 만에 실제 사람을 추월: Fable 5.1 회계 직무 성공률 72%

동찰 Beating AI 속보, AI Agent 스타트업 NeoCognition이 ApprenticeBench를 발표했다. 이는 AI가 신입사원처럼 입사 후 스스로 업무를 배울 수 있는지를 전문적으로 측정하는 벤치마크다. 첫 버전에서는 Agent가 가상의 캘리포니아 건설 회사에 들어가 매입채무를 담당한다. 먼저 반년치 과거 청구서, 회사 매뉴얼, Odoo 튜토리얼을 읽은 뒤, 7개월 동안 100장의 청구서를 연속 처리하며, 그 과정에서 규칙 변경과 상사의 피드백도 마주한다.

Fable 5.1의 최종 성공률은 72%, GPT-6 Astra는 68%, 최고的人类 테스터는 51%에 그쳤다. 과제는 송장 입력 외에도 오류 발견, 비용 코드 배분, 공급업체 연락, 승인 절차 진행, 그리고 과거 기록과 피드백에서 회사의 내부 규칙을 학습하는 것을 포함한다. 두 모델 모두 GUI를 직접 조작한 성적이 API를 호출한 것보다 오히려 약간 높았으며, 과거 Computer Use에서 흔히 나타나던 성능 손실이 거의 사라졌다.

다만 '인간을 초월했다'는 것은 이 하나의 시뮬레이션 직무에서만 성립하며, 실제 인간 표본도 2명뿐이다. 비용도 더 높다. Fable 5.1은 평균 과제당 18.23달러가 드는 반면, 인간은 약 7.21달러다. 인간은 할수록 빨라지지만, Agent는 기억하는 것이 많아질수록 오히려 느려진다.