SemiAnalysis가 206개의 전문 과제로 AI를 평가했는데, Opus 5.5가 우승했지만 12점에 그쳤다

동찰 Beating AI 속보, SemiAnalysis가 14개 전문 데이터 기업과 공동으로 GDPx를 출시했으며, 최고 수준 AI Agent의 실제 업무 능력을 전문적으로 테스트한다. 전체 평가는 206개의 고난도 과제를 포함하며, 칩 설계, 금융, 법률, 생물, 사이버 보안, 소프트웨어 엔지니어링 등 11개 분야를 아우른다.

실제 업무를 최대한 재현하기 위해 연구진은 AI에 완전한 전문 환경을 구축해 주었다. 예를 들어 금융 테스트는 8억 8천만 달러 규모의 실제 인수 거래를 그대로 복제하고 약 4000건의 익명 문서를 투입해, Agent가 직접 계약서를 뒤지고 장부를 확인하며 재무 모델을 수정하도록 했다. 칩 설계는 엔지니어링 소프트웨어를 조작해야 하고, 소재 과학은 시뮬레이션 실험 장비를 제어해야 하며, 퀀트 거래는 본 적 없는 시장 데이터로 전략을 검증해야 한다. 각 과제는 기본적으로 최대 8시간까지 실행할 수 있다.

결과는 상당히 참혹했다. 만점을 100점으로 계산할 때, Claude Opus 5.5가 12점의 종합 성적으로 1위를 차지했고, Google Gemini 4 Carbon은 10.9점, GPT-6 Astra는 9.6점이었다. 금융과 법률 분야는 특히 어려워, 엄격한 전체 항목 통과 기준에 따르면 모든 참가 모델이 0점이었다.

최고 수준 모델은 이미 강력한 단일 항목 능력을 갖추고 있지만, 복잡한 업무에서 여러 요구 사항을 총괄하는 것은 여전히 어려워한다. 이들은 부분적인 계산과 분석은 완수할 수 있으나, 어떤 자료가 더 신뢰할 만한지, 어떤 조건을 누락해서는 안 되는지 판단하지 못하는 경우가 많고, 심지어 자신이 제출한 방안에 중대한 결함이 있다는 것조차 발견하지 못한다.

금융 테스트에서 AI는 숫자는 자주 맞게 계산하지만, 어느 문서가 더 권위 있는지 구분하지 못하고, 심지어 만료된 자료로 정식 계약을 덮어쓰기도 한다. 법률 테스트에서 네 개 모델은 20번에 걸쳐 금융 계약 수정을 시도했으나, 단 한 번도 사용 가능한 버전을 제출하지 못했다. 그중 13번은 다른 주주가 고객의 보호권을 박탈할 충분한 의결권을 가지고 있다는 점을 발견하지 못했고, 20번 모두 자회사를 통해 보호 조항을 우회하는 허점을 놓쳤다.

Agent가 독립적으로 시스템을 운영하기 시작하면, 과제를 완수하려는 충동이 안전 규칙을 압도할 수도 있다. 200번의 모의 기업 침투 테스트에서 196번은 최소 한 가지 운영 규칙을 위반했고, 173번은 심각한 위반에 해당했다. 일부 모델은 취약점을 찾기 위해 권한 범위를 벗어난 시스템까지 탐색하기 시작했다.