DeepSeek V4 Pro가 5개 Harness를 실행: Pi 성공률 1위, DSH가 가장 비용 효율적

동차 Beating AI 속보, Agent 도구 회사 Composio가 동일한 DeepSeek V4 Pro 0813을 각각 Pi Agent, DeepSeek Harness 0.1, Claude Code, OpenCode 및 Hermes Agent에 넣고, 모두 max reasoning으로 설정한 뒤 30개의 다단계 Agent 작업을 실행했습니다.

통과율:

1. Pi Agent: 21/30
2. DeepSeek Harness: 20/30
3. Claude Code: 19/30
4. OpenCode: 19/30
5. Hermes Agent: 18/30

30개 문제 중 15개는 5개 업체 모두 통과했고, 7개는 5개 업체 모두 실패했습니다. 나머지 8개는 Harness만 교체했을 뿐인데 결과가 뒤집혔습니다.

속도 순위:

1. Claude Code: 181.8초
2. DeepSeek Harness: 252.1초
3. Hermes Agent: 273.6초
4. OpenCode: 280.6초
5. Pi Agent: 362.9초

단일 성공 비용:

1. DeepSeek Harness: 0.028달러
2. Pi Agent: 0.031달러
3. OpenCode: 0.032달러
4. Hermes Agent: 0.037달러
5. Claude Code: 0.074달러

Pi가 통과율이 가장 높고, DeepSeek 공식 Harness가 가장 비용 효율적이며, Claude Code가 가장 빠르지만 가장 비쌉니다.

Composio는 이전에 DeepSeek V4 Flash로 유사한 테스트를 진행했으며, 당시에도 Pi가 가장 높은 통과율을 기록했습니다.