독립 개발자 Yetone의 Alma가 Agent 3위권에 진입했으며, 통과율과 비용 모두 Claude Code를 앞섰다.

동찰 Beating AI 속보, 독립 개발자 Yetone이 주도 개발한 Alma가 최신 AI Agent 종합 평가에서 작업 통과율과 성공 비용 모두 3위를 차지하며 Claude Code, OpenCode 등 유명 도구들을 앞질렀다.

이번 평가는 AI Agent 인프라 기업 Runta가 주최했다. 현재 리더보드 스냅샷에서 Alma의 작업 통과율은 72.7%로, Codex CLI의 77.9%와 Pi의 72.8%에 이어 3위다. Claude Code는 70.0%였다.

Alma는 통과율이 높을 뿐만 아니라 작업 완료 비용도 더 저렴하다. 문제 하나를 성공적으로 완료하는 데 평균 약 0.80달러가 들며, Claude Code는 0.94달러로 약 16% 더 높은 비용이 든다.

이번 FrontierHarness v1.1은 한 가지 문제를 집중 연구한다. 동일한 대형 모델이라도 Agent 실행 프레임워크를 바꾸면 성능 차이가 얼마나 날까?

평가는 21개 Harness 구성, 5개 대형 모델, 62개 작업을 대상으로 하며, 각 작업을 4회 반복해 총 26,040회 실행을 계획하고 있어 이전 버전의 72배 규모다. 모든 도구는 통일된 클라우드 환경에서 실행되며 작업 성공률, Token 비용, 실행 속도를 비교한다.

Alma는 로컬 실행과 장기 기억을主打로 하는 AI Agent로, 코드를 직접 읽고 수정하며 터미널 명령을 실행하고 웹을 검색할 수 있고 Skills와 MCP도 지원한다. 기반 모델을 자유롭게 전환할 수 있어 특정 모델 제공업체에 의존하지 않는다.

최근 Alma는 Herdr도 통합했다. Claude Code, Codex, Pi 등 프로그래밍 Agent는 계속 Herdr에서 실행될 수 있으며, Alma는 이들을 하나의 채팅 인터페이스로 모아 실행 과정을 확인하고 질문에 답하며 작업을 승인할 수 있게 한다. 사용자는 심지어 iPhone을 통해 컴퓨터의 여러 Agent를 원격 관리할 수 있다.

현재 평가는 아직 끝나지 않아 순위는 여전히 변동될 수 있다. 참가 모델도 GLM, DeepSeek, Kimi, Muse 등 오픈소스 모델로 한정되며 GPT와 Claude 시리즈 폐쇄형 모델은 포함되지 않았다.