동차 Beating 모니터링에 따르면, 핀테크 유니콘 Ramp가 최첨단 AI 코딩 에이전트를 위한 사내 테스트 벤치마크인 Ramp SWE-Bench를 발표했습니다. Ramp SWE-Bench는 Ramp의 실제 프로덕션 환경에서 추출된 80개의 백엔드 개발 작업으로 구성되어 있으며, 공개 평가 데이터셋에서 모델 사전 학습으로 인한 데이터 유출 및 지표 포화 문제를 해결하는 것을 목표로 합니다.
테스트 작업은 모두 Ramp 내부 AI 코딩 어시스턴트 Inspect가 프로덕션 환경에 성공적으로 배포한 실제 풀 리퀘스트(PR)에서 추출되었습니다. 각 작업은 PR 제출 전의 기본 코드베이스를 재구성하고, 병합된 코드와 테스트를 골드 스탠다드로 유지하며, 엔지니어가 Inspect 대화에서 제시한 원래 의도를 프롬프트로 추출합니다. 평가는 mini-swe-agent 샌드박스 환경을 사용하며, 단일 실행으로 모든 테스트를 통과하고 기존 기능을 손상시키지 않는 것(pass@1)을 통과 기준으로 삼습니다.
공개된 14개 모델의 횡적 평가 결과에 따르면, Anthropic이 새로 출시한 Claude Fable 5가 87.5%의 해결률로 1위를 차지했습니다. Claude Opus 4.7과 GPT-5.5는 각각 83.75%의 해결률로 공동 2위를 기록했습니다. Claude Opus 4.8은 해결률이 77.5%에 불과하지만, 단일 작업 평균 실행 시간이 8분 30초로 단축되었고, 단일 실행 비용이 1.09달러에 불과해 Fable 5 실행 비용의 40% 미만으로 뛰어난 비용 효율성을 보여주었습니다.
테스트 데이터는 또한 모델 간의 가격과 성능 간의 트레이드오프를 드러냈습니다. 국산 모델 Kimi K2.6과 GLM 5.1은 각각 72.5%와 71.25%로 유사한 해결률을 보였지만, Kimi K2.6의 평균 비용은 0.69달러로 GLM 5.1보다 약 34% 저렴했습니다. 경량 모델 중에서는 GPT-5.4 Mini가 58.75%의 해결률로 Claude Haiku 4.5를 약 10% 포인트 앞질렀으며, 평균 비용과 단계 수가 모두 절반으로 줄었습니다. Ramp는 모델이 실제 응용으로 나아감에 따라 성능, 속도 및 비용 간의 균형이 엔지니어링 구현 시 핵심 고려 사항이 되고 있다고 지적했습니다.