동차 Beating 모니터링에 따르면, Databricks가 자체 수백만 줄의 코드 베이스에 있는 실제 PR을 테스트로 활용한 내부 AI 프로그래밍 Agent 평가를 공개했습니다.
이 평가는 SWE-Bench를 직접 사용하지 않았습니다. Databricks는 공개된 문제 세트가 학습 데이터에 포함되었을 가능성이 있고, 실제 엔지니어링 환경과도 충분히 가깝지 않다고 판단했습니다.
테스트 과제는 최근 병합된 PR에서 추출되었으며, Python, Go, TypeScript, Scala 등의 언어를 포함합니다. 팀은 봇 제출, AI 생성 코드, 자동 생성 코드를 걸러내고, 결과를 검증할 수 있는 과제만 유지했습니다.
결과에 따르면, 프로그래밍 Agent는 대략 세 가지 등급으로 나뉘었습니다. 최상위 등급에는 OpenAI와 Anthropic 모델뿐만 아니라 오픈소스 모델도 포함됩니다. GLM 5.2는 첫 번째 계층에 진입하여 품질 면에서 Opus 4.8에 근접했으며, 단일 과제 비용은 1.28달러로 Opus 4.8의 1.94달러보다 낮았습니다.
평가에서는 또한 Token 단가가 실제 비용을 직접적으로 대표하지 않는다는 점이 밝혀졌습니다. Sonnet 5는 Token당 더 저렴하지만, 이 과제 세트에서 더 오래 실행되고 더 많은 데이터를 읽어 단일 과제 비용이 오히려 더 높았습니다.
도구 셸도 매우 중요합니다. 동일한 모델이라도 다른 Agent 프레임워크를 사용하면 과제 비용이 최대 2배 이상 차이날 수 있지만, 완료 품질의 변화는 크지 않았습니다.