동찰 Beating AI 속보, AI 에이전트 회사 Einsia가 SWE Refactor Bench를 발표했습니다. 이는 Coding Agent가 코드베이스 전체를 스스로 마이그레이션할 수 있는지专门 테스트하는 벤치마크입니다. 20개의 작업은 SQLite, zlib, libsodium, GraphHopper 등 실제 프로젝트에서 가져왔으며, C에서 Rust로, Maven에서 Gradle로, SQLite를 WASI로 이식하는 작업이 포함됩니다. 각 작업에는 에이전트에게 6~30시간이 주어집니다.
평가의 첫 번째 단계는 기존 기술 스택이 실제로 대체되었는지 확인하여 에이전트가 기존 코드를 남겨두고 통과하는 것을 방지합니다. 두 번째 단계는 13만 개 이상의 고정 검사를 실행합니다. 마지막으로 6개의 독립적인 Coding Agent를 배치하여 각각 1시간씩 숨겨진 버그를专门 찾습니다.
8개의 최첨단 모델과 26가지 구성으로 총 520번의 실행이 이루어졌습니다. 340번은 실제로 마이그레이션을 완료했고, 88번은 사전 준비된 테스트를 모두 통과했지만, 그중 60번은 마지막 라운드에서 숨겨진 버그가 발견되었습니다. 최종적으로 28번만 완전히 통과하여 통과율은 5.4%였습니다. 20개 작업 중 13개는 아무도 성공하지 못했습니다. Claude Opus 5의 xhigh 구성이 가장 우수하여 20개 작업 중 5개를 완전히 통과했습니다.
현재의 Coding Agent는 대규모로 코드를 수정할 수 있지만, '전체 시스템을 수정하면서 완전히 오류 없이 완료하는 것'은 아직 갈 길이 멀습니다.