홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

AI가 전체 코드베이스를 마이그레이션하도록 했더니, 94.6%가 통과하지 못함: 20개 작업 중 13개는 아무도 성공하지 못함

동찰 Beating AI 속보, AI 에이전트 회사 Einsia가 SWE Refactor Bench를 발표했습니다. 이는 Coding Agent가 코드베이스 전체를 스스로 마이그레이션할 수 있는지专门 테스트하는 벤치마크입니다. 20개의 작업은 SQLite, zlib, libsodium, GraphHopper 등 실제 프로젝트에서 가져왔으며, C에서 Rust로, Maven에서 Gradle로, SQLite를 WASI로 이식하는 작업이 포함됩니다. 각 작업에는 에이전트에게 6~30시간이 주어집니다.


평가의 첫 번째 단계는 기존 기술 스택이 실제로 대체되었는지 확인하여 에이전트가 기존 코드를 남겨두고 통과하는 것을 방지합니다. 두 번째 단계는 13만 개 이상의 고정 검사를 실행합니다. 마지막으로 6개의 독립적인 Coding Agent를 배치하여 각각 1시간씩 숨겨진 버그를专门 찾습니다.


8개의 최첨단 모델과 26가지 구성으로 총 520번의 실행이 이루어졌습니다. 340번은 실제로 마이그레이션을 완료했고, 88번은 사전 준비된 테스트를 모두 통과했지만, 그중 60번은 마지막 라운드에서 숨겨진 버그가 발견되었습니다. 최종적으로 28번만 완전히 통과하여 통과율은 5.4%였습니다. 20개 작업 중 13개는 아무도 성공하지 못했습니다. Claude Opus 5의 xhigh 구성이 가장 우수하여 20개 작업 중 5개를 완전히 통과했습니다.


현재의 Coding Agent는 대규모로 코드를 수정할 수 있지만, '전체 시스템을 수정하면서 완전히 오류 없이 완료하는 것'은 아직 갈 길이 멀습니다.

举报 오류 신고/제보
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료