동차 Beating 모니터링에 따르면, Cognition이 새로운 지능형 코드 평가 세트 FrontierCode를 출시했습니다. 이 평가 세트는 AI가 생성한 코드의 단순한 실행 정확성이 아닌 '병합 가능성'(Mergeability)에 중점을 둡니다. 평가 세트는 Celery, Budibase, uppy, Mattermost 등 36개 오픈소스 프로젝트 유지관리자와 공동 개발되었으며, 각 작업은 개발자가 40시간 이상 투자하여 정교하게 다듬었습니다. 이를 통해 코드 테스트 품질, 설계 규범, 수정 범위 및 스타일 규범을 검증합니다.
FrontierCode는 Extended(150개 작업), Main(100개 작업), Diamond(가장 어려운 50개 작업)의 세 가지 레벨로 나뉩니다. 난이도가 매우 높은 Diamond 작업 세트에서 현재 대형 모델의 성능은 여전히 큰 개선 여지가 있습니다. 가장 우수한 성능을 보인 Claude Opus 4.8은 13.4%의 점수만 기록했으며, GPT-5.5는 6.3%, Gemini 3.1 Pro는 4.7%를 기록했습니다. 오픈소스 모델 중 가장 우수한 Kimi K2.6은 3.8%에 불과했습니다.
대형 모델이 부정행위나 투기적 수단으로 테스트를 통과하는 것을 방지하기 위해, 평가 세트는 여러 평가 메커니즘을 도입했습니다. 여기에는 지능형 에이전트가 작성한 테스트가 원본 결함 코드에서 반드시 실패해야 하는 역방향 테스트와 수정 파일 수 및 줄 수를 제한하는 범위 제약이 포함됩니다. 개발팀은 또한 대형 모델 기반의 mutagent 도구를 설계하여 테스트 환경을 동적으로 조정함으로써 합리적인 차별화 구현을 수용하고, 평가 오판률을 SWE-Bench Pro의 5분의 1 수준으로 낮췄습니다.