홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

Cognition, FrontierCode 출시: 코드 병합 품질을 측정하는 최초의 AI 평가 세트

동차 Beating 모니터링에 따르면, Cognition이 새로운 지능형 코드 평가 세트 FrontierCode를 출시했습니다. 이 평가 세트는 AI가 생성한 코드의 단순한 실행 정확성이 아닌 '병합 가능성'(Mergeability)에 중점을 둡니다. 평가 세트는 Celery, Budibase, uppy, Mattermost 등 36개 오픈소스 프로젝트 유지관리자와 공동 개발되었으며, 각 작업은 개발자가 40시간 이상 투자하여 정교하게 다듬었습니다. 이를 통해 코드 테스트 품질, 설계 규범, 수정 범위 및 스타일 규범을 검증합니다.

FrontierCode는 Extended(150개 작업), Main(100개 작업), Diamond(가장 어려운 50개 작업)의 세 가지 레벨로 나뉩니다. 난이도가 매우 높은 Diamond 작업 세트에서 현재 대형 모델의 성능은 여전히 큰 개선 여지가 있습니다. 가장 우수한 성능을 보인 Claude Opus 4.8은 13.4%의 점수만 기록했으며, GPT-5.5는 6.3%, Gemini 3.1 Pro는 4.7%를 기록했습니다. 오픈소스 모델 중 가장 우수한 Kimi K2.6은 3.8%에 불과했습니다.

대형 모델이 부정행위나 투기적 수단으로 테스트를 통과하는 것을 방지하기 위해, 평가 세트는 여러 평가 메커니즘을 도입했습니다. 여기에는 지능형 에이전트가 작성한 테스트가 원본 결함 코드에서 반드시 실패해야 하는 역방향 테스트와 수정 파일 수 및 줄 수를 제한하는 범위 제약이 포함됩니다. 개발팀은 또한 대형 모델 기반의 mutagent 도구를 설계하여 테스트 환경을 동적으로 조정함으로써 합리적인 차별화 구현을 수용하고, 평가 오판률을 SWE-Bench Pro의 5분의 1 수준으로 낮췄습니다.

举报 오류 신고/제보
관련추천
새로운 세대의 기업가들이 이미 무대로 나서고 있습니다. 그들 앞에 놓인 것은 "AI가 어떻게 세상을 혁신할 것인가"라는, 올림픽보다 훨씬 어려운 과제입니다.
초대형 클라우드 업체들이 자본 도구를 활용해 핵심 설계 단계의 공급 확정성을 높이고 있다.
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료