Arena가 AutoEval을 출시: AI가 먼저 실제 사용자처럼 평가하여, 새 모델은 1시간 만에 점수를 받을 수 있다

동차 Beating 모니터링에 따르면, 대형 모델 평가 플랫폼 Arena가 AutoEval을 출시했다. 이는 보상 모델(실제 사용자 선호도를 학습한 평가 모델)을 활용해 사용자 투표를 시뮬레이션하고, 신규 모델의 랭킹 점수를 빠르게 생성한다. 신규 모델 출시 후 실제 사용자 투표가 쌓이기를 며칠 기다릴 필요 없이, 최단 1시간 이내에 예상 순위를 얻을 수 있다. 해당 점수는 AutoEval로 표시되며, 이후 실제 사용자 투표 결과로 보정된다.

이 시스템은 수백만 건의 실제 사용자 선호도 데이터로 훈련되었다. 평가 시 AutoEval은 서로 다른 모델의 응답 품질을 비교하고, Arena의 기존 랭킹 규칙에 따라 점수를 계산한다. 현재 텍스트, 비전, 이미지 생성 및 코드 모델 평가를 지원한다.

Arena의 백테스트 결과, AutoEval과 이후 실제 사용자 순위 간의 상관관계는 0.98을 초과한다. 두 모델의 실제 점수 차이가 10점을 넘으면 승패 판단 정확도가 90% 이상이며, 15점을 넘으면 100%에 도달한다. 그러나 모델 간 차이가 5점 미만일 경우에는 여전히 안정적으로 구분하기 어렵다.