OpenAI가 GPT-6 Astra 평가 데이터를 조용히 조정한 것으로 지적되며, 일부 지표에서 경쟁사가 더 나빠 보이게 만들었다.

동차 Beating AI 속보, OpenAI가 9월 3일 GPT-6 Astra를 출시한 이후 여러 모델 평가 벤치마크 데이터가 지속적으로 조정되었으며, 일부 수정은 Astra의 성능을 더 우수하게 보이게 했고, 동시에 일부 경쟁사 모델의 점수는 하락하여 외부에서 AI '벤치마크 부풀리기'와 평가 투명성에 대한 의문이 제기되고 있다.

그중 Astra의 환각률은 4.2%에서 2%로 하향 조정되었고, GPT-5.6 Sol은 12.2%에서 9.4%로 낮아졌다가, 이후 둘 다 다시 4.2%와 12.2%로 복원되었다. 수학 평가에서 Anthropic의 Fable 5.1 점수도 87.8%에서 78%로 하락했다가 현재 83%로 회복되었으며, GPT-5.6 Sol은 83%에서 80.5%로 하락했다가 이후 83%로 복원되었다.

또한 Astra는 ARC-AGI-3 평가에서 출시 전 초안의 98.6%에서 최종 페이지의 99.99%로 상승했으며, 프로그래밍 평가 점수도 57.7%에서 57.9%로 소폭 상향 조정되었다. OpenAI는 평가 결과가 모델 버전, 도구 구성, 추론 수준 및 테스트 실행 등의 요인에 영향을 받을 수 있으며, 이번 조정은 데이터가 모델의 최적 성능을 더 정확하게 반영하도록 하기 위한 것이라고 밝혔다.

그러나 스탠포드 대학 연구진은 잦은 평가 재실행이 소위 'Benchmaxxing'과 관련될 수 있다고 지적하는데, 이는 테스트 조건을 조정하여 벤치마크 점수를 극대화하는 방식이다. 업계 관계자들은 AI 모델 경쟁이 심화됨에 따라 평가 데이터가 모델 역량을 측정하고 시장을 선점하는 중요한 도구가 되었으며, 벤치마크 테스트의 투명성과 재현성을 어떻게 높일지에 대한 관심이 점점 커지고 있다고 지적한다.