정보를 계속 고치면 대형 모델이 혼란스러워진다: 가장 성능이 좋은 GPT-5.5도 59.3%만 맞힐 수 있다

동찰 Beating AI 속보, 텐센트 훈위안 등 팀이 EvolveScaler를 발표했는데, 이는 대형 모델이 끊임없이 변화하는 정보를 따라잡을 수 있는지 전문적으로 테스트하는 도구다. 장문에 수정, 철회, 추가 기록, 무효화된 정보를 계속 삽입한 뒤 모델이 최신 상태에 따라 질문에 답하도록 한다.

예를 들어 먼저 모델에게 40일간의 게임 기록을 보여준 뒤, "만약 7일째에 그 작은 보스를 잡지 않았다면, 최종적으로 이길 수 있을까?"라고 묻는다. 이는 이후의 장비, 체력, 전투 결과까지 연쇄적으로 바꾼다. 모델은 7일째부터 이후 수십 일을 다시 추론해야 하며, 원문에는 바로 쓸 수 있는 답이 없다.

팀은 117가지 유형의 작업, 159가지 질문을 설계했으며, 최대 약 1200개의 이벤트로 구성된다. 14개 모델 구성에는 GPT-5.5, Gemini 3.1 Pro, DeepSeek V4 Preview Pro, GLM-5.2, Qwen3.5 Plus가 포함된다. 가장 어려운 단계에서 성적 중앙값은 11.3%에 불과했고, 가장 좋은 성적을 낸 GPT-5.5-xhigh도 59.3%에 그쳤다.

이 데이터셋은 모델 훈련에도 활용할 수 있다. 내부 A3B 모델에 이런 데이터 6000건을 추가한 후, 8개 외부 테스트에서 모두 향상되었으며 평균 5.25점 올랐다.