동차 Beating 모니터링에 따르면, 바이트댄스 Seed 팀이 AI의 12~72시간 초장기 작업 환경 학습 성능을 연구하기 위한 지능체 벤치마크 테스트인 EdgeBench를 발표했습니다. 3만 8천 시간 이상의 지능체 운영 기록을 분석한 결과, 연구팀은 AI의 학습 곡선이 매우 예측 가능하며, 지능체의 성능이 상호작용 시간이 길어짐에 따라 향상되어 로그-시그모이드(log-sigmoid) 곡선에 정확히 부합한다는 사실을 발견했습니다. 연구자들은 그래프 탐색 이론을 차용해 이 규칙을 설명하며, 지능체의 발전이 마치 스킬 그래프에서 경계를 확장하는 것과 같다고 분석했습니다. Seed 팀은 벤치마크 테스트 프레임워크와 첫 51개 작업을 오픈소스로 공개했습니다.
이와 반대로, 연구 기관 Epoch AI는 같은 날 EBR-bench 평가 결과를 발표하며 다른 결론을 도출했습니다. 보드 게임 환경 테스트에서 AI는 전략 가이드를 제공받았음에도 반복 시도 후 학습 및 자기 개선 행동을 거의 보이지 않았습니다. 이러한 차이는 AI의 자율 학습 잠재력이 작업 환경과 피드백 링크 설계에 크게 영향을 받는다는 것을 시사합니다. 시스템 수준의 엔지니어링이나 과학 탐구처럼 지속적인 환경 피드백이 필요한 시나리오에서는 지능체가 누적된 이점을 구축할 수 있지만, 전략이 상대적으로 복잡한 이산 규칙 게임에서는 현재의 온라인 학습이 여전히 어려움을 겪고 있습니다.