동차 Beating AI 속보, Scale AI가 HarnessOpt-Bench를 출시하여 AI가 스스로 Agent의 harness를 수정할 수 있는지, 다른 Agent를 더 강하게 조정할 수 있는지를专门 테스트합니다.
Harness는 모델 외부를 감싸는 프로그램으로, 프롬프트, 도구, 메모리 및 작업 흐름을 포함합니다. 테스트 중 AI는 의도적으로 충분히 최적화되지 않은 harness를 받아, 벤치마크 점수와 실패 사례를 기반으로 코드를 계속 수정하지만, 내부 모델 자체는 변경되지 않습니다.
수정이 완료된 후, Scale은 AI가 한 번도 본 적 없는 테스트 문제 세트를 사용하여 수정된 Agent가 실제로 더 강해졌는지 평가합니다. 이를 통해 AI가 알려진 문제에만 점수를 맞추는 것을 방지할 수 있습니다.
Scale은 Claude Opus 5, GPT-5.6 Sol, Kimi K3 등 5개 모델을 사용하여 4가지 작업 유형에서 111회 테스트를 실행했습니다. Opus 5가 가장 우수한 성능을 보였으며, 4개 항목 중 3개에서 1위를 차지했습니다.
전체적으로 볼 때, harness를 수정하는 모델이 누구인지가 Claude Code, Codex 또는 OpenCode를 사용하여 코드를 수정하는 것보다 더 중요합니다.
하지만 이것은 아직 진정한 'AI 자기 개선'이 아닙니다. 이번에는 하나의 AI가 다른 Agent의 harness를 수정하는 것이며, 초기 harness도 의도적으로 많은 최적화 여지를 남겨두었기 때문입니다.