홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

AI가 자동으로 Agent Harness를 개선하기 시작했습니다: Opus 5가 4개 항목 중 3개에서 1위를 차지했습니다.

동차 Beating AI 속보, Scale AI가 HarnessOpt-Bench를 출시하여 AI가 스스로 Agent의 harness를 수정할 수 있는지, 다른 Agent를 더 강하게 조정할 수 있는지를专门 테스트합니다.

Harness는 모델 외부를 감싸는 프로그램으로, 프롬프트, 도구, 메모리 및 작업 흐름을 포함합니다. 테스트 중 AI는 의도적으로 충분히 최적화되지 않은 harness를 받아, 벤치마크 점수와 실패 사례를 기반으로 코드를 계속 수정하지만, 내부 모델 자체는 변경되지 않습니다.

수정이 완료된 후, Scale은 AI가 한 번도 본 적 없는 테스트 문제 세트를 사용하여 수정된 Agent가 실제로 더 강해졌는지 평가합니다. 이를 통해 AI가 알려진 문제에만 점수를 맞추는 것을 방지할 수 있습니다.

Scale은 Claude Opus 5, GPT-5.6 Sol, Kimi K3 등 5개 모델을 사용하여 4가지 작업 유형에서 111회 테스트를 실행했습니다. Opus 5가 가장 우수한 성능을 보였으며, 4개 항목 중 3개에서 1위를 차지했습니다.

전체적으로 볼 때, harness를 수정하는 모델이 누구인지가 Claude Code, Codex 또는 OpenCode를 사용하여 코드를 수정하는 것보다 더 중요합니다.

하지만 이것은 아직 진정한 'AI 자기 개선'이 아닙니다. 이번에는 하나의 AI가 다른 Agent의 harness를 수정하는 것이며, 초기 harness도 의도적으로 많은 최적화 여지를 남겨두었기 때문입니다.

举报 오류 신고/제보
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료