또 하나의 RSI 경로가 등장했다: 모델 파라미터는 그대로 두고, Agent는 Memory를 통해 지속적으로 진화한다

동찰 Beating AI 속보, UCSD 조교수 황비웨이가 창업한 인과 세계 모델 회사 Aether AI가 RSIAgent를 오픈소스로 공개했다.

이것은 모델을 훈련하지 않는 재귀적 자기 개선 프레임워크다. 기반 모델 파라미터는 전 과정 고정되어 있고, Agent가 스스로 연습할 가치가 있는 작업을 찾아 실제로 조작하고, 결과를 확인한 뒤 성공한 방법과 실패한 교훈을 장기 Memory에 기록한다. 다음 라운드에서도 이 경험들을 계속 활용해 능력의 부족한 부분을 점차 보완한다.

시스템은 세 개의 Agent가 협력한다. Curriculum Agent는 다음에 무엇을 연습할지 결정하고, Actor Agent는 실제로 소프트웨어를 조작하며, Verifier Agent는 독립적으로 결과를 검사한다. 탐색은 두 단계로 나뉜다. 먼저 다양한 작업을 폭넓게 시도한 뒤, 실패, 숨겨진 제약, 경계 상황을 겨냥해 계속 깊이 파고든다. 마지막으로 Memory가 동결되어 정식 작업 수행에 바로 사용된다.

OSWorld 2.0에서 이 RSI를 추가한 후 평균 부분 점수가 71.97%에서 78.98%로 향상되었고, Agents’ Last Exam은 83.75%에서 84.82%로 향상되었다. 다만 이것은 전체 테스트의 엄격한 A/B 비교는 아니다. OSWorld는 절반의 작업만 실제로 RSI 이후의 새 결과를 사용했고, 나머지 작업은 기존 성적을 그대로 이어서 사용했다.

이것은 Prime Agent 같은 Harness 자기 개선 사고와 같은 큰 방향에 속한다. 모델 가중치는 변하지 않고, 모델 외부의 것을 지속적으로 업데이트한다. RSIAgent의 특징은 개선 중점을 Memory에 두고, 자율 출제와 독립 검증을 통해 이 외부 경험 저장소를 끊임없이 축적하게 하는 것이다.