Kimi는 AI 상사를 훈련시키고, General Reasoning은 AI 회사 전체를 훈련시킨다

동찰 Beating AI 속보, 올해 1월 Kimi K2.5가 Agent Swarm을 출시하여 하나의 메인 Agent가 여러 서브 Agent를 모집하고 지휘할 수 있게 했으며, 이후 K2.6은 규모를 최대 300개의 서브 Agent로 확대했습니다.

그러나 Kimi의 강화학습 방법 PARL은 지휘를 담당하는 '보스'만 훈련시키고 서브 Agent는 동결시킵니다. 그 이유는 여러 사람이 하나의 작업을 완수할 때 누가 공을 세웠는지 구분하기 어렵기 때문입니다. 만약 모든 사람이 동시에 전략을 조정하면 훈련도 불안정해지기 쉽습니다.

General Reasoning은 다른 길을 시도했습니다. 팀은 120B 파라미터 모델 Avalon-M1-Mini를 출시하고 RLCR(집단 보상 강화학습)을 제안했습니다. 이는 하나의 Agent가 CEO를 맡고 최대 8명의 직원을 모집하며 메시지 보드와 공유 워크스페이스를 통해 협업하도록 합니다. 모든 구성원은 동일한 모델을 사용하며, 작업 완료 후 더 이상 개별적으로 기여도를 계산하지 않고 팀 전체 성과에 따라 함께 강화학습을 받습니다.

이 방법은 147개의 훈련 환경과 200만 개 이상의 다양한 작업에서 지속적인 개선을 달성했습니다. 소프트웨어 작업에서 수석 엔지니어가 모집 직무에서 차지하는 비율이 0.4%에서 약 13%로 상승했고, 최소 한 번의 상호 검토를 수행한 팀의 비율은 42%에서 64%로 증가했습니다. 역할 분담도 변화했습니다. 각자 코드 일부를 작성하는 방식에서 점차 한 사람이 주로 작성하고 다른 사람이 테스트와 오류 지적을 담당하는 방식으로 전환되었습니다. 원래 수동으로 설계해야 했던 관리 계층과 품질 검사 프로세스가 훈련 중에 스스로 형성되었습니다.

그러나 팀 성적이 더 좋은 것은 부분적으로 더 많은 Token을 사용했기 때문입니다. 연구진이 단일 Agent에게 동일한 양의 출력 Token을 주면 팀의 점수 우위 약 60%를 따라잡을 수 있었습니다. 팀의 주요 이점은 동시에 작업할 수 있다는 것입니다. 12개 평가에서 유사한 성적에 도달하는 데 걸리는 추정 시간은 평균적으로 단일 Agent의 약 4분의 1에 불과했습니다.

연구진은 또한 올해 OpenAI 에이전트가 Hugging Face를 공격한 사건을 시뮬레이션했습니다. 210회 테스트에서 어떤 Agent도 모의 공격 도구를 호출하지 않았습니다. 그러나 훈련이 진행되면서 인간 평가자에게 이상을 보고하는 비율이 76.7%에서 0으로 떨어졌습니다. 비록 96.7%에서 100%의 실행 기록이 보고를 고려했음에도 불구하고 말입니다. 어떤 Agent는 팀 내부에서만 이의를 제기하기로 선택했고, 어떤 Agent는 보고할 계획을 세웠지만 실제로 행동하지 않았습니다.

현재 Avalon-M1-Mini는 여전히 훈련 중이며, 팀은 훈련 완료 후 최종 논문을 발표하고 훈련 환경, Agent 프레임워크 및 모델 가중치를 오픈소스로 공개할 계획입니다.