로폴리: 대형 모델이 후훈련 시대에 진입하면서 톱 팀의 사전 훈련 및 후훈련 계산 능력 비율이 1:1에 도달

OneMillion_AI 모니터링에 따르면, Xiaomi의 대규모 모델 팀 리더 인 로푸리는 대규모 모델 경쟁이 사전 훈련 중심의 Chat 시대에서 후속 훈련(Post-train) 중심의 Agent 시대로 완전히 전환되었음을 강조했습니다. 현재 핵심 경쟁 요소는 "에이전트에서 강화 학습(RL)의 확장을 어떻게 수행할 것인가"입니다.

이러한 패러다임 변화는 연산 능력 할당의 재구성으로 직접 이어졌습니다. 로푸리는, Chat 시대에는 연구, 사전 훈련 및 후훈련에 할당 된 연산 능력 비율이 약 3:5:1이었으며, 현재 Agent 시대에서는 적절한 연산 능력 할당 비율이 3:1:1로 바뀌었으며, 즉 사전 훈련과 후훈련의 연산 능력 투자가 거의 동일해졌다고 밝혔습니다. 현재 최고 수준의 모델 팀은 이러한 두 항목에 대한 투자 비율이 1:1에 이르렀습니다.

동시에, 시스템 아키텍처의 요구 사항도 크게 변화했습니다. 과거의 RL 인프라는 주로 "모델 추론 엔진"이라는 핵심을 중심으로 하여 텍스트 만을 다루었으며, 현재의 인프라는 반드시 "에이전트"를 중심으로 하고 이질적 클러스터 스케줄링을 지원하며, 에이전트가 다양한 불확실한 요인으로 인해 복잡한 워크플로우에서 중단될 수 있도록 견딜 수 있어야 합니다.