뤄푸리가 반년 동안 참아왔는데, 샤오미가 MiMo-V2.6 강화학습을 바로 생방송으로 공개했다.

동찰 Beating AI 속보, 샤오미가 차세대 MiMo-V2.6의 강화학습 훈련을 공개 생방송으로 진행하고 있다.

책임자 뤄푸리는 팀이 약 반년 동안 침묵하며 강화학습이 과연 어느 정도 규모까지 확장될 수 있는지 계속 연구해왔다고 밝혔다. 현재 V2.6은 아직 훈련 중이며, 구체적인 기술 방안은 향후 몇 주에 걸쳐 순차적으로 오픈소스화될 예정이다.

이번에는 처음부터 규모를 매우 높게 끌어올렸다. 매 스텝마다 1568개의 prompt를 사용하고, 각각 16개의 rollout을 생성하며, 총 약 20억 Token을 전 과정 비동기로 실행한다. 코드, 범용, 비전, 사이버 보안, 채팅 등 Agent 작업도 동일한 훈련에 혼합되어 여러 harness를 동시에 사용한다.

외부에서 매 스텝의 작업 구성, 컨텍스트 길이, 훈련 소요 시간 등 내부 지표를 실시간으로 볼 수 있다. UC Berkeley 박사과정 Yichuan Wang은 패널을 통해 매 스텝 약 1500개의 작업이 있으며, 코드 작업이 약 3분의 2를 차지하고, 동시에 활성화된 샌드박스가 4만 개를 넘는다고 관찰했다.