동차 Beating 모니터링에 따르면, 대규모 모델 후속 훈련에서의 '동궤 샘플링'(즉, 모델이 자신이 실시간으로 생성한 데이터를 기반으로 훈련하는 방식)은 모델 성능 저하를 방지하고 문제 해결 능력을 향상시키는 핵심 요소입니다. 온라인 강화 학습(RL)과 동궤 증류(OPD)가 기존의 지도 미세 조정(SFT)보다 우수한 이유는, 본질적으로 모델이 외부 정답을 암기하는 대신 자신이 작성한 단계를 기반으로 최적화를 진행하기 때문입니다.
SFT는 정답을 강제로 주입하며, 모델을 수정하는 힘을 각 단어에 균일하게 가해 기존 지식 구조를 쉽게 손상시키고 망각을 유발합니다. 반면, RL과 OPD는 모델이 자신이 작성한 초안에서 최적의 단계를 찾아 강화하도록 합니다. 이는 '첫 단어를 잘못 쓰면 이후 모든 과정이 틀어지는' 누적 오류를 방지할 뿐만 아니라, 업데이트가 모델이 이미 알고 있는 지식 영역 내에서만 이루어져 원래의 능력을 최대한 보존합니다.
'최소 코드 편집' 실험에서, SFT 또는 RL 교사를 사용한 동궤 증류를 통해 학생 모델이 한 번에 코드를 올바르게 작성할 확률(Pass@1)은 각각 80.0%와 78.7%로, 교사 모델을 능가했습니다. SFT 교사가 과도한 미세 조정으로 인해 심각하게 성능이 저하되었음에도(LiveCodeBench 코드 능력 테스트에서 0.320에서 0.286으로 하락), 그가 가르친 학생 모델은 여전히 0.297의 높은 점수를 기록하며 교사의 결함에 거의 영향을 받지 않았습니다. 이는 동궤 연습이 교사의 나쁜 습관을 효과적으로 걸러낼 수 있음을 증명합니다.
현재 DeepSeek-V4와 GLM-5는 동궤 증류를 도입하여 전문가 모델의 능력을 통합하고 있습니다. 전문가 훈련에서 코드와 수학처럼 명확한 정답이 있는 분야는 RL에 더 적합하며, 창의성과 지식 기반의 주관적 작업은 동궤 증류에 더 적합합니다. 미래의 궁극적인 미세 조정 알고리즘은 동궤 훈련 프레임워크 내에서 증류의 높은 효율성(높은 정보 밀도)과 RL의 객관성(편향 없는 업데이트)을 동시에 갖춘 새로운 메커니즘을 찾아야 할 것입니다.