조 파라미터도 더러운 데이터를 구할 수 없다, 국내 대형 모델들이 프리트레이닝을 재작업하기 시작했다

동찰 Beating AI 속보, 레이펑망에 따르면, 지난 반년 이상 여러 국내 대형 모델 제조사들이 사전 학습을 다시 시작했으며, 문제는 모두 데이터를 가리킨다.

한 제조사는 거의 1년을 들여 조 단위 파라미터 모델을 학습시켰지만, 실제 효과는 파라미터 수가 약 1%에 불과한 소형 모델에 역전당했다. 팀은 마지막에 문제가 학습 데이터에 있음을 발견했다. 웹 쓰레기, 중복 코퍼스, 저품질 라벨링이 학습 세트에 섞여 들어가면 아무리 큰 모델도 감당할 수 없다. 이 사례는 익명 소식통에서 나왔으며, 구체적인 회사는 아직 공개되지 않았다.

텐센트 훈위안은 이미 공개적으로 한 차례 재작업을 했다. 올해 2월부터 팀은 사전 학습과 강화 학습 인프라를 재구축했다. 이전에 언론은 구 훈위안에 벤치마크 데이터가 학습 세트에 섞여 들어가고 라벨링 규칙이 혼란스러운 문제가 있었다고 보도한 바 있다. 새 팀은 데이터 기준을 다시 정하고 기존 코퍼스를 정제했으며, Hy3도 데이터 품질과 다양성을 주요 개선 항목으로 삼았다.

알리바바와 바이두도 데이터 거버넌스를 강화하고 있다. Qwen3는 Qwen2.5 시리즈 모델로 문서를 정제하고 수학 및 코드 합성 데이터를 대량 보충했다. 원신 4.5는 중복 제거, 저품질 필터링, 데이터 맵, 수동 검수를 추가했다. 두 회사는 오염된 데이터 때문에 재작업했다고 공개적으로 밝히지 않았지만, 차세대 모델 모두 데이터 처리에 더 많은 공을 들였다.