동차 Beating 모니터링에 따르면, 영국 《파이낸셜 타임스》가 세 명의 내부 소식통을 인용해 바이트댄스가 최대 10조 파라미터 규모의 대형 모델 사전 학습을 시작했다고 보도했습니다. 프로젝트는 아직 초기 단계에 있으며 최종 규모는 확정되지 않았습니다. 상한선으로 학습할 경우, 이는 Kimi K3의 3배 이상에 달하며 현재 알려진 중국 팀 중 가장 큰 파라미터 규모의 모델이 될 것입니다.
이번에 바이트댄스는 모델 크기를 직접 Anthropic 플래그십 수준까지 끌어올렸습니다. Anthropic은 Mythos 5의 파라미터 수를 공개한 적이 없지만, 《파이낸셜 타임스》는 업계 추정을 인용해 Mythos 5가 약 8조 파라미터, Fable 5가 약 5조 파라미터라고 전했습니다. 바이트댄스의 새 모델이 10조에 도달한다면, 최소한 파라미터 규모 면에서 이미 미국 최첨단 폐쇄형 모델과 동일한 수준에 진입한 것입니다.
이 모델은 현재 사전 학습(대량 데이터로 모델의 기본 능력을 학습) 단계에 있습니다. 《파이낸셜 타임스》에 따르면, 이 단계는 일반적으로 3~6개월이 소요되며, 이후 후속 학습을 계속해야 하고 순조로워야 출시됩니다. 파라미터가 많다고 해서 능력이 반드시 더 강한 것은 아니며, 최종 성능은 아키텍처, 학습 데이터 및 학습 방법에 달려 있습니다.
장이밍은 최근 Seed 내부에서 경쟁사 모델 증류에 반대한다는 입장을 분명히 밝히며, 팀이 단기적 열세를 감수하고 자체 연구로 세계 1군에 도전하도록 요구했습니다. 이 최대 10조 파라미터의 새 모델은 바이트댄스가 현재까지 가장 공격적으로 규모에 베팅한 사례입니다.