바이트시드(ByteSeed) 재편: 사전학습·강화학습 통합, 오피스 에이전트는 별도 그룹으로 분리

동차 Beating AI 속보, 바이트댄스 대모델 팀 Seed가新一轮 조직 개편을 완료했다. Seed Foundation Model은 새로 4개 1급 부서를 신설하여, 기존에 텍스트, 코드, 비전, 음성 등 방향에 분산되어 있던 데이터 및 후훈련 팀을 다시 통합했다. 핵심 변화는 사전 훈련 데이터와 강화 학습을 통일하고, 동시에 응용 후훈련을 Work와 Chat 두 개 라인으로 분리한 것이다.

Pretrain Data는 Omni 모델의 멀티모달 데이터와 초대형 모델 사전 훈련에 필요한 데이터를 통합 담당한다. Horizon RL은 강화 학습을 집중 담당하여 모델의 기초 능력을 향상시킨다. Product Posttrain-Work는 사무 및 B2B 시장을 대상으로, 모델의 도구 호출, 컴퓨터 조작, 장기 작업 수행 능력 최적화에 중점을 둔다. 기존 Application 팀은 Product Posttrain-Chat으로 개명되어 C2C 대화 모델을 계속 담당한다. 네 개 부서 모두 우융후이에게 보고한다.

과거 Seed는 텍스트, 코드, 비전, 음성 등 방향별로 팀을 나누었고, 각각 데이터 및 후훈련 인력을 보유했다. 이제 바이트댄스는 차세대 모델이 직접 Omni로 나아가, 서로 다른 모달리티가 하나의 기반 모델에 들어가기를 원한다. Seed는 또한 5조 파라미터를 초과하는 모델 훈련을 논의 중이다. 모델이 클수록, 모달리티가 많을수록, 기존의 분산된 연구 개발 방식은 중복 투자가 발생하기 쉽다.

유사한 조정이 텐센트에서도 나타난다. 텐센트는 7월에 혼위안의 대규모 언어 모델과 멀티모달 팀을 통합하고, 야오순위가 통합 책임을 맡았다. 바이트댄스는 이번에专门으로 Work 후훈련 부서를 신설하여, 사무 Agent가 이미 기반 모델 팀에서 별도로 최적화하는 제품 라인이 되었음을 보여준다.