장이밍: Seed의 학습 데이터는 몇 자릿수 적으며, 바이트댄스는 2029년에야 OpenAI, Anthropic과 경쟁할 수 있다

동찰 Beating AI 속보, 장이밍은 최근 Seed 팀 전원 회의에서 일정표를 제시했다: 바이트댄스는 빨라야 2029~2030년에야 프런티어 AI 분야에서 OpenAI, Anthropic과 경쟁할 수 있을 것으로 전망된다.

장이밍은 특히 Seed 대규모 언어 모델이 사용하는 사전 학습 데이터셋이 최정상 경쟁사보다 몇 자릿수나 작다고 지적했다.

바이트댄스는 AI 분야에서 이미 상당히 좋은 카드를 확보한 상태다. 도우바오는 국내 사용자 규모가 가장 큰 AI 채팅 앱이며, Seedance도 글로벌 최정상급 영상 생성 모델 반열에 올랐다. 그런데 유독 범용 언어 모델은 따라가지 못했다. 올해 6월 Seed2.1을 출시했을 때 팀 스스로도 모델이 고난도 개방형 과제와 프런티어 과학 연구 문제에서 뚜렷한 약점이 있다고 인정했다.

바이트댄스는 이를 위해 천문학적 자금을 투입할 준비를 하고 있다. 올해 5월 회사는 연간 자본 지출을 최대 700억 달러까지 늘리는 방안을 논의했으며, 주로 AI 데이터센터 등 인프라 건설에 사용할 계획이었다. 8월에는 Seed가 최대 10조 파라미터 규모의 대형 모델을 사전 학습 중이라는 소식도 전해졌는데, 이는 국내 모든 공개 대형 모델보다 큰 규모다.

장이밍은 증류(distillation)로 지름길을 택하지도 않으려 한다. 이른바 증류란 Claude 등 선도 모델이 생성한 답변을 역으로 자사 모델 학습에 활용하는 것이다. 올해 8월 그는 이 방법이 단기적으로는 성능을 개선할 수 있지만, 배우는 것은 결국 남이 이미 가진 능력이라 끊임없이 근접할 수 있을 뿐 진정한 초월은 어렵다고 분명히 밝혔다. Seed 내부에서는 API 검출과 학습 데이터 필터링을 통해 제3자 모델의 출력이 학습 세트에 들어가는 것도 제한하고 있다.

따라하기 위해 바이트댄스는 인재를 계속 영입하고 붙잡아두고 있다. Seed는 현재 약 1000명의 연구개발 인력을 두고 있으며, 장이밍이 지난해 Google DeepMind에서 스카우트한 우융후이가 이끌고 있다. 바이트댄스는 또 도우바오 사업과 연계된 가상주 「도우바오주」를 특별히 출시했으며, 조건을 충족하는 직원은 연말 상여금을 도우바오주로 받아 사업 성장이 가져오는 수익을 공유할 수 있다.

바이트댄스는 향후 몇 주 안에 Meta Muse와 유사한 개인 AI 어시스턴트를 출시할 계획으로, 사용자가 음성과 가상 아바타를 통해 AI와 상호작용하고 AI가 대신 과제를 완수하도록 할 수 있게 한다. 도우바오의 내부 코드명 「Spell」인 개인 비서 프로젝트는 이미 4월부터 내부 테스트를 시작했으나, 이후 도우바오 스마트폰 출시 등의 이유로 정식 출시되지 못했다. Meta Muse가 폭발적 인기를 끈 뒤 바이트댄스는 진행 속도를 높여 국경절 연휴 전부터 연구개발에 박차를 가했으며, Spell과 도우바오를 더욱 통합할 계획이다.