동찰 Beating AI 속보, 11월 19일, 화산엔진이 두바오 실시간 오디오·비디오 모델 SeedRealtime 1.0의 API를 공식 개방했다. 이 모델은 올해 8월 이미 두바오 앱에 출시되었으며, 이제 서드파티 개발자도 이 실시간 영상 통화 기능을 자사 제품에 접목할 수 있게 되었다.
SeedRealtime은 카메라 화면, 소리, 시간 순서를 하나의 엔드투엔드 모델에 통합한다. AI는 관찰하면서 동시에 사용자의 말을 듣고, 언제 말을 시작해야 할지 판단하여 기존의 음성 인식, 시각 이해, 음성 합성 등 여러 모듈을 직렬로 연결할 때 발생하는 지연과 정보 손실을 줄인다.
공식 시연에서 사용자가 커피 원두를 통째로 커피머신의 추출 핸들에 쏟아붓자, AI는 질문을 기다리지 않고 먼저 갈아야 한다고 능동적으로 알려주었다. 박물관을 관람할 때 사용자가 찾고자 하는 유물을 미리 말해두기만 하면, 모델이 지속적으로 카메라를 관찰하다가 목표물이 나타났을 때 능동적으로 알려준다. 또한 여러 사람의 대화를 구분하여 시끄러운 환경에서 옆 사람의 잡담에 잘못 반응하는 것을 방지한다.
바이트댄스가 올해 8월 공개한 인공 평가에 따르면, 여러 모델을 직렬로 연결한 방식에 비해 SeedRealtime의 오디오·비디오 대화 리듬 문제가 약 절반가량 줄었으며, 말 끊기, 응답 지연, 배경 소음으로 인한 오작동 등의 현상이 현저히 감소했다.