앤트 베이링, 음성 모델 5종 오픈소스 공개: 5억 파라미터 TTS, 동일 음색 블라인드 테스트에서 오픈소스 1위 차지

동찰 Beating AI 속보, 앤트그룹의 바이링이 Ming-3.0 음성 시리즈를 오픈소스로 공개했다. 음성 합성, 오디오 이해, 음성 인식의 세 가지 방향을 아우르며 총 5개 모델로, TTS 2종, Audio 2종, ASR 1종을 포함하고 모두 MIT 라이선스를 채택했다. 개발자들은 이들을 조합하여 음성 입력, 콘텐츠 분석, 음성 응답을 완성할 수 있다.

가장 눈에 띄는 것은 단 5억 개 파라미터의 Ming-3.0-tts-0.5B다. 사용자는 감독처럼 자연어로 AI에게 분노를 억누르고 말하게 하거나, 특정 단어를 강조하거나, 대사 리듬을 조정하도록 요청할 수 있다. 또한 음색 복제, 텍스트로 음색 디자인, 지정 위치에 가벼운 웃음, 한숨 등 14가지 유형의 사운드 태그 삽입을 지원한다. Artificial Analysis의 동일 음색 블라인드 테스트에서 이 모델은 1069 Elo로 오픈소스 모델 1위를 차지했다.

녹음 이해를 담당하는 Ming-3.0-audio-flash는 훨씬 커서 총 파라미터가 1260억 개에 달하며, 매번 약 65억 개가 활성화된다. 회의 녹음을 직접 받아 토론 내용에 대해 질의응답하고, 합의점, 이견, 할 일을 정리할 수 있으며, 별도로 축어록을 먼저 생성할 필요가 없다.

또 다른 Ming-3.0-asr-tiny는 음성 인식에 특화되어 인명, 지명, 업계 용어, 대화 맥락을 입력하여 방언과 생소한 단어 인식을 보조한다. 앤트가 공개한 네 가지 음성 인식 테스트에서 평균 오류율은 4.41%였다.