그라디움, 초소형 음성 모델 오픈소스 공개: 가중치 단 64MB, 휴대폰 오프라인에서도 말할 수 있다

동찰 Beating AI 속보, AI 음성 기업 Gradium이 오픈소스 음성 생성 모델 Phonon을 공개했다. 이 모델은 올해 4월 약 1억 파라미터로 비공개 테스트를 시작했으며, 이번에 3100만 및 4000만 파라미터 버전을 출시하고 처음으로 모델 가중치를 공개했다. 그중 3100만 파라미터 영어 버전의 Q8 가중치는 단 64MB로 일반 CPU에서도 실행할 수 있다. 4000만 파라미터 버전은 영어, 프랑스어, 독일어, 스페인어, 포르투갈어 5개 언어를 지원하며 단일 언어 및 5개 언어 통합 모델을 제공한다.

Phonon은 더 큰 모델을 증류하여 훈련되었다. 텍스트를 직접 읽어 음소로 먼저 변환할 필요 없이 Transformer를 활용해 음성 특징을 단계적으로 예측하고 Mimi 디코더를 통해 오디오를 생성한다. 매 출력은 80밀리초의 음성에 해당하며, 문장 전체가 생성되기를 기다리지 않고 합성과 동시에 재생할 수 있다.

속도 측면에서 Gradium은 Phonon이 Snapdragon 8 Elite Gen 5에서 첫 오디오를 생성하는 데 단 7.5밀리초가 걸리며 합성 속도가 실시간의 24배에 달한다고 밝혔다. MacBook Air M5의 CPU에서는 첫 소리가 약 7밀리초이다.

음질 측면에서 Gradium은 1189명의 청취자를 모집하여 1만 7천 회 이상의 블라인드 청취 투표를 완료했다. 3100만 파라미터 영어 버전은 2098 Elo를 획득하여 1억 파라미터 Pocket TTS의 2056보다 높다. 전화번호, 이메일 등 복잡한 텍스트를 포함한 500문장 영어 테스트에서 Phonon의 단어 오류율은 1.7%로 또 다른 8200만 파라미터 오픈소스 음성 모델 Kokoro의 3.5%보다 낮다. 이 성적은 모두 Gradium이 공개한 테스트에서 나온 것이다.

Phonon은 이미 Ollama, MLX-Audio 등의 도구에 연동되었다. 협력사 Xybrid는 16GB M1 Pro MacBook에서 8B Agent, Whisper, Phonon을 동시에 실행하여 3D 게임 캐릭터가 완전히 오프라인 상태에서 실시간 대화를 할 수 있게 했다.

현재 3100만 파라미터 영어 버전만 Apache 2.0 라이선스를 채택하여 상업적 사용이 허용된다. 4000만 파라미터 및 다국어 버전은 CC BY-NC 라이선스를 채택하여 상업적 사용 시 별도 승인이 필요하다. 중국어 모델은 아직 공개되지 않았다.