Mistral, Voxtral 3 출시: 음성 인식, 추론, 도구 호출을 실시간 Agent로 연결

동찰 Beating AI 속보, 프랑스 AI 기업 Mistral이 Voxtral 3를 출시했다. 여기에는 음성 전사 모델 3종, 음성 합성 모델 1종, 그리고 완전한 Voice Agent SDK가 포함된다.

공식 시연에서 한 사용자가 영어로 피부과 예약을 요청했다. AI는 프랑스어 진료 의뢰서를 읽고, 시스템을 호출해 빈 시간대를 조회한 뒤 예약을 완료하고 다시 영어로 확인했다. 전 과정은 실시간 음성 대화로 이루어졌다.

Voxtral 3는 모든 작업을 처리하는 엔드투엔드 음성 대형 모델이 아니다. 모듈식 설계를 채택했다. 전사 모델은 음성을 인식하고 사용자가 언제 말을 마쳤는지 판단하며, Mistral Small 등 범용 대형 모델은 추론과 도구 호출을 담당하고, 음성 합성 모델은 응답을 담당한다. LiveKit 기반 SDK는 이环节들을 실시간 파이프라인으로 연결하며, 전화와 웹 통화를 지원하고 사용자가 언제든 끼어들 수 있도록 한다. Mistral은 단일 턴 상호작용 지연이 1초 미만이라고 주장한다. 개발자는 추론 모델이나 음성 모델을 개별적으로 교체할 수도 있다.

전사 지원 언어는 이전 세대의 13종에서 50여 종으로 확대되었고, 음성 합성은 35개 이상 언어와 50개 이상 방언을 지원한다. Artificial Analysis의 독립 비실시간 전사 테스트에서 Voxtral Small Transcribe 3의 단어 오류율은 2.1%로 3위를 기록했으며, 알리바바와 마이크로소프트 모델에 이어 뒤를 이었다. 음성 합성은 13위를 기록했다.

API 실시간 전사 요금은 분당 0.008달러, 음성 합성은 100만 자당 13달러다. 기업은 Mistral에 문의해 자체 서버나 프라이빗 클라우드에 배포할 수도 있다.