Voxtral 3, Mistral이 음성 인식부터 음성 합성, 보이스 에이전트 SDK까지 한 번에 내놓다

작동 방식

전사 모델은 누가 어떤 말을 했는지 구분하는 화자 분리를 지원한다. 또한 핵심 구절이나 자유로운 문장을 문맥으로 주면, 별도 미세 조정 없이도 사람 이름과 전문 용어를 더 잘 알아듣도록 편향시킬 수 있다. 발화가 끝났는지는 소리와 의미를 함께 보고 판단한다. 실시간 모델은 500ms 미만의 지연으로 텍스트를 스트리밍한다. SDK는 LiveKit을 기반으로 하며, 실시간 듣기, 도구 호출이 가능한 추론 모델, Voxtral Speech 3의 음성 응답을 하나의 스트리밍 파이프라인으로 연결한다. 추론 모델로는 Mistral Small 같은 범용 모델을 쓸 수 있다. Mistral에 따르면 한 턴은 1초 안에 완료되고, 통화 상대가 끼어들면 에이전트가 말을 멈추며, SIP 전화망과 WebRTC에서 모두 동작한다.

주요 스펙과 가격

요금은 전사 모델이 오디오 1분 기준이다. Voxtral Mini Transcribe 3 배치가 0.0035달러, Voxtral Small Transcribe 3가 0.0040달러, Voxtral Mini Transcribe Realtime 3가 0.008달러이다. Voxtral Speech 3는 100만 글자당 13달러이고, 배치와 실시간의 가격이 같다. 제공 경로는 Mistral API(유럽, 미국, 글로벌 엔드포인트)와 Studio 플레이그라운드이다. 오디오를 자체 환경에 두어야 하는 팀은 Mistral에 문의해 자체 호스팅이나 프라이빗 클라우드 배포를 요청할 수 있다. 다만 발표문에는 내려받을 수 있는 오픈 웨이트나 라이선스 링크가 없다. Small 전사 모델의 API 모델 ID는 voxtral-small-transcribe-3-0이다.

정확도

Mistral이 45개 언어로 진행한 FLEURS 테스트에서 Voxtral Small Transcribe 3의 단어 오류율은 언어를 추론하는 조건에서 4.0%였다. 비교 대상은 Gemini 3.5 Transcribe 4.5%, Scribe v2 4.9%, GPT Transcribe 5.6%, Whisper large-v3 14.9%이다. Microsoft AI Transcribe 2가 4.0%로 같은 수치를 기록했다. 문맥을 준 상태의 Earnings 22 핵심 구절 재현율에서는 Voxtral Small Transcribe 3가 94.6%, Scribe v2가 94.3%, Gemini 3.5 Transcribe가 87.3%였다. 모두 Mistral이 직접 공개한 수치라는 점은 감안해야 한다.

음성 복제 기능

Mistral에 따르면 Voxtral Speech 3는 30분 이상의 오디오로 목소리를 복제할 수 있다. 프로 보이스 옵션은 약 30분 분량의 녹음으로 화자의 성격, 감정 표현 폭, 말투를 여러 언어에 걸쳐 맞춰 준다. 감정, 속도, 강조는 지시 변수로 프롬프트에 직접 지정할 수도 있다.

왜 중요한가

콘택트 센터나 어시스턴트를 만드는 팀은 보통 음성 인식, 언어 모델, 음성 합성을 서로 다른 업체에서 따로 구해 이어 붙인다. Mistral은 이 세 가지를 하나의 API로 판매하고, 화자 분리와 문맥 편향을 기본 기능으로 넣었으며, 전사 요금을 분당 반 센트 아래로 낮췄다. 음성 에이전트를 만들거나 대량의 통화 녹음을 전사하려는 개발자에게 비교해 볼 만한 선택지가 하나 더 생긴 셈이다.

정리

정리하면 Voxtral 3은 전사, 합성, 에이전트 연결을 한 곳에서 해결하려는 패키지이다. 전사 모델은 비용과 정확도에 따라 Mini와 Small 중에서 고를 수 있고, 통화처럼 지연이 중요한 상황에는 실시간 모델이 맞는다. 다만 앞의 정확도 수치는 Mistral의 자체 평가이므로, 도입 전에 실제 통화 음질과 업무 용어로 따로 시험해 보는 것이 좋다.