Ming-3.0-audio-tiny vs Voxtral 4B TTS: 하나는 목소리가 붙은 청취자이고, 다른 하나는 목소리 외에는 아무것도 내세우지 않는다

음성만 생성하고 다른 것은 원하지 않는다면, 이 맞대결은 약 30초면 끝날 것입니다. Voxtral 4B T​TS는 텍스트-음성 변환 모델입니다: 텍스트 입력, 24kHz 오디오 출력, 20개의 사전 설정 음성, 9개 언어, 공개된 지연 시간 표, 그리고 결과물을 판매하지 못하게 하는 라이선스 조건을 갖추고 있습니다. Ming-3.0-audio-tiny는 음성 생성기를 포함하고 있는 오디오-언어 모델입니다 — 17.74 GB Thinker에 1.4 GB Talker가 붙어 있고, 이름이 붙은 세 가지 음성과 복제 경로가 있으며, 평가 섹션에서 합성을 단 한 번도 측정하지 않는 저장소 안에 들어 있습니다. 음성이 제품이라면, 이 비교는 시작하기도 전에 끝난 것입니다. 이와 같은 릴리스 뒤에 있는 문서화된 AI 실패 및 에이전트 사건들은 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이견 표시가 함께 있습니다.

질문에서 흥미로운 쪽은 다른 쪽입니다. 오디오를 이해하고 다시 말해야 하는 무언가를 만들고 있고, 둘 다 해내는 모델 하나를 살지, 아니면 리스너를 전용 음성에 연결할지 결정하는 상황이죠. 바로 그 지점에서 30초가 오후 한나절이 됩니다. 두 선택지가 서로 다른 곳에서 실패하고, 그중 하나만 계획에 삼을 수 있는 숫자를 제공하기 때문입니다.

라이선스가 벤치마크보다 더 많은 것을 결정한다

평가를 아무리 해도 해결할 수 없는 것부터 시작하겠습니다. Voxtral 4B T​TS는 CC BY-NC 4.0, 즉 비상업적 라이선스이며, 이 모델을 만드는 데 사용된 참조 음성 데이터셋인 EARS, CML-T​TS, IndicVoices-R 및 아랍어 자연 음성 세트에서 상속된 것입니다. Mistral은 이 점을 모델 카드에 분명히 밝히고 상업적 사용자에게는 자사 API를 안내합니다. 따라서 가중치는 연구 및 개인 용도로 공개되어 있으며, 상업적 경로는 다운로드가 아니라 요금표입니다.

Ming-3.0-audio-tiny는 카드의 메타데이터와 그것이 가리키는 GitHub 저장소의 LICENSE에서 MIT입니다. 알아둘 점은 Hugging Face 저장소 자체에는 LICENSE 파일이 없고, 함께 포함된 두 참조 음성에는 별도의 자체 조건이 없다는 것입니다. 여기서 MIT는 진정으로 허용적인 주장이지만, 그것은 산출물 안의 파일이라기보다 메타데이터상의 주장이며, 조달 부서는 이를 알아차릴 것입니다.

• 상업적 이용 — Ming: 예, MIT, 가중치와 코드 포함. Voxtral: 가중치로는 불가; 벤더 API가 승인된 경로입니다.

• 포함된 음성 — Ming: 이름이 지정된 음성 세 개, 그중 두 개는 전사본과 함께 참조 WAV로 제공됩니다. Voxtral: 프리셋 20개.

• 언어 — Ming: 모델 전체에 중국어와 영어를 사용하며 별도의 Talker 언어 목록은 없습니다. Voxtral: 영어, 프랑스어, 스페인어, 독일어, 이탈리아어, 포르투갈어, 네덜란드어, 아랍어 및 힌디어.

• 출력 — Ming: Talker가 생성하는 그대로이며, 카드에서는 샘플 레이트나 컨테이너를 지정하지 않습니다. Voxtral: 24 kHz, WAV, PCM, FLAC, MP3, AAC 또는 Opus.

• 실행 대상 — Ming: Thinker, 17.74GB, 그리고 두 번째 디바이스에 1.4GB Talker와 1.6GB VAE. Voxtral: 최소 16GB를 갖춘 단일 GPU에서 BF16 체크포인트 하나.

• 공개된 음성 품질 — Ming: 없음. Voxtral: 이 역시 없음. 다만 지연 시간 및 처리량 표가 대신 있는데, 이는 아무것도 없는 것보다는 낫다.

마지막 행은 이 비교의 증거 기반에 대한 솔직한 요약입니다. 어느 벤더도 자연스러움 점수, 화자 유사도 수치, 합성 음성에 대한 단어 오류율을 공개하지 않았습니다. Mistral은 얼마나 빠른지를 공개했고, inclusionAI는 모델이 얼마나 잘 듣는지를 공개했습니다. 어느 쪽이 얼마나 좋게 들리는지는 아무도 공개하지 않았습니다.

Mistral의 수치가 실제로 말하는 것

Voxtral 표는 서빙 벤치마크이며, 이를 올바르게 읽는 것이 중요합니다. 단일 NVIDIA H200에서 vLLM-Omni 0.18.0으로, 500자 입력과 10초짜리 참조 클립을 사용해 측정한 결과는 다음과 같습니다:

• 동시성 1 — 지연 시간 70ms, 실시간 계수 0.103, GPU당 초당 약 119자.

• 동시성 16 — 331ms, RTF 0.237, 초당 약 879자.

• 동시성 32 — 552 ms, RTF 0.302, 초당 약 1,431자.

두 가지가 이어집니다. 첫째, RTF는 동시성이 높아질수록 상승합니다 — 0.103에서 0.302로 — 따라서 배칭으로 인한 처리량 이득은 실재하지만 선형 이하입니다. 대략 12배의 문자를 얻는 데 약 8배의 실시간 계수가 듭니다. 둘째, 동시성 1에서 첫 오디오까지 70ms는 음성 에이전트가 살아 있다고 느껴지는지를 결정하는 수치이며, 이는 Ming-3.0-audio-tiny에 없는 수치입니다. 더 나쁜 수치가 아니라, 아예 없습니다.

Mistral은 이 모든 것을 재현되지 않았고 벤더가 직접 실행한 것으로 표시하는데, 실제로 그렇다. 그러나 적어도 방법이 함께 제시된 주장이기는 하다. 명시된 하드웨어, 명시된 런타임 버전, 명시된 입력 길이, 명시된 참조 길이다. 하네스를 다시 구축할 수 있다.

Ming의 발화 경로가 답할 수 없는 것

작은 모델의 음성 출력은 카드에서 세 문장으로 설명됩니다. 내장 음성 또는 참조 음성, 세 가지 이름이 지정된 음성, 참조 클립과 그 정확한 전사본으로부터의 복제입니다. 배포 가이드는 운영상의 세부 사항을 추가합니다. Talker는 0.18초의 두 번째 카드에서 두 번째 단계로 실행되며, 텍스트를 생성하지 않기 때문에 출력 토큰 하나로 제한되고 temperature는 0.0입니다.

저장소 어디에도 합성 출력의 샘플 레이트, 자연스러움 측정치, 참조 클립과의 유사도 측정치, 또는 세 목소리가 동일한 목소리의 서로 다른 음역인지 실제로 다른 화자인지에 대한 설명이 없습니다. 평가 이미지는 인식, 오디오 인텔리전스, 텍스트를 다룹니다. 음성 생성은 공급업체가 하이라이트에서 광고하면서도 전혀 평가하지 않는 유일한 기능입니다.

{{1}}그건 스캔들이 아니라{{/1}} 계획상의 제약입니다. {{2}}Voxtral{{/2}}을 사용하면 음성을 들어보기 전에 배포 규모를 산정할 수 있습니다: 카드 한 장, 16GB, 동시성 1에서 초당 119자, 그리고 상용화 경로를 위한 요금표까지. {{3}}Ming{{/3}}은 하드웨어(카드 두 장, 두 번째 카드는 사용률 0.18)를 산정한 뒤, 음성에 대해서는 무언가를 생성해 봐야 알 수 있습니다.

어차피 결합 모델이 정답인 경우

Talker에는 실질적인 명분이 있습니다. 그것은 "더 저렴한 TTS"가 아닙니다. 같은 모델이 오디오를 듣고 이제 그것에 대해 말하고 있다는 점입니다. Ming-3.0-audio-tiny는 오디오와 텍스트 지시를 받아 텍스트를 반환하거나, 텍스트와 음성을 반환합니다. 녹음에 관한 질문을 한 번의 처리로 소리 내어 답하며, 전사문이 두 번째 모델로 직렬화되지 않습니다. "ASR이 'their'라고 했는데 TTS가 잘못 읽었다"는 식의 실패는 없습니다. 왜냐하면 두 번째 모델도 없고, 손상될 중간 텍스트도 없기 때문입니다.

그것은 음성 질의응답, 방의 소리를 듣고 답하는 어시스턴트, 그리고 방금 들은 어떤 것에 대해 한 문장으로 답하는 모든 경우에 중요합니다. 내레이션, 오디오북, 더빙 또는 텍스트가 다른 곳에서 온 모든 작업에는 중요하지 않습니다. 그리고 바로 그런 작업을 위해 Voxtral이 만들어졌습니다. Voxtral은 20개의 목소리와 9개 언어를 갖춘 반면 Ming은 3개와 2개입니다.

• 동일 모델 연속성 — Ming: 예, 오디오에서 음성까지 한 번의 순방향 패스입니다. Voxtral: 텍스트 입력이므로 듣기 절반은 다른 곳에서 와야 합니다.

• 음성 다양성 — Ming: 이름이 지정된 3가지 + 복제. Voxtral: 20개 프리셋 + 참조 음성 적응.

• 스트리밍 — Ming: 제공되지 않음; Talker는 스트림이 아니라 단계입니다. Voxtral: 카드에서는 스트리밍 및 배치 추론을 광고하며, 공급업체 자체 API 데모가 참조 구현입니다.

• 다국어 음성 — Ming: 중국어 및 영어. Voxtral: 9개 언어, 방언 표기 포함.

• 비용 구조 — Ming: 고정 하드웨어, 카드 두 장, 글자당 과금 없음. Voxtral: 가중치는 비상업적 용도로 무료, 그 외 모든 용도는 API가 글자당 가격 책정.

라우터가 음성 제품에 추가하는 것과 추가하지 않는 것

OrcaRouter는 이 둘 중 어느 것도 제공하지 않습니다. Ming-3.0-audio-tiny는 직접 실행하는 체크포인트이고 Voxtral 4B TTS는 Mistral 자체 API를 통해 접근할 수 있습니다. 둘 다 저희 카탈로그에 없으며, 이 글은 어느 쪽도 호스팅하겠다는 제안이 아닙니다. 음성 제품에서 라우터의 자리는 음성을 둘러싼 텍스트입니다. 대본을 생성하고, Voxtral이 지원하는 9개 언어로 번역하고, 발신자가 말한 내용의 요약을 작성하고, 특정 구간에 사람이 필요한지 판단하는 일이죠. 그건 모두 평범한 텍스트 호출입니다 — 0% 마크업이 추가되지 않은 제공사 정가로 하나의 키 뒤에서 200개가 넘는 텍스트 모델을, 자동 페일오버 덕분에 업스트림 하나가 안 좋은 오후를 보내더라도 1만 개 클립 배치가 멈추는 일은 없습니다.

그것은 더빙 파이프라인에서는 실질적인 절감이지만, 단일 모델 데모에서는 반올림 오차에 불과합니다. 또한 이 글의 핵심 질문, 즉 목소리가 얼마나 좋은지에는 전혀 닿지 않습니다.

둘 다 먼저 들어보지도 않고 어떻게 고르나요?

제품이 음성이라면 Voxtral을 선택하고 라이선스 비용을 예산에 잡아 두세요. 비상업용 가중치를 돌려 평가해 본 뒤, 실제로 출시할 부분은 현재 문자당 요금이 얼마든 API로 옮기면 됩니다. 지연 시간 표, 스무 개의 음성, 아홉 개 언어, 그리고 vLLM-Omni로 테스트된 런타임을 얻게 됩니다. 대신 상업적 목적으로 자체 호스팅할 권리는 포기해야 하는데, 많은 팀에게는 바로 이 점이 실제 결정 요인입니다.

제품이 가끔 말하는 것을 이해하는 것이라면 Ming-3.0-audio-tiny를 선택하고, GPU 두 개를 예산으로 잡으며, Talker는 아직 측정되지 않은 기능으로 간주하십시오 — 폴백을 먼저 구축하십시오. 세 가지 음성 모두에 걸쳐 문장 스무 개를 생성하고, 들어 보고, 나중에 전용 TTS 모델로 교체할 수 있는 옵션을 유지하십시오. Thinker는 어쨌든 텍스트를 반환하므로 아키텍처는 그 교체를 깔끔하게 지원합니다. Talker는 첨부물이지 척추가 아닙니다.

그리고 두 경우 모두 측정한 내용을 기록하세요. 어느 벤더도 그렇게 하지 않았으며, 두 모델 중 어느 하나에 대해서든 자연스러움 또는 유사도 수치를 처음으로 공개하는 팀은 이 분야에 도움을 주는 셈이 될 것입니다 — 벤더들을 포함해서요.

서른두 번째 답변, 수정판

이 글 맨 위의 짧은 요약에서는 그 비교가 30초면 끝난다고 말했다. 음성 자체가 당신의 제품이고 라이선스 비용을 지불할 의향이 있다면 30초면 끝난다. 하지만 듣고 나서 말하는 무언가를 만들고 있다면 더 오래 걸린다. 두 선택지는 대체재가 아니기 때문이다. 하나는 귀가 없는 목소리이고, 다른 하나는 한 번도 평가받은 적 없는 목소리를 가진 귀다. 그 30초는 당신을 질문까지 데려다준다. 이 글의 나머지 부분은 당신에게 실제로 필요한 것이 둘 중 어느 쪽인지 알아내는 부분이다.