Nemotron 3.5 Transcribe vs Voxtral 3: 결판을 내리지 못하는 2점 차이

하나의 모델, 세 가지 단어 오류율. Artificial Analysis는 비스트리밍 리더보드에서 NVIDIA Nemotron 3.5 Transcribe를 3.4%로 제시합니다. 같은 페이지의 FAQ에서는 이를 2.8%로 설명합니다. 한편 Mistral Voxtral 3 — 즉, Voxtral Small Transcribe 3라는 이름으로 출시되는 제품군은 — 2.1%를 기록하며, 해당 리더보드에서 3위이고 NVIDIA가 공개한 최고 수치보다 약 0.5포인트 앞섭니다. 3.4%를 기준으로 보면 격차는 결정적으로 보입니다. 2.8%를 기준으로 보면, 이는 이 지표가 서빙 엔드포인트 전반에서 보여준 노이즈 대역 안에 있습니다. 그리고 대화형 오디오를 포괄하는 하위 점수를 보면, 순위가 뒤집힙니다.

한 모델에 대한 두 개의 숫자, 그리고 어느 것도 거짓말이 아니다

3.4%와 2.8%는 같은 날 같은 리더보드에서 나온 수치입니다. 차이가 나는 이유는 AA-WER v2가 특정 서빙 엔드포인트를 통해 특정 평가 슬라이스에 대해 계산되며, 이 지표는 동일한 체크포인트를 실행하는 제공업체 간에 역사적으로 거의 1포인트 가까이 움직여 왔기 때문입니다. NVIDIA의 2.8%는 회사가 런치 자료에서 인용하는 수치이고, 3.4%는 실제로 테스트한 엔드포인트에 대해 보드가 보여주는 수치입니다. 어느 쪽도 조작된 것이 아니며, 어느 쪽도 동일한 하드웨어, 동일한 정밀도, 동일한 오디오로 측정된 것처럼 Mistral의 2.1%에서 빼서는 안 됩니다.

그렇다고 해서 그 격차가 무의미해지는 것은 아닙니다. 오히려 범위를 만드는 것입니다. 배치 인덱스에서 Voxtral에 유리한 0.6~1.3점 사이 어딘가이며, 실제 값은 어느 쪽 엔드포인트를 사용하느냐에 따라 달라집니다. WER 1점마다 사람이 검토하는 시간이 드는 고객 서비스 배포에서는 그것이 돈으로 환산되는 가치가 있습니다. 어차피 사람이 출력을 훑어보는 회의록 제품에서는 그렇지 않습니다.

그 차이가 실제로 어디서 비롯되는지

AA 지수는 VoxPopuli, Earnings-22, AgentTalk 세 가지 구성 요소의 평균입니다. 앞의 두 가지는 낭독 음성과 실적 발표 통화로, 깨끗하고 화자가 한 명이며 녹음 상태가 좋아 두 모델 모두 잘 처리하는 유형의 오디오입니다. AgentTalk은 대화체이고 잡음이 더 많습니다. 이 부분에서 NVIDIA의 모델은 Voxtral Small의 2.3%에 맞서 1.8%를 기록한 것으로 알려졌는데, 이는 실제로 역전된 결과이며 이번 비교에서 가장 흥미로운 수치입니다.

• VoxPopuli 및 Earnings-22 — Voxtral Small이 앞서며, 이 코퍼스들은 깨끗한 장형 음성으로 튜닝된 모델에 유리합니다.

• AgentTalk — Nemotron은 실제 고객 지원 통화나 서로 말이 겹치는 회의와 유사한 대화형 오디오에서 2.3% 대비 1.8%로 우위를 보입니다.

• 종합 지수 — Voxtral Small은 2.1%, Nemotron은 2.8%에서 3.4% 사이입니다. 클린 스피치 구성 요소가 그러한 순서를 만들어낼 만큼 충분한 가중치를 차지합니다.

그 패턴은 두 아키텍처와 부합합니다. Voxtral Small은 전사에 탁월하도록 훈련된 전사 모델이고, NVIDIA의 체크포인트는 앞단에 음성 인코더를 붙인 언어 모델이며, 언어 모델은 오디오가 지저분하고 맥락이 대화형일 때 더 나은 성능을 보이는 경향이 있습니다. 또한 NVIDIA가 내세우는 가장 큰 성과가 깨끗한 WER에 전혀 있지 않은 이유도 설명해 줍니다: 화자 귀속 중첩 발화에서 평균 cpWER 15.80, 그리고 엔터티 목록을 제공하면 12.21%에서 2.20%로 떨어지는 개체명 WER입니다.

공급업체 테이블도 겹치지 않습니다.

Mistral은 FLEURS-45 매크로 평균 WER을 공개한다: Voxtral Small Transcribe 3의 경우 강제 언어 지정 4.1%, 추론 4.0%이며, 4B Mini 동급 모델은 4.6%, Whisper large-v3는 16.0%다. NVIDIA는 Open ASR Leaderboard를 공개한다: 9개 영어 세트 평균 4.71%, 7개 다국어 세트 평균 4.62%다. 둘 다 서로 다른 코퍼스와 서로 다른 정규화를 사용하는 벤더 운영 평가 하네스이며, 거의 동일한 값은 우연의 일치일 뿐 직접 비교는 아니다. 4.0을 4.62와 비교해 0.6포인트 승리로 제시하는 사람은 FLEURS 점수를 Open ASR 점수와 비교하는 것이다.

화자 분리 수치는 같은 문제를 역방향으로 갖고 있다. Mistral은 AMI, Switchboard, CallHome, AISHELL-4에서 연결형 최소 순열 WER이 18.4%라고 보고한다. NVIDIA는 자체 다중 화자 세트에서 평균 cpWER이 15.80이라고 보고한다. NVIDIA의 수치는 더 낮고 그 세트도 다르다. 공유 코퍼스가 없으면 합당하게 말할 수 있는 것은 두 회사 모두 자신들이 비교 테스트한 특화 캐스케이드를 앞섰다고 믿고 있으며, 어느 쪽도 상대 데이터에 대한 실행 결과를 공개하지 않았다는 것뿐이다.

Nemotron이 할 수 없는 것을 Voxtral 3가 하는 것

Mistral의 릴리스는 하나의 체크포인트가 아니라 패밀리이며, 이 패밀리는 NVIDIA의 단일 오프라인 모델이 다루지 못하는 영역까지 포괄합니다.

• 언어 범위 — Voxtral Small Transcribe 3는 24개 EU 공식 언어를 모두 포함해 50개 이상의 언어를 지원하며, NVIDIA는 40개 언어를 지원하고 그중 13개 언어에서 화자 레이블을 제공합니다.

• 실시간 — Voxtral Mini Transcribe Realtime 3은 500ms 미만 지연으로 분당 $0.008에 스트리밍하며, 240ms 지연에서 WER 7.4%, 2,400ms에서 5.7%를 기록합니다. NVIDIA는 이 체크포인트에 대해 어떤 가격으로도 스트리밍 모드를 제공하지 않습니다.

• 음성 에이전트 — Voxtral 3 출시와 함께 트랜스크립션, 도구 호출을 지원하는 추론 모델, 음성 생성을 연결하고 바지인(barge-in)과 SIP 텔레포니를 갖춘 LiveKit 기반 Voice Agent SDK가 제공되었습니다. 이는 NVIDIA의 체크포인트가 다루지 않는 완전한 제품 카테고리입니다.

{{1}}운영 단순성{{/1}} — 분당 요금제, GPU 없음, 서빙 스택 없음, EU, US 및 글로벌 엔드포인트. 인프라가 없는 팀에게 이는 2일 통합과 2개월 통합의 차이입니다.

• 문맥 바이어싱 — Earnings-22에서 문맥이 있을 때 핵심구 재현율 94.6%로, 없을 때의 81.4% 대비 높음. NVIDIA의 엔티티 목록 메커니즘과 취지상 유사하며, 다른 코퍼스에서 측정됨.

Nemotron이 할 수 있지만 Voxtral 3은 할 수 없는 것

역방향 목록은 더 짧지만, 적합한 구매자에게는 더 부담이 큽니다.

• 오픈 가중치 — OpenMDW-1.1, 상업적 사용 허용, BF16, FP8, NVFP4 및 GGUF로 공개됩니다. Mistral의 페이지는 API 액세스와 Mistral을 통한 "자체 인프라에 직접 배포"를 제공하지만, 공개 시점 기준으로 가중치도, 라이선스도, 체크포인트도 공개하지 않습니다. 규정 준수 팀이 아티팩트를 감사해야 한다면, 감사할 수 있는 것은 이 중 하나뿐입니다.

• 1시간 단일 패스 — 65,536토큰의 컨텍스트와 최대 1시간 길이의 녹음. Mistral은 Voxtral 3의 최대 녹음 길이나 컨텍스트 창을 공개하지 않으며, 이는 그 자체로 장시간 워크플로를 채택하기 전에 테스트해야 할 이유입니다.

• 번역 — 영어와 영어 이외 언어 간 양방향 31개 언어. Voxtral 3의 출시 페이지에는 전사, 화자 분리, 컨텍스트 바이어싱이 문서화되어 있지만, NVIDIA의 체크포인트처럼 음성 번역 작업을 문서화하지는 않습니다.

• 프롬프트 지정형 출력 — 하나의 포맷에 사후 처리를 더하는 방식이 아니라, 지시에 따라 선택되는 다섯 가지 전사 스타일.

• 오디오 이해 — 녹음에 대한 질의응답 및 음성 지시 따르기. 이 체크포인트에서는 영어만 지원되며, Voxtral 3 출시 자료 어디에도 문서화되어 있지 않습니다.

비용 비교는 차이가 크며, 바로 그 점이 핵심입니다.

Voxtral Small Transcribe 3는 분당 $0.0040, 오디오 시간당 $0.24입니다. 4B Mini는 $0.0035, 시간당 $0.21입니다. NVIDIA의 호스팅 목록 가격은 1,000분당 $2.00, 시간당 $0.12입니다. 셀프 호스팅은 계산이 전혀 다릅니다. NVIDIA가 주장하는 대로 RTX PRO 6000 Blackwell 한 대에서 초당 오디오 2,238초를 처리한다면, 1,000시간의 오디오, 즉 360만 초는 약 27분의 GPU 시간이 걸립니다. NVIDIA가 말하는 오픈소스 통합의 처리량이 그 절반이더라도 1시간 미만입니다.

• 월 1,000시간 기준 — Voxtral Small $240, Voxtral Mini $210, Nemotron 호스팅 $120, Nemotron 자체 호스팅은 시간당 $2 대여료 기준 GPU 시간 약 $2, 여기에 운영 비용.

• 월 10,000시간 — 각각 $2,400, $2,100, $1,200, 그리고 약 $20의 GPU 시간.

• 주의할 점 — 자체 호스팅 방식은 이미 GPU와 서빙 스택, 그리고 이를 계속 운영할 인력이 있다고 가정합니다. RTX PRO 6000 한 장은 다섯 자릿수 규모의 설비 투자입니다. 월 1,000시간으로는 다음 세대 제품이 출시되기 전에 비용을 회수하지 못합니다. 10,000시간이면 몇 달 안에 회수됩니다.

• 또 다른 주의점은, 그 처리량 수치가 NVFP4와 DFlash2 드래프트 모델에 의존하며, 이 조합은 단어 타임스탬프를 비활성화한다는 점입니다. 정렬이 필요하다면, 마케팅 표에 제시된 구성보다 더 느린 구성을 실행하게 됩니다.

가격 논쟁은 사용량과 오디오가 네트워크 밖으로 나가도 되는지 여부에 따라 갈린다. Mistral의 분당 요금은 충분히 저렴해서, 한 달에 수백 시간 미만으로 쓰는 대부분의 팀은 GPU를 전혀 고려할 필요가 없다. 1만 시간을 넘어서면 오픈 체크포인트를 자체 호스팅하는 쪽이 한 차수, 즉 10배가량 더 저렴한 선택이 되고, 남는 진짜 문제는 운영 부담뿐이다.

50시간 테스트

위의 모든 수치는 다른 사람의 오디오에서 나온 것입니다. 어느 모델을 생산 경로에 투입하기로 결정하기 전에, 두 모델 모두로 자체 녹음 50시간을 전사하고 사용자가 평가할 방식대로 점수를 매기세요: 명명된 개체가 정확한지, 화자 전환이 정확한지, 숫자와 통화 금액이 정확한지, 그리고 고객이 가진 특정 액센트를 잘 처리하는지. AA 지수로는 어느 모델이 Glasgow 콜센터를 더 잘 처리하는지 알 수 없으며, 어느 벤더의 테스트 하네스도 마찬가지입니다.

그 테스트는 라우터가 비용 외의 이유로 유용한 지점이기도 하다. OrcaRouter는 다운스트림 텍스트 호출 — 요약, 엔티티 추출, 민감 정보 삭제, 완성된 트랜스크립트 번역 — 을0% 마크업이 적용된 하나의 키 뒤에 두고, 공급자 정가를 그대로 전달하며, 공급자 간 자동 페일오버를 제공하고, 한 워크플로 안에서 서로 다른 단계를 서로 다른 모델로 보낼 수 있는 라우팅 DSL도 제공한다. Nemotron 3.5 Transcribe도 Voxtral 3도 OrcaRouter의 카탈로그에 없으므로, 라우터는 이들을 호출하는 데 도움이 되지 않는다. 대신 라우터는 텍스트 계층을 위한 두 번째 벤더 관계를 새로 구축하지 않고도 이들이 반환하는 내용을 처리하는 데 도움이 된다.

판단은 어떤 문장이 당신의 문제를 설명하는지에 달려 있습니다. 만약 "50개 언어의 정확한 전사가 필요하고, GPU를 직접 보유하고 싶지 않으며, 지연 시간이 중요하다"라면 Voxtral Small Transcribe 3이 더 나은 제품이고 2.1%는 실제 이유입니다. 만약 "한 시간짜리 회의의 화자 귀속 전사, 번역, 그리고 컴플라이언스 팀이 검사할 수 있는 산출물이 필요하다"라면 Nemotron 3.5 Transcribe가 이 목록에서 세 가지를 모두 충족하는 유일한 옵션이며, 깨끗하게 낭독된 음성에서 WER 1포인트는 그에 대한 대가입니다. 만약 "둘 다 필요하다"라면 솔직한 답은 그것들이 대체재가 아니라는 것이며, 이 세대를 가장 잘 활용하는 팀들은 하나는 라이브 오디오용으로, 다른 하나는 아카이브용으로 운영하고 있습니다.