Nemotron 3.5 Transcribe vs Voxtral 3: A diferença de dois pontos que não resolve a questão

Um modelo, três taxas de erro de palavra. O Artificial Analysis lista o NVIDIA Nemotron 3.5 Transcribe com 3,4% em seu ranking de sistemas não streaming; o FAQ da mesma página o descreve com 2,8%. Enquanto isso, o Mistral Voxtral 3 — a família que é distribuída como Voxtral Small Transcribe 3 — está em 2,1%, em terceiro lugar nesse ranking e cerca de meio ponto à frente da melhor cifra publicada pela NVIDIA. Se você considerar os 3,4%, a diferença parece decisiva. Se considerar os 2,8%, ela está dentro da faixa de ruído que este índice tem apresentado entre os endpoints de serviço. E se você olhar a subpontuação que abrange áudio conversacional, o ranking se inverte.

Dois números para um modelo, e nenhum deles é mentira.

Os 3,4% e os 2,8% vêm do mesmo leaderboard no mesmo dia. Eles diferem porque o AA-WER v2 é calculado em relação a um recorte específico de avaliação por meio de um endpoint de serviço específico, e o índice historicamente tem variado perto de um ponto inteiro entre provedores que executam o mesmo checkpoint. Os 2,8% da NVIDIA são o número que a empresa cita em seu material de lançamento; os 3,4% são o que o leaderboard mostra para o endpoint que ela de fato testou. Nenhum dos dois é fabricado, e nenhum dos dois deve ser subtraído dos 2,1% da Mistral como se os dois tivessem sido medidos em hardware idêntico, com precisão idêntica, em relação a áudio idêntico.

Isso não torna a lacuna sem sentido. Torna-a um intervalo: algo entre 0,6 e 1,3 pontos a favor do Voxtral no índice de lote, com o valor real dependendo de qual endpoint você usa. Para uma implantação de atendimento ao cliente em que cada ponto de WER custa minutos de revisão humana, isso vale dinheiro. Para um produto de notas de reunião em que uma pessoa dá uma olhada rápida na saída de qualquer forma, não vale.

De onde a diferença realmente vem

O índice AA é uma média de três componentes: VoxPopuli, Earnings-22 e AgentTalk. Os dois primeiros são fala lida e chamadas de resultados — limpos, de um único falante, bem gravados, o tipo de áudio que ambos os modelos lidam bem. O AgentTalk é conversacional e mais ruidoso. Nesse recorte, o modelo da NVIDIA supostamente marca 1,8% contra 2,3% do Voxtral Small, o que é uma inversão real e o número mais interessante da comparação.

• VoxPopuli e Earnings-22 — Voxtral Small lidera; esses corpora recompensam um modelo ajustado em fala limpa de formato longo.

• AgentTalk — Nemotron lidera, 1,8% contra 2,3%, no áudio conversacional que se assemelha a uma ligação real de suporte ou a uma reunião com falas sobrepostas.

• Índice geral — Voxtral Small com 2,1%, Nemotron entre 2,8% e 3,4%. Os componentes de fala limpa têm peso suficiente para produzir essa ordem.

Esse padrão é consistente com as duas arquiteturas. O Voxtral Small é um modelo de transcrição treinado para ser excelente em transcrever; o checkpoint da NVIDIA é um modelo de linguagem com um codificador de fala acoplado na frente, e modelos de linguagem tendem a se sair melhor quando o áudio está bagunçado e o contexto é conversacional. Isso também explica por que as maiores vitórias alegadas pela NVIDIA não se dão no WER em áudio limpo: 15,80 de cpWER médio em fala sobreposta com atribuição de falante, e um WER de entidades nomeadas que cai de 12,21% para 2,20% quando você fornece uma lista de entidades.

As tabelas de fornecedores também não se sobrepõem

A Mistral publica o WER de média macro do FLEURS-45: 4,1% com idioma forçado e 4,0% inferido para o Voxtral Small Transcribe 3, contra 4,6% do seu irmão 4B Mini e 16,0% do Whisper large-v3. A NVIDIA publica o Open ASR Leaderboard: média de 4,71% em nove conjuntos em inglês e 4,62% em sete conjuntos multilíngues. Ambos são harnesses executados pelos fornecedores, sobre corpora diferentes e com normalização diferente, e os valores quase idênticos são uma coincidência, não uma comparação direta. Quem apresenta 4,0 contra 4,62 como uma vitória de 0,6 ponto está comparando uma pontuação do FLEURS com uma pontuação do Open ASR.

Os números de diarização têm o mesmo problema, mas ao contrário. A Mistral relata 18,4% de WER concatenada com permutação mínima no AMI, Switchboard, CallHome e AISHELL-4. A NVIDIA relata 15,80 de cpWER médio em seu próprio conjunto multi-falante. O número da NVIDIA é menor, e seu conjunto é diferente; sem um corpus compartilhado, a única afirmação defensável é que ambas as empresas acreditam ter superado as cascatas especializadas contra as quais testaram, e nenhuma publicou uma execução nos dados da outra.

O que o Voxtral 3 faz que o Nemotron não consegue fazer

O lançamento da Mistral é uma família, não um checkpoint, e a família cobre áreas que o único modelo offline da NVIDIA não cobre.

• Abrangência linguística — o Voxtral Small Transcribe 3 abrange mais de 50 idiomas, incluindo todas as 24 línguas oficiais da UE; a NVIDIA abrange 40, com rótulos de locutor em 13.

• Tempo real — o Voxtral Mini Transcribe Realtime 3 faz streaming com latência inferior a 500 ms por $ 0,008 por minuto, com 7,4% de WER a um atraso de 240 ms e 5,7% a 2.400 ms. A NVIDIA não tem modo de streaming para este checkpoint a nenhum preço.

• Agentes de voz — o lançamento do Voxtral 3 trouxe um SDK de Agente de Voz baseado no LiveKit que encadeia transcrição, um modelo de raciocínio com chamadas de ferramentas e geração de fala, com barge-in e telefonia SIP. Essa é uma categoria inteira de produto que o checkpoint da NVIDIA não aborda.

• Simplicidade operacional — preço por minuto, sem GPU, sem stack de serving, endpoints na UE, nos EUA e globais. Para uma equipa sem infraestrutura, essa é a diferença entre uma integração de dois dias e uma de dois meses.

• Viés de contexto — 94,6% de recall de frases-chave com contexto contra 81,4% sem contexto, no Earnings-22. Comparável em espírito ao mecanismo de lista de entidades da NVIDIA, medido em um corpus diferente.

O que o Nemotron faz que o Voxtral 3 não consegue fazer

A lista inversa é mais curta, mas mais pesada para o comprador certo.

• Pesos abertos — OpenMDW-1.1, uso comercial permitido, publicado em BF16, FP8, NVFP4 e GGUF. A página da Mistral oferece acesso à API e "implantação por conta própria na sua própria infraestrutura" por meio da Mistral e, na data de publicação, não publica pesos, licença nem checkpoint. Se sua equipe de conformidade precisar auditar o artefato, apenas um destes existe para auditar.

• Passagem única de uma hora — 65.536 tokens de contexto e gravações de até uma hora. A Mistral não publica um comprimento máximo de gravação nem uma janela de contexto para o Voxtral 3, o que por si só já é motivo para testar antes de se comprometer com um fluxo de trabalho de formato longo.

• Tradução — 31 idiomas nos dois sentidos, de e para o inglês. A página de lançamento do Voxtral 3 documenta transcrição, diarização e enviesamento de contexto; ela não documenta uma tarefa de tradução de fala da forma como o checkpoint da NVIDIA o faz.

• Saída promptável — cinco estilos de transcrição selecionados por instrução, em vez de um formato único com pós-processamento.

• Compreensão de áudio — resposta a perguntas e execução de instruções faladas com base na gravação. Apenas em inglês neste checkpoint, e não documentado em nenhum lugar nos materiais de lançamento do Voxtral 3.

A comparação de custos não é nem de longe equilibrada, e é exatamente aí que está o ponto.

A Voxtral Small Transcribe 3 custa US$ 0,0040 por minuto, ou US$ 0,24 por hora de áudio. O 4B Mini custa US$ 0,0035, ou US$ 0,21 por hora. A listagem hospedada da NVIDIA custa US$ 2,00 por 1.000 minutos, ou US$ 0,12 por hora. A auto-hospedagem é uma aritmética totalmente diferente: com os 2.238 segundos de áudio por segundo alegados pela NVIDIA em uma RTX PRO 6000 Blackwell, mil horas de áudio — 3,6 milhões de segundos — levam cerca de 27 minutos de tempo de GPU. Mesmo com metade dessa vazão, que é o que a NVIDIA diz que a integração de código aberto entrega, fica abaixo de uma hora.

• 1.000 horas por mês — Voxtral Small US$ 240, Voxtral Mini US$ 210, Nemotron hospedado US$ 120, Nemotron auto-hospedado cerca de US$ 2 de tempo de GPU a uma taxa de aluguel de US$ 2/hora, mais operações.

• 10.000 horas por mês — US$ 2.400, US$ 2.100, US$ 1.200 e cerca de US$ 20 em tempo de GPU, respectivamente.

• O porém — a opção de auto-hospedagem pressupõe que você já tem a GPU, a pilha de serving e alguém que consiga mantê-la funcionando. Uma única RTX PRO 6000 é uma aquisição de capital na casa dos cinco dígitos; a 1.000 horas por mês, você não a amortizará antes do lançamento da próxima geração. A 10.000 horas, ela se paga em poucos meses.

• A outra pegadinha — esses números de throughput dependem de NVFP4 mais o modelo draft DFlash2, e essa combinação desativa os timestamps de palavras. Se você precisa de alinhamento, está rodando uma configuração mais lenta do que a da tabela de marketing.

Então o argumento de preço divide-se por volume e por se o áudio pode sair da sua rede. A tarifa por minuto da Mistral é barata o suficiente para que a maioria das equipes com menos de algumas centenas de horas por mês não precise pensar em GPUs. Acima de dez mil horas, hospedar localmente um checkpoint aberto torna-se a opção mais barata por uma ordem de magnitude, e a carga operacional é a única questão real.

O teste de cinquenta horas

Cada número acima é o áudio de outra pessoa. Antes de comprometer qualquer um dos modelos com um caminho de produção, transcreva cinquenta horas das suas próprias gravações com ambos e pontue-as da forma como os seus usuários farão: entidades nomeadas corretas, trocas de falante corretas, números e valores monetários corretos, e os sotaques específicos que os seus clientes têm. O índice AA não lhe dirá qual modelo lida melhor com um call centre de Glasgow, e o harness de nenhum dos fornecedores também não.

Esse teste também é onde um roteador é útil para algo além do custo. O OrcaRouter coloca as chamadas de texto downstream — sumarização, extração de entidades, ocultação, tradução da transcrição finalizada — por trás de uma única chave com 0% de markup, preço de tabela do provedor repassado, failover automático entre provedores, e uma DSL de roteamento que consegue enviar etapas diferentes para modelos diferentes em um único fluxo de trabalho. Nem o Nemotron 3.5 Transcribe nem o Voxtral 3 estão no catálogo do OrcaRouter, então o roteador não ajuda você a chamá-los; ele ajuda a processar o que eles retornam sem estabelecer uma segunda relação com fornecedor para a camada de texto.

O veredito depende de qual frase descreve o seu problema. Se for "precisamos de transcrição precisa em cinquenta línguas, não queremos ter uma GPU e a latência importa", o Voxtral Small Transcribe 3 é o melhor produto e os 2,1% são um motivo real. Se for "precisamos de transcrições com atribuição de interlocutor de reuniões com uma hora de duração, tradução e um artefacto que a nossa equipa de conformidade possa inspecionar", o Nemotron 3.5 Transcribe é a única opção desta lista que cumpre os três, e um ponto de WER em fala limpa lida é o preço disso. Se for "precisamos de ambos", a resposta honesta é que não são substitutos, e as equipas que mais estão a tirar partido desta geração usam um para áudio ao vivo e o outro para o arquivo.