Nemotron 3.5 Transcribe vs Whisper Large v3 Turbo: 40× a pegada por um único ponto de WER

Se o seu trabalho de transcrição é uma pasta de trechos de entrevistas mono de três minutos e a máquina que você tem é uma placa de workstation de 24GB, a comparação entre Nemotron 3.5 Transcribe e Whisper Large v3 Turbo já está decidida antes mesmo de a precisão entrar em cena. O novo modelo da NVIDIA é um sistema de fala de 34 bilhões de parâmetros que foi validado em um acelerador de 80GB. A variante turbo da OpenAI é um modelo de 809 milhões de parâmetros que cabe em 0,8GB de pesos int8 e roda em uma CPU. Eles estão sendo comparados esta semana porque suas taxas de erro ficaram dentro de cerca de um ponto uma da outra, e esse é o fato menos útil sobre essa comparação.

O Nemotron 3.5 Transcribe foi lançado em 2026-10-28 como pesos abertos sob a licença OpenMDW-1.1, que permite uso comercial. O Whisper Large v3 Turbo é de 2024-10-01 e tem licença MIT; não é novidade, é a linha de base contra a qual todo novo modelo de fala é medido. A pergunta que este artigo responde não é qual tem melhor pontuação — ambos os fornecedores gostariam que você interpretasse assim — mas qual deles você consegue realmente executar, a que custo, no áudio que você tem.

O que cada modelo realmente é

A diferença de arquitetura não é uma lacuna geracional. É uma diferença de categoria, e explica quase todas as compensações subsequentes.

• Arquitetura — um LLM híbrido Mamba–Transformer com mistura de especialistas, com um codificador de fala e um codificador de diarização congelado de 99M acoplado, aproximadamente 34B no total com 4,3B ativos por token, versus um codificador–descodificador destilado do large-v3 com o descodificador reduzido de 32 camadas para 4.

• Janela de áudio — gravações de até uma hora processadas numa única passagem, em vez de uma janela fixa de 30 segundos com descodificação em blocos de formato longo para tudo o que for mais longo.

• Rótulos de falante — incorporados na saída, até 8 falantes, em 13 idiomas, contra nenhum; o Whisper não tem token de falante em seu vocabulário, portanto um diarizador separado é obrigatório.

• Temporização ao nível da palavra — um adaptador CTC leve alinha a transcrição final ao áudio, em comparação com apenas tokens de timestamp ao nível do segmento, sendo que a temporização por palavra exige alinhamento forçado.

• Cobertura linguística — 40 idiomas transcritos, 31 com tradução de ou para inglês, 13 com atribuição de falante, contra 99 idiomas transcritos e sem tradução.

• Pesos em disco — cerca de 68GB em BF16 sob OpenMDW-1.1, contra 1,6GB em fp16, 0,81GB int8, sob MIT.

Os números de precisão não coincidem, e é exatamente esse o ponto.

O Artificial Analysis mantém o único índice público em que ambos os modelos aparecem na mesma escala, e vale a pena ler seus números com atenção porque eles divergem entre si. Na tabela do ranking, o Whisper Large v3 Turbo aparece com 4,6% de AA-WER em um endpoint de inferência rápida e 5,5% em um segundo. O Nemotron 3.5 Transcribe aparece com 3,4% para um endpoint hospedado. O próprio anúncio da NVIDIA cita 2,80% de AA-WER, empatado em primeiro lugar entre os modelos de pesos abertos, e a seção em prosa do mesmo ranking repete 2,8%, enquanto sua tabela traz 3,4% — uma discrepância dentro de uma única página, antes mesmo de qualquer pessoa começar a comparar fornecedores.

Se levarmos a tabela ao pé da letra, o Nemotron 3.5 Transcribe é cerca de 1,2 ponto melhor. Agora observe que as duas entradas do próprio Whisper Large v3 Turbo diferem em 0,9 ponto no mesmo modelo. A maior parte da diferença aparente entre esses dois sistemas deve-se à configuração do endpoint — processamento em lote, configurações de decodificação, pré-processamento de áudio — e não à arquitetura. Qualquer pessoa que cite uma única diferença de WER como veredito está citando um número que varia quase a mesma quantidade quando se trocam os hosts.

O Open ASR Leaderboard conta uma história que parece maior. A média em inglês para formato curto do Whisper Large v3 Turbo fica em torno de 7,8% ali, enquanto a NVIDIA relata 4,71% para seu modelo em nove conjuntos de teste na página de pesquisa, e 5,33% de WER médio em inglês na publicação correspondente no Hugging Face. Essas são misturas de teste diferentes com normalização diferente, então a diferença de três pontos é, no máximo, indicativa. O que importa mais é o que não existe: uma comparação direta do fornecedor contra o Whisper Large v3 Turbo. A NVIDIA compara seu modelo com sistemas de diarização em cascata e com outros modelos de fala de pesos abertos, não com o checkpoint turbo que a maioria das equipes usa hoje. Todo número de “supera o Whisper” em circulação é uma inferência entre benchmarks, inclusive a nossa.

A lacuna de capacidade que o Whisper não consegue fechar

Deixando de lado a saída orientada por prompt, a diferença operacional é que o Nemotron 3.5 Transcribe produz transcrições com atribuição de falante em uma única passagem. As etiquetas de falante vêm do codificador de diarização congelado, fundido aos recursos de áudio, a resposta traz os segmentos brutos de falante junto à transcrição etiquetada, e o modelo os rotula como <spk:0> a <spk:7>. Para um podcast com duas pessoas, isso é uma comodidade. Para uma audiência disciplinar de 60 minutos, uma consulta clínica ou uma ligação de vendas com vários participantes, é o produto.

O Whisper Large v3 Turbo não consegue expressar um falante de forma alguma. As transcrições de seu treinamento nunca continham rótulos de falante, e sua entrada é reduzida a mono 16 kHz, o que destrói a única pista física que poderia ter sobrevivido. Pedir que ele produza rótulos gera um texto que parece correto e não tem base no áudio. A solução alternativa padrão é o WhisperX: alinhamento forçado para a temporização das palavras, mais um modelo de diarização hospedado separadamente, unidos nos limites dos segmentos. Funciona, é amplamente implantado, e são três partes móveis onde o Nemotron 3.5 Transcribe é uma.

A mesma vantagem estrutural se aplica a áudios longos. Uma hora em uma única passagem supera a costura de janelas de 30 segundos, e a costura de janelas tem um modo de falha conhecido: a decodificação sem tokens de timestamp perde palavras em quase todos os limites — uma palestra de 20 minutos medida perdeu aproximadamente 3% das suas palavras dessa forma. O adaptador CTC do Nemotron 3.5 Transcribe existe justamente para evitar esse tipo de erro, embora vale notar que os timestamps de palavras não faziam parte do suporte inicial do vLLM.

Nas tarefas para as quais foi desenvolvido, os números relatados pela NVIDIA são sólidos e autodeclarados pelo fornecedor: 18,26% de DER em 21 idiomas no benchmark de diarização David AI, descrito como o melhor entre 14 sistemas; 32,4% de cpWER no VoiceArena, também o melhor entre 14. Atribui-se às listas contextuais de entidades, fornecidas no prompt, uma redução de seis vezes nos erros de entidades nomeadas no ContextASR-Bench. Nada disso tem replicação independente até o momento, e tudo isso é uma alegação sobre um modelo que tem apenas um dia de vida.

Onde o Whisper Large v3 Turbo ainda vence de forma incontestável

A amplitude de idiomas é a primeira resposta, e é menos entediante do que parece. O Whisper Large v3 Turbo cobre 99 idiomas. O Nemotron 3.5 Transcribe cobre 40 para transcrição, 31 para tradução e 13 para atribuição de locutor. Se a sua fila contém cazaque, tâmil, suaíli ou galês, a comparação termina aí: o modelo turbo os transcreve, e o modelo mais novo e maior não alega fazê-lo.

A segunda resposta é o atrito da implantação. O Whisper Large v3 Turbo funciona em whisper.cpp, faster-whisper e MLX, em CPU, num portátil, num Jetson. O Nemotron 3.5 Transcribe exige vLLM 0.32.0 mais o plugin NeMo Speech, ou SGLang-Omni 0.2.0, numa H100 de 80 GB em BF16, numa L40S em FP8, ou numa RTX 5090 em NVFP4. Esses não são compromissos operacionais comparáveis.

A terceira é que o preço do turbo é uma tarifa por hora publicada e sem graça. Os endpoints hospedados cobram cerca de US$ 0,04 por hora de áudio, com mínimo de dez segundos, e ele roda a aproximadamente 250× o tempo real em um endpoint rápido. Mil horas de áudio custam cerca de US$ 40. O Nemotron 3.5 Transcribe não tem preço de tabela divulgado para o checkpoint completo, e os endpoints hospedados que o oferecem não publicam tarifas por minuto.

Verifique qual Nemotron 3.5 você está avaliando no benchmark

O erro mais comum na cobertura desta semana é comparar o modelo errado. Grande parte das comparações publicadas de "Nemotron 3.5" na verdade avalia nvidia/nemotron-3.5-asr-streaming-0.6b — um modelo de streaming ciente de cache de 0.6B de um lançamento anterior, com seus próprios números e suas próprias fraquezas. Se uma tabela menciona blocos de 80 ms a 1120 ms, ela não está testando o Nemotron 3.5 Transcribe. Isso importa porque o modelo de streaming perde para o Whisper Large v3 Turbo em precisão bruta em comparações do mundo real (3,35% contra 2,55% em um leaderboard multilíngue) e perde consideravelmente no alinhamento de palavras, enquanto o modelo discutido aqui é um sistema diferente, não streaming, de 34B.

A segunda armadilha é o serving. O caminho fácil, SGLang-Omni 0.2.0, oferece um endpoint funcional sem o NeMo — e sem carimbos de tempo, rótulos de falante ou tradução. O caminho completo, vLLM 0.32.0 com o plugin NeMo Speech, oferece os três, mas os carimbos de tempo em nível de palavra chegaram como um acompanhamento, e não no primeiro PR. Três receitas de implantação chamadas "Nemotron 3.5 Transcribe" podem, portanto, comportar-se como três produtos diferentes. Se a atribuição de falante é o motivo pelo qual você está migrando, verifique esse caminho antes de dedicar tempo de engenharia a ele.

Quanto custa para operar, honestamente

A comparação entre opções hospedadas é quase trivial: o Whisper Large v3 Turbo, a cerca de US$ 0,04 por hora de áudio, sai por ~US$ 40 por mil horas, sem hardware para manter. O Nemotron 3.5 Transcribe ainda não é vendido desse jeito, então uma equipe que queira usá-lo está calculando o custo de uma GPU, não de uma fatura.

A própria alegação de throughput da NVIDIA é o piso computacional: 2.238 segundos de áudio por segundo de tempo de GPU, NVFP4 com o drafter DFlash2 em uma RTX PRO 6000 Blackwell, o que resulta em cerca de 100 horas de áudio em menos de três minutos. A aproximadamente US$ 2 por GPU-hora sob demanda, isso implica um piso bem abaixo de um centavo por hora de áudio — com loteamento máximo, que não é como uma fila de produção se comporta. Considere isso como o teto do que o hardware pode fazer, não como uma taxa que você atingirá.

O que significa que a comparação real não é Whisper Large v3 Turbo contra Nemotron 3.5 Transcribe. É Nemotron 3.5 Transcribe contra Whisper Large v3 Turbo mais um modelo de diarização, um alinhador forçado, código de mesclagem de segmentos e o ajuste por idioma que essa integração exige. Se você já executa o WhisperX em produção, já pagou a maior parte desse custo, e o argumento para trocar é mais fraco do que a diferença de WER sugere. Se você ainda não o construiu, o modelo 30B está competindo com um pipeline que, de outra forma, você teria de manter com uma equipe.

Uma observação prática para quem opera os dois durante uma migração: manter dois backends de transcrição por trás de um endpoint compatível com OpenAI transforma a transição em uma mudança de configuração, e não em um segundo contrato com fornecedor. É exatamente essa camada que o OrcaRouter existe para oferecer — uma única chave e um único endpoint entre os provedores que ele roteia, com o preço de tabela do provedor repassado com 0% de margem e failover automático entre eles. Isso não muda qual modelo é melhor. Muda quanto custa descobrir, e quanto custa estar errado a respeito.

Quem deve escolher qual?

• Gravações de reuniões, jurídicas, clínicas ou de centrais de atendimento com vários falantes e uma trilha de auditoria — Nemotron 3.5 Transcribe. A atribuição de falantes e as marcações temporais das palavras em uma única passagem constituem a capacidade que você teria de montar de outra forma, e a janela de uma hora elimina totalmente a lógica de fragmentação.

• Áudio mono de alto volume, ampla cobertura linguística, implantação em laptop ou CPU, faturamento previsível por hora — Whisper Large v3 Turbo. Com 809M de parâmetros e US$ 0,04 por hora, é a resposta correta mais barata para uma parcela muito grande do tráfego real, e já foi testado em batalha por dois anos.

• Cargas de trabalho mistas — execute o turbo em tudo e encaminhe apenas o áudio que precisa de falantes, listas de jargões ou tradução para o modelo maior. A regra de seleção são as propriedades do áudio, não o prestígio do modelo: número de falantes, presença de um glossário de domínio e duração da gravação.

Perguntas que vale a pena fazer antes de migrar

O Nemotron 3.5 Transcribe pode rodar em uma única GPU de 24GB?

Não de forma confortável. A NVIDIA validou BF16 em uma H100 de 80 GB, FP8 em uma L40S e o checkpoint NVFP4 em uma RTX 5090, que é uma placa de 32 GB. Um dispositivo de 24 GB está abaixo de todas as configurações validadas, e a torre de áudio é copiada para cada rank de paralelismo tensorial, portanto o sharding multi-GPU não resolve o problema de uma placa única pequena.

O Whisper Large v3 Turbo faz rótulos de falante ou tradução?

Nenhum dos dois. A variante turbo foi treinada apenas em transcrição, então passar uma tarefa de tradução produz uma saída inutilizável — a tradução precisa do checkpoint large-v3 completo. Os rótulos de falante exigem um diarizador separado, como o pyannote, e juntar seus turnos aos timestamps grosseiros de segmento do Whisper é a parte do pipeline que leva mais tempo para ser acertada.

A lacuna do parâmetro é visível como latência?

Não por minuto de áudio, não. O Whisper Large v3 Turbo retorna uma janela de 30 segundos em bem menos de um segundo em um endpoint hospedado rápido, e o Nemotron 3.5 Transcribe processa um arquivo de uma hora em uma única passagem, com uma taxa de transferência que a NVIDIA descreve na casa dos milhares de segundos de áudio por segundo de GPU. A diferença visível está em outro lugar: o turbo não tem modo de streaming e o Nemotron 3.5 Transcribe também não, portanto, legendas ao vivo estão fora do escopo de ambos.

Qual deles é melhor para áudio em idiomas que não o inglês?

Nenhuma das respostas é segura. O {{1}}Whisper Large v3 Turbo{{/1}} cobre 99 idiomas, com qualidade que varia muito de um idioma para outro, e o {{2}}Nemotron 3.5 Transcribe{{/2}} cobre 40, com resultados multilíngues relatados pelo fornecedor e uma receita de adaptação — a {{3}}NVIDIA{{/3}} relata um domínio médico reservado que melhora de {{4}}22,44%{{/4}} para {{5}}12,17%{{/5}} de WER após ajuste fino em uma única GPU por algumas horas. Ainda não há uma comparação direta multilíngue independente, então, para qualquer idioma fora do inglês, a atitude responsável é fazer um teste cego com o seu próprio áudio.

O que mudaria este veredito?

Três coisas, em ordem de probabilidade. A chegada de timestamps em nível de palavra à API de transcrição do vLLM tornaria o caminho completo de serving o padrão e reduziria a diferença entre as três receitas de implantação. Checkpoints quantizados sendo amplamente disponibilizados baixariam o piso de hardware de uma placa de 80 GB para dispositivos de consumo. E uma comparação direta multilíngue genuinamente independente contra o Whisper Large v3 Turbo substituiria a inferência pela medição.

Até que um desses seja lançado, a decisão não está nem perto de um décimo de ponto de WER. É uma questão sobre o seu áudio: se houver mais de uma voz nele, e você precisar saber qual voz disse o quê, o Nemotron 3.5 Transcribe é o primeiro modelo aberto que faz isso em uma única passagem, sem um pipeline por trás. Se não houver, um modelo de 809M lançado há um ano ainda dá conta do recado por quarenta dólares por mil horas, e o modelo de 34B é hardware demais para comprar por um número que muda quando você troca de host.