Nemotron 3.5 Transcribe: o LLM de fala da NVIDIA supera a cascata de diarização — em 13 idiomas

A NVIDIA lançou Nemotron 3.5 Transcribe em 28 de outubro de 2026 sob uma licença aberta, e o número em todas as manchetes sobre ele é 40: quarenta idiomas, um único checkpoint, rótulos de falante incluídos. O número que de fato muda a forma como você monta uma pilha de transcrição é 15,80. Esse é o cpWER médio do modelo no conjunto de benchmark multi-falante da própria NVIDIA, contra 16,83 para a melhor cascata especializada com a qual a empresa o comparou — um reconhecedor de fala mais um pipeline de diarização separado, conectados da maneira como a maioria dos sistemas de transcrição de reuniões em produção ainda está. A NVIDIA afirma que este é o primeiro LLM de fala a superar esse arranjo, e essa é a afirmação que vale a pena testar, porque é a que remove um componente da sua arquitetura em vez de adicionar um idioma a uma lista.

O número de 40 idiomas é real, mas mais restrito do que parece. A atribuição de locutor — a parte que substitui a cascata — é treinada para treze idiomas, não quarenta. O modelo lê apenas arquivos gravados, por até uma hora de cada vez, sem caminho de streaming. E não é um download pequeno: 34B parâmetros no total, cerca de 4,3B ativos por token, com uma H100 80GB como a linha de base declarada para serviço em BF16. Essas três restrições decidem se o resultado da diarização é algo que você pode usar neste trimestre ou algo que você anota para o próximo.

O que a NVIDIA realmente lançou

O checkpoint é publicado como NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, e a diferença entre esse nome e a contagem de parâmetros publicada é a primeira coisa a esclarecer. O modelo é construído sobre o Nemotron 3.5 Lightning 30B-A3B, um modelo de linguagem híbrido de mistura de especialistas Mamba-2 e Transformer; o cartão de modelo da NVIDIA declara um total de 34B parâmetros, com cerca de 4,3B ativos incluindo a pilha de áudio. O peso extra em relação aos 30B do nome vem dos codificadores: cerca de 600M para o Transformer de ASR e cerca de 99M para o codificador de falante, aproximadamente 800M juntos, deixando o backbone de linguagem com cerca de 3,5B ativos. Vários artigos relataram isso como uma inconsistência; não é uma: é um nome que conta o LLM e um cartão que conta o sistema inteiro.

Arquiteturalmente, a peça que vale a pena entender é o codificador especialista paralelo. Um modelo Nemotron 3 Diarization congelado produz representações de atividade de falante, e estas são injetadas na saída do codificador ASR, de modo que o modelo de linguagem vê tanto as palavras quanto quem provavelmente as está falando em uma única passagem. Um adaptador CTC leve então alinha o texto gerado de volta ao áudio para produzir carimbos temporais de palavras atribuídos ao falante. Não há uma segunda etapa de alinhamento nem uma chamada ao pyannote no meio. A predição nativa de múltiplos tokens também atua como rascunho de decodificação especulativa dentro do vLLM, e a NVIDIA também disponibiliza um modelo de rascunho DFlash2 treinado separadamente.

• Parâmetros totais e ativos — 34B no total, ~4,3B ativos por token, dos quais ~3,5B correspondem ao backbone de linguagem

• Contexto e áudio — 65,536 tokens, gravações de até 1 hora em mono a 16 kHz, decodificadas em blocos internos de 30 segundos

• Cobertura de idiomas — 40 idiomas para transcrição, 32 para tradução de e para inglês, 13 para transcrição com atribuição de locutor

Licença — OpenMDW-1.1, uso comercial e não comercial permitido

• Baseline de serving — um H100 80GB em BF16; as builds BF16, FP8 e NVFP4 são publicadas

• Streaming — nenhum; este é um modelo que recebe um arquivo e produz uma transcrição

O lançamento consiste em um par de artefatos, e vale a pena mantê-los separados porque a maior parte da cobertura os confunde. Junto com o modelo, a NVIDIA publicou o Granary v2, um lançamento de pipeline de dados de fala, e não um checkpoint: 463.062 horas em 48 idiomas e 16 corpora de origem, acima dos 25 idiomas do Granary v1, construído com o NeMo Curator e distribuído com um manifesto público. Cada registro contém três formas de transcrição — verbatim com normalização textual, inversamente normalizado com disfluências e inversamente normalizado sem elas — além de rótulos de tarefa, pares de perguntas e respostas ancorados na fala, termos de viés contextual e um indicador de qualidade por registro. São os dados que as receitas de ajuste fino esperam, não pesos que você possa executar. O áudio de origem ainda precisa ser baixado sob a licença de cada corpus, então o Granary v2 é aberto no sentido em que o são seu manifesto e seu pipeline, e não no sentido de que o áudio seja livre para redistribuição.

A licença importa tanto quanto os pesos. A OpenMDW-1.1 permite uso comercial, o que coloca isto no mesmo patamar da linha Voxtral da Mistral, e não na extremidade reservada à investigação do espetro de modelos de pesos abertos. O suporte de runtime no lançamento é mais amplo do que o da maioria dos lançamentos de LLM de fala: o vLLM 0.32.0 é o caminho principal e o único que oferece o conjunto completo de funcionalidades, com as marcações temporais por palavra a exigirem o runner V1 e o middleware de marcações temporais, e sem DFlash2. O SGLang-Omni 0.2.0 sobre o SGLang 0.5.22 trata da transcrição de arquivos completos através do endpoint de áudio compatível com OpenAI, mas não de marcações temporais por palavra, saída com atribuição de orador, tradução ou descodificação especulativa. O NeMo Speech vem com o kit de ferramentas de ajuste fino, o Transformers suporta uso em processo a partir de uma instalação do código-fonte, e uma build GGML cobre placas Blackwell selecionadas, incluindo a RTX 5090 e a RTX PRO 6000.

O resultado da diarização é a história.

A tabela multi-falante da NVIDIA é onde reside a comparação em cascata, e é invulgarmente detalhada para um post de lançamento. O cpWER médio no conjunto é de 15,80 contra 16,83 para o DiCoW v3.3 combinado com o DiariZen. Os números por condição mostram de onde vem a margem e de onde não vem: o AMI em condições de close-talk atinge 10,29, o AMI com microfone único a distância 17,34, o CALLHOME CH109 11,50, o Mixer 6 canal 4 14,80, o NOTSOFAR-1 close-talk 14,94 e canal único 25,91, com o AISHELL-4 em 32,91 cpCER e o AliMeeting em 34,95. O caso de reunião em banda larga e multicanal é forte; o áudio de reunião em campo distante com microfone único e em chinês é muito mais fraco, o que é uma descrição justa de onde todos os sistemas de diarização têm dificuldades.

A corroboração aparentemente independente em que a NVIDIA se apoia é o Diarization-Bench da VoiceArena, no qual o modelo registra 32,4% de cpWER em sessões completas em inglês, primeiro entre catorze sistemas. O segundo colocado, Multitalker Parakeet combinado com Nemotron 3 Diarization, está em 34,2%, e o restante do campo varia de 34,7% a 71,9%. A NVIDIA também relata exclusões de palavras em 8,32% das palavras de referência, contra uma mediana do campo em torno de 31%. Esse segundo número é o mais útil para quem já entregou uma transcrição: o cpWER pode ser manipulado ao se omitirem palavras sobre as quais não se tem certeza, e um sistema que mantém 92% das palavras de referência enquanto vence a métrica está fazendo a parte mais difícil. Ambos são números informados pelo fornecedor em um benchmark de terceiros, não uma avaliação independente do modelo.

O limite é a contagem de idiomas. A atribuição de falantes é treinada para treze idiomas — inglês, francês, alemão, hindi, italiano, coreano, português, russo, espanhol, japonês, tailandês, árabe e chinês — e suporta até oito falantes. Se as suas gravações forem reuniões em inglês ou em um dos outros doze, o argumento da substituição em cascata é válido. Se o seu áudio for polaco, turco ou vietnamita, obtém transcrição sem diarização e continua a precisar do segundo componente.

Onde ele realmente está classificado: três rankings, três respostas diferentes

O número para o inglês depende de qual página da NVIDIA você consulta, e vale a pena ser preciso quanto a isso em vez de escolher o melhor. A taxa média de erro de palavras nos nove conjuntos do model card é de 4,71%, com o Qwen3-ASR-1.7B logo em seguida, com 4,94%. O texto da NVIDIA no Hugging Face do mesmo dia cita 5,33% como a WER média no Hugging Face Open ASR Leaderboard, com RTFx de 462,09, e o Qwen3-ASR-1.7B com 5,4%. Ambos são números do próprio fornecedor, publicados com poucas horas de diferença, e a diferença está em quais conjuntos de teste entram na média. Não tire a média entre eles, não subtraia um do outro e não trate a casa decimal como algo definido. O que se mantém em ambos os enquadramentos é a colocação: primeiro entre os modelos de pesos abertos naquele leaderboard.

O restante do conjunto reportado pelo fornecedor é consistente em formato. O WER médio multilíngue é de 4,62% em sete idiomas, contra 6,49% do Qwen3-ASR-1.7B. A média para formato longo é de 10,98%, contra 13,37% do Parakeet-TDT-0.6B-v3. O controle de estilo obtém 7,56% por padrão e 6,16% quando instruído, contra o Canary-Qwen com 8,16% e 8,36%. O uso de prompts contextuais move o ContextASR-Bench de 3,33% sem contexto para 1,71% com contexto granular, e a transcrição de chamadas de resultados financeiros de 12,54% para 9,58% quando fornecido contexto local.

A verificação independente conta uma história menos lisonjeira, e é essa que você deve ler se estiver escolhendo entre modelos esta semana. No índice de erro por palavra sem streaming do Artificial Analysis, verificado em 29 de outubro, o Nemotron 3.5 Transcribe apresenta 2,8%. O Voxtral Small Transcribe 3 apresenta 2,1% e o MAI-Transcribe-2 apresenta 2,0% no mesmo recorte, enquanto o Gemini 3.5 Transcribe fica em 2,6%. A formulação da NVIDIA de "empatado em primeiro lugar entre os modelos de pesos abertos" é defensável em relação ao modelo específico que ela cita — o Voxtral Small, que o mesmo índice também mostra em 2,8%, e que a NVIDIA descreve como um modelo de 24B contra os cerca de 4B parâmetros ativos deste —, mas o ranking já havia superado essa comparação antes de este modelo ser lançado. Um irmão mais recente da Mistral, o Voxtral Small Transcribe 3, tem taxa de erro cerca de um quarto menor no mesmo recorte. Isso não torna o resultado de diarização errado, porque o Voxtral não faz atribuição de falante em uma única passagem. Isso significa que a frase correta é "melhor modelo de pesos abertos em ASR com atribuição de falante" e não "melhor transcritor de pesos abertos".

A cauda por idioma é onde as implantações falham.

Cobertura e paridade são alegações diferentes, e o cartão de modelo da NVIDIA publica detalhes por idioma suficientes para ver a distância entre elas. A matriz de idiomas tem 41 linhas; o norueguês aparece nela sem marcações de tarefa, deixando 40 idiomas efetivamente marcados para ASR. No FLEURS, as taxas de erro vão de 1,41% a 63,76% — e 63,76 é o norueguês. O italiano chega a 1,41, o espanhol a 2,20, o alemão a 2,73, o francês a 3,16, o inglês a 3,35, o árabe a 6,35 e o hindi a 7,47; o japonês fica em 4,42 CER, o coreano em 2,78 CER e o chinês em 8,62 CER. Nas médias por idioma do leaderboard multilíngue, o hindi é 9,15 OIWER contra o neerlandês em 5,96 e o alemão em 2,81.

A alternância de código, que o cartão afirma para todos os 40 idiomas, é igualmente irregular: ASCEND mandarim-inglês atinge 18,74% de erro misto, MUCS híndi-inglês 19,28% e MUCS bengali-inglês 35,46%, com Monsoon híndi em 9,40% de OIWER. A qualidade da tradução também abrange uma ampla faixa — BLEU de FLEURS para inglês de 6,40 a 44,33, de inglês para FLEURS de 8,70 a 42,65, e de CoVoST2 para inglês de 6,95 a 54,46. A robustez no conjunto HALAS é de 31,50% de WER, que é o número que deve moderar qualquer plano baseado em gravações de campo com sotaque ou ruidosas.

A leitura prática é que "40 idiomas" é uma alegação de cobertura em torno da qual você pode planejar capacidade, e não uma alegação de qualidade em torno da qual você pode planejar produto. Teste o idioma específico e as condições específicas de gravação que lhe importam em algumas centenas dos seus próprios clipes antes de se comprometer. O estudo de caso de ajuste fino do próprio model card é o roteiro: em um benchmark indiano de fala médica, o erro sem ajuste era de 30,8%, um prompt que indicava inglês e escrita latina o levou a 23,8%, e a adaptação com cerca de 245 horas de dados o levou a 11,8% — cerca de 62% menos erros, em 14 GPU-horas de uma GB300. Falantes reservados passaram de 22,44% para 12,17%, uma redução relativa de 45,8%, enquanto o test-clean do LibriSpeech passou de 1,54% para 1,69%, o sinal habitual de uma adaptação estreita.

Quanto custa operar, e onde o roteamento se encaixa

A NVIDIA não publicou um preço para o modelo. Não há tarifa por minuto na página de pesquisa nem na ficha do modelo, os pesos são gratuitos sob a OpenMDW-1.1, e o acesso hospedado no lançamento passa pelo endpoint NIM da própria NVIDIA, além de várias plataformas de terceiros que definem suas próprias tarifas. Portanto, a questão do custo é uma questão de GPU, e os números para isso estão excepcionalmente completos.

Em uma RTX PRO 6000 Blackwell Server Edition, a build NVFP4 com o modelo de rascunho DFlash2 processa até 2.238 segundos de áudio por segundo — uma gravação de 30 segundos retorna em 0,13 segundos —, o que coloca 100 horas de áudio em menos de três minutos. Esse é o caminho NIM otimizado, e a NVIDIA afirma que a integração aberta do vLLM é cerca de duas vezes mais lenta. Em uma H100 com BF16, os valores de RTFx da placa são 410 com especulação de dois tokens, 270 com oito, 340 com DFlash2 em K=7 e 260 em K=15. No topo dessa faixa, uma hora de H100 cobre cerca de 410 horas de áudio, então mil horas de transcrição representam aproximadamente duas horas e meia de computação em GPU. Se isso supera uma tarifa por minuto de um serviço hospedado depende inteiramente de quão saturada você mantém a placa: com algumas centenas de horas por mês, uma GPU de 80 GB ociosa é a opção mais cara, e a conta só se inverte quando a fila permanece cheia.

A adaptação é barata pelos padrões desta classe. A NVIDIA relata de 0,5 a 2,3 horas-GPU por tarefa em uma única GPU para novos idiomas, domínios ou estilos de saída, avaliada em 17 tarefas, com LoRA no modelo de linguagem e treinamento no encoder e na projeção. Esse número é pequeno o suficiente para que a adaptação de domínio seja tratada como parte da implantação, e não como um projeto de pesquisa — o caso médico acima leva 14 horas-GPU de ponta a ponta.

Uma nota arquitetural que importa para o que vem a seguir: este modelo emite texto, e a sumarização, a extração de entidades e a marcação de conformidade que se seguem a uma transcrição são trabalho comum de LLM. É essa etapa downstream que o OrcaRouter cobre — uma API para mais de 200 modelos com 0% de margem sobre o preço de tabela do provedor, failover automático quando um provedor degrada no meio do pipeline, e uma DSL de roteamento para enviar transcrições longas e trechos curtos a modelos diferentes sem uma segunda integração a cada vez. Não hospedamos o Nemotron 3.5 Transcribe; é um modelo de fala que você executa no seu próprio hardware ou por meio do endpoint da NVIDIA. A camada de roteamento começa onde a transcrição termina.

Dois modelos compartilham o nome, e apenas um é este.

Boa parte do que foi escrito sobre este lançamento no último dia diz respeito a um checkpoint diferente. A NVIDIA também publica nemotron-3.5-asr-streaming-0.6b, um pequeno checkpoint de ASR em streaming criado para runtimes em dispositivo e orientados a CPU, em que suas builds quantizadas são pequenas o suficiente para serem incluídas dentro de um aplicativo. Não é este modelo, não faz atribuição de falante, e seus números de velocidade e precisão não se transferem. O LLM de fala 30B-A4B é o anunciado em 28 de outubro; o modelo em streaming 0.6B é o que roda em um laptop. Se uma comparação que você está lendo cita latência inferior a um segundo ou um download de um gigabyte junto com a alegação de 40 idiomas, ela fundiu os dois.

Quem deve agir agora, e quem deve esperar

Aja agora se realiza reuniões, ligações ou entrevistas gravadas em inglês ou em uma das outras doze línguas de diarização, em arquivos com menos de uma hora, e se já dispõe de capacidade de GPU da classe de 80 GB ou de um endpoint hospedado pelo qual esteja disposto a pagar. O argumento é mais forte quando atualmente mantém uma cascata de dois modelos: um checkpoint, uma passagem, com rótulos de falante e timestamps de palavras incluídos, sob uma licença que permite uso comercial. Avalie-o com o seu próprio áudio antes de aposentar o pyannote — os números acima para áudio de campo distante e com sotaque são os que têm maior probabilidade de desiludir.

Espere se você precisa de streaming ao vivo, porque não há caminho de streaming; se os seus idiomas ficam na cauda da faixa FLEURS; se as gravações durarem mais de uma hora; ou se você não tem GPU e não tem disposição para uma cobrança por minuto de serviço hospedado. Espere também se a sua stack já está em um transcritor mais novo que apresenta erro menor no Artificial Analysis e não precisa de diarização — a atribuição de falante em uma única passagem é o motivo para mudar, e é o único.

As questões em aberto que vale a pena acompanhar são específicas e verificáveis. A avaliação independente em precisão total ainda é escassa; relatos iniciais de pessoas que executam quantizações de 4 bits da comunidade descrevem a desaceleração e a perda de acurácia habituais, o que diz mais sobre a quantização do que sobre o modelo. O SGLang-Omni precisa alcançar paridade de funcionalidades antes que o caminho sem vLLM seja uma alternativa real. E os treze idiomas de diarização são o número com maior probabilidade de mudar primeiro, porque é aí que a afirmação arquitetônica está concentrada.