O Nemotron 3.5 Transcribe substitui um pipeline de cinco modelos. A versão aberta ainda tem lacunas.

Uma reunião de diretoria de 45 minutos com seis falantes costumava exigir cinco partes móveis: detecção de atividade de voz, um modelo ASR, um diarizador, um alinhador forçado e um modelo de linguagem para organizar a saída bruta em algo que uma pessoa leria. NVIDIA Nemotron 3.5 Transcribe, lançado em 28 de outubro de 2026 sob a licença OpenMDW-1.1, é a tentativa da NVIDIA de reduzir essa pilha a uma única passagem direta. O que torna o lançamento digno de uma segunda leitura não é a redução em si. É a lista de coisas que o caminho de serviço de código aberto ainda não faz.

O checkpoint é um modelo de linguagem aumentado por fala, e não um modelo ASR com extras acoplados. Seus 34 bilhões de parâmetros correspondem majoritariamente a um Nemotron 3.5 Lightning 30B-A3B backbone híbrido Mamba–Transformer de mistura de especialistas; cerca de 4,3 bilhões estão ativos por token, incluindo aproximadamente 800 milhões do codificador de áudio. O nome do repositório ainda aparece como 30B-A4B, o que conta o decodificador e não o sistema montado. A matriz de suporte da própria NVIDIA, as tabelas de benchmark e a licença estão todas no cartão do modelo, e esse cartão é o documento mais útil no lançamento.

Cinco tarefas, um checkpoint

A proposta é que um prompt escolha a transcrição. A NVIDIA treina cinco estilos de saída nos mesmos pesos, e quem chama seleciona um deles com instruções em linguagem natural, em vez de um modelo separado ou um script de pós-processamento:

• Verbatim — disfluências, falsos começos e repetições preservados, para registros legais e de conformidade.

• Forma escrita — pontuação e uso de maiúsculas corrigidos, para legendas e atas legíveis.

• Contextual — uma lista de entidades fornecida no prompt orienta a grafia de nomes, produtos e jargões.

• Atribuído ao falante — cada segmento traz uma etiqueta de falante, produzida dentro da etapa de ASR.

• Rich — o estilo que abrange tudo e reúne rótulos de falante, pontuação, capitalização e formatação.

Além da transcrição, o mesmo checkpoint realiza tradução de fala bidirecional entre inglês e 31 idiomas, identificação de idioma falado e compreensão de áudio — resposta a perguntas e seguimento de instruções faladas sobre a gravação. Ele lida com gravações de até uma hora dentro de um contexto de 65.536 tokens, usando blocos internos de decodificação de 30 segundos que são um detalhe de engenharia, e não um limite de gravação. Os timestamps de palavras vêm de um adaptador CTC leve após a decodificação.

De onde os rótulos de falantes realmente vêm

A maioria das alegações de que "um modelo faz tudo" desmorona na diarização, porque a identidade do falante é um problema de clustering e a transcrição é um problema de sequência, e os dois geralmente são resolvidos separadamente. A resposta da NVIDIA é um codificador especialista paralelo: um modelo Nemotron 3 Diarization congelado produz representações de atividade do falante que são injetadas na saída do codificador de fala, de modo que o backbone de linguagem vê quem está falando enquanto decide o que foi dito. O próprio LLM não é retreinado para a tarefa.

Esse design é o motivo pelo qual a empresa pode afirmar que faz uma única passagem em vez de uma cascata. A NVIDIA relata uma taxa média de erro de palavras por permutação mínima concatenada de 15,80 em seu conjunto de avaliação com múltiplos falantes, contra 16,83 da melhor cascata especializada de ASR mais diarização, e descreve o resultado como o primeiro LLM de fala a superar esse tipo de sistema em transcrição com atribuição de falantes e fala sobreposta. Esses são números de fornecedor provenientes de um conjunto de avaliação criado pelo fornecedor, e nenhum laboratório neutro os reproduziu até agora. Trate a direção como plausível e a margem como provisória.

Os números, com os rótulos anexados

A placa da NVIDIA reporta uma taxa média de erro de palavras de 4,71% nos nove conjuntos de teste públicos em inglês do Open ASR Leaderboard. A dispersão por trás dessa média é ampla e vale a pena conhecê-la antes de citá-la: LibriSpeech test-clean está em 1,09% e SPGISpeech em 1,91%, enquanto AMI fica em 7,81% e URGENT24 em 11,00%. O leaderboard multilíngue tem média de 4,62% em sete idiomas, com o alemão em 2,81% e o hindi em 9,15% em sua própria métrica de palavras fora do vocabulário.

A cobertura da imprensa sobre o lançamento também citou 5,33% para o quadro inglês. Esse é um agregado diferente sobre uma composição de conjunto diferente, não uma correção, e os dois nunca devem ser colocados na mesma linha. Os 4,71% do cartão são o número a citar se você estiver citando o cartão.

A afirmação sobre prompting contextual é o elemento mais concreto no comunicado. No ContextASR-Bench, o WER geral passa de 3,33% sem lista de entidades para 1,71% com uma lista granular; o WER de entidades nomeadas cai de 12,21% para 2,20%, e a taxa de falsos negativos de entidades nomeadas, de 14,99% para 1,32%. Trata-se de um mecanismo real e verificável — forneça ao modelo os nomes dos seus produtos e ele deixa de adivinhá-los — mesmo que as pontuações absolutas venham do harness da NVIDIA.

A visão independente é menos lisonjeira e mais útil. A Artificial Analysis lista o Nemotron 3.5 Transcribe com 3,4% em sua tabela AA-WER v2 não streaming, empatado entre o 20º e o 23º lugar, enquanto seu próprio FAQ descreve o modelo com 2,8%. Ambos os números pertencem ao mesmo quadro na mesma página. A diferença é uma diferença de alvo de medição — endpoint, quantização ou recorte de avaliação — e tem aproximadamente a largura do ruído que este índice tem apresentado entre configurações de serving. No momento da redação, o quadro também lista um preço de serviço hospedado de US$ 2,00 por 1.000 minutos de áudio, o que equivale a cerca de US$ 0,12 por hora.

A alegação de throughput é a que as equipes de operações vão considerar importante: 2.238 segundos de áudio processados por segundo em uma única GPU RTX PRO 6000 Blackwell, usando o checkpoint NVFP4 e o modelo draft DFlash2. A ressalva da própria NVIDIA é que o stack de serving otimizado não está na versão open-source, e espera-se que a integração de desenvolvimento distribuída rode aproximadamente duas vezes mais devagar. Reduza o número pela metade antes de planejar a capacidade.

Onde o build aberto termina

Esta é a parte que a cobertura do lançamento ignora. O checkpoint é competente; as integrações ao seu redor são irregulares, e o cartão do modelo diz isso sem rodeios.

• Sem streaming — “Este é um modelo offline”, afirma o cartão, e acrescenta que a divisão interna do áudio em blocos não faz dele um serviço de streaming em tempo real. Cada segundo da gravação precisa existir antes de a decodificação começar.

• A integração SGLang-Omni é somente para transcrição — ela oferece transcrição de arquivos inteiros, mas, conforme a ficha, não inclui timestamps por palavra, saída com atribuição de locutor, tradução ou decodificação especulativa. O caminho vLLM oferece suporte à captura de timestamps. O runtime que você escolher determina quais recursos você obtém.

• Carimbos de data/hora e DFlash2 são mutuamente exclusivos — os carimbos de data/hora ficam indisponíveis quando o modelo draft de decodificação especulativa está em uso. Rápido ou alinhado, não ambos, na configuração de fábrica.

• A compreensão de áudio é somente em inglês — raciocínio, seguir instruções faladas e responder a perguntas de áudio “podem não funcionar de forma confiável em outros idiomas”, adverte o cartão, embora a transcrição abranja 40.

• Pode falhar em parar — o cartão recomenda uma salvaguarda de limpeza porque o modelo pode, ocasionalmente, entrar em loop sem terminar. Isso é um requisito operacional, não uma nota de rodapé.

• Uma hora é um limite prático rígido — o desempenho além de 65.536 tokens ou de uma gravação de uma hora "não é garantido que generalize". Para um depoimento de dia inteiro, você divide o arquivo e faz a conciliação dos falantes por conta própria.

A atribuição de falante também é mais restrita do que o destaque dos 40 idiomas: 13 dos 40 idiomas estão marcados para saída com vários falantes na matriz da NVIDIA, e as misturas de treinamento abrangem até oito falantes. Se a sua reunião for em turco ou vietnamita, você pode transcrevê-la bem e ainda assim não obter rótulos.

Implantação e quanto custa

Os pesos são gratuitos para uso comercial e não comercial sob a OpenMDW-1.1, publicados em BF16, FP8, NVFP4 e GGUF, com uma configuração de referência em uma H100 de 80 GB e suporte em componentes Ampere, Hopper, Blackwell e Lovelace. Há também um contêiner NIM para equipes que preferem não montar a pilha de serving, e o NeMo Speech para ajuste fino — a NVIDIA relata a adaptação do modelo em 17 tarefas a 0,5–2,3 horas de GPU por tarefa em uma única GPU, o tipo de número que torna a adaptação de domínio plausível, em vez de teórica.

A economia se divide de forma clara. Na modalidade hospedada, o preço listado pela Artificial Analysis, de US$ 2,00 por 1.000 minutos, fica em cerca de US$ 0,12 por hora de áudio — mais barato que a maioria dos serviços gerenciados de transcrição e aproximadamente um terço do que costuma custar uma fatura típica de STT em nuvem. Na modalidade auto-hospedada, o custo marginal é o tempo de GPU: com a taxa de processamento de 2.238 para 1 do fornecedor, mil horas de áudio correspondem a menos de meia hora de computação na placa certa, então a questão deixa de ser preço e passa a ser se você é proprietário ou aluga o hardware, e se o áudio pode sair da sua rede. Ambos os caminhos são legítimos; eles não ficam nem perto um do outro numa planilha.

A metade do trabalho que o checkpoint não faz

A transcrição produz texto, e é no texto que está a maior parte do custo downstream: resumir a chamada, extrair itens de ação, ocultar dados pessoais, traduzir a saída em inglês para um escritório regional e verificar se os rótulos de locutor sobreviveram à transferência. Essas são cargas de trabalho comuns de modelos de texto e não precisam ser executadas na mesma máquina que o ASR.

É aí que um roteador ganha seu lugar. O OrcaRouter coloca essas chamadas downstream atrás de uma única chave com 0% de markup — o preço de tabela do provedor é repassado, de modo que uma alteração de preço do fornecedor se aplica no mesmo dia — com failover automático quando um provedor degrada e uma DSL de roteamento que pode enviar sumarização, ocultação de dados e tradução para modelos diferentes dentro de um único fluxo de trabalho. Para deixar claro: NVIDIA Nemotron 3.5 Transcribe não está no catálogo do OrcaRouter, e nada aqui sugere o contrário. O que roteamos é a camada de texto após a transcrição existir, que é a camada que a maioria das equipes subestima ao definir o orçamento de um pipeline de transcrição.

Se você está avaliando o próprio modelo, o caminho honesto é um endpoint hospedado primeiro e seu próprio hardware em segundo lugar. Os próprios números da placa diferem em mais de um ponto entre as medições do fabricante e as independentes, e o único áudio que resolve isso é o seu.

O que mudaria a recomendação?

Três coisas merecem atenção no próximo trimestre. Primeiro, se a pilha de serving open-source alcança o caminho NIM otimizado — até que isso aconteça, a taxa de transferência anunciada é um número válido apenas para o serviço hospedado, e a versão aberta fica em cerca de metade disso. Segundo, se alguém fora da NVIDIA reproduz o cpWER de 15,80 e a melhoria de seis vezes em entidades nomeadas; ambas são alegações fortes que atualmente dependem da estrutura de avaliação de um único laboratório. Terceiro, se a compreensão de áudio se expande além do inglês, porque essa capacidade — fazer perguntas sobre uma gravação em vez de apenas transcrevê-la — é a parte que nenhum checkpoint aberto concorrente oferece neste tamanho.

Por enquanto, o veredito prático é restrito e pouco glamouroso. Se você precisa de transcrição multilíngue de uma hora com identificação de locutor e pode aceitar um fluxo de trabalho em lote, este checkpoint é a opção aberta mais forte disponível, e o mecanismo de prompting contextual é genuinamente diferenciador. Se você precisa de legendas ao vivo, um agente de streaming ou alinhamento ao nível da palavra junto com a decodificação o mais rápida possível, o lançamento ainda não cobre você, e os produtos que cobrem isso ainda são aqueles a contatar.