Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B: dois nomes, um checkpoint, quatro arquivos

Se um catálogo, um site de comparação ou sua própria planilha de compras listar Nemotron 3.5 Transcribe e Nemotron 3.5 Transcribe 30B como duas entradas, está listando um único modelo duas vezes. O repositório publicado é NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, a ficha da NVIDIA informa o total como 34 bilhões de parâmetros e a contagem de ativos como cerca de 4,3 bilhões, e o nome simples em todas as manchetes é o mesmo artefato com o tamanho omitido. Não há um modelo 30B separado com o qual comparar, o que torna isto menos um confronto direto do que um problema de nomenclatura com uma decisão de implantação escondida dentro dele.

Essa decisão é real, no entanto, e é a razão pela qual os dois nomes continuam aparecendo lado a lado. Um nome é o que você pesquisa e o que um catálogo de modelos ou uma listagem de API pode exibir. O outro é o que você baixa, em um de quatro níveis de precisão, com uma de quatro pegadas de memória, e a escolha entre esses arquivos é a única comparação que este modelo realmente pede que você faça. O que vem a seguir é a reconciliação: o que o 30B inclui na contagem, por que a ficha diz 34B e qual arquivo se encaixa na GPU que você tem, e não na que a página de lançamento pressupõe.

O nome que discorda de si mesmo

Dois números estão em circulação e ambos são oficiais. O nome do repositório termina em 30B-A4B, seguindo a convenção que a NVIDIA usa para sua linha de mistura de especialistas: primeiro o total de parâmetros, depois os parâmetros ativos. O model card, na mesma página, declara 34B no total e cerca de 4,3B ativos, incluindo explicitamente o codificador de áudio. A página de pesquisa repete o nome 30B-A4B em seu título e o número de 4,3B ativos em seu corpo.

A ficha também nomeia as peças, e é aí que a aritmética começa a importar. A espinha dorsal de linguagem é o Nemotron 3.5 Lightning 30B-A3B, um MoE híbrido de Mamba-2 e Transformer com 3,5B parâmetros ativos. O codificador de áudio conjunto — um codificador ASR Transformer mais um codificador de locutor — tem cerca de 800M. Somando esses, obtém-se aproximadamente 30,8B, não 34B. Ou os 34B contabilizam algo que a NVIDIA não discriminou, ou os 30B no nome do repositório são um rótulo arredondado para uma espinha dorsal que é, na verdade, maior do que no nome. A NVIDIA não publicou a reconciliação, e ainda não existe uma auditoria de parâmetros de terceiros do checkpoint completo.

O que isso significa para um comprador é mais restrito do que parece. Se o sistema tem 31B ou 34B não muda em qual placa ele cabe, porque o tamanho do arquivo é determinado pela precisão muito mais do que pelos últimos três bilhões de parâmetros. Isso significa que qualquer ficha técnica que cite "30B" e qualquer uma que cite "34B" está descrevendo o mesmo download, e uma comparação de aquisição baseada nessa diferença está comparando uma convenção de arredondamento.

O que o sufixo 30B está realmente contando

O sufixo designa um modelo de linguagem, não um transcritor. O Nemotron 3.5 Transcribe é um LLM aumentado para fala: o áudio passa por um encoder Transformer, um modelo congelado Nemotron 3 Diarization contribui com representações de falante por meio do que a NVIDIA chama de encoder especialista paralelo, e o decodificador MoE híbrido escreve a transcrição. O rótulo 30B pertence ao decodificador e à sua pilha de embeddings. O caminho de fala — encoder, diarizador, cabeça de carimbo de tempo CTC — fica por cima e não é o que o nome anuncia.

É por isso que o modelo se comporta como um LLM de maneiras que um sistema ASR clássico não faz. Ele aceita prompts. Responde a perguntas sobre o áudio. Traduz entre 31 pares de e para o inglês na mesma passada. Mantém um contexto de 65.536 tokens para que uma hora de fala caiba sem chunking. Nada disso vem de um decodificador de 30B ser grande; vem de o decodificador ser um modelo de linguagem geral, com a fala projetada em seu espaço de entrada.

Isso também explica a ausência que todos continuam procurando. Não existe um modelo irmão exclusivo de 30B, nem um Transcribe denso menor, nem um maior. O repositório contém precisões de um único modelo, não de uma família. Os únicos outros tamanhos em circulação são quantizações produzidas pela comunidade, e um reconhecedor de streaming genuinamente menor — Nemotron Speech Streaming EN 0.6B — que é um modelo diferente, com cobertura somente em inglês e sem diarização, não uma versão mini deste.

Os quatro arquivos por trás do nome, e o que cada um custa em memória

Esta é a comparação para a qual os dois nomes realmente apontam. A NVIDIA publica três precisões e a comunidade acrescentou um quarto formato de entrega; os valores de memória abaixo vêm dos checkpoints publicados e dos repositórios da comunidade, não de uma única tabela de fornecedor.

• BF16 — o checkpoint de referência, aproximadamente 67-68 GB no disco, executado num único H100 80 GB. Esta é a versão na qual os números de benchmark publicados foram produzidos, e a que deve usar quando precisar reproduzi-los.

• FP8 — cerca de 35 GB, o que reduz o limite mínimo para uma placa de 48 GB, como a L40S. A perda de precisão em relação ao BF16 é pequena segundo o próprio enquadramento da NVIDIA, mas é o enquadramento da NVIDIA; nenhuma avaliação independente de FP8 foi publicada.

• NVFP4 — cerca de 21 GB, pequeno o suficiente para uma RTX 5090 de 32 GB ou uma RTX PRO 6000. Esta é a precisão por trás da afirmação de vazão de destaque da NVIDIA: 2.238 segundos de áudio por segundo em uma única RTX PRO 6000 com o modelo draft DFlash2 acoplado.

• GGUF — quatro decodificadores da comunidade entre 19,7 GB e 35 GB, além de um arquivo codificador F16 obrigatório de 1,67 GB. A versão IQ4_NL de 19,7 GB é a destinada a placas de 24 GB, inferência em CPU, Metal e Vulkan; a versão NVFP4 de 19,7 GB é destinada a Blackwell; a Q5 fica perto de 29 GB e a Q8 perto de 35 GB. Um drafter DFlash2 opcional de 1,15 GB adiciona decodificação especulativa no caminho CUDA.

• MLX — portes comunitários de 4 bits a 8 bits entre aproximadamente 19GB e 35GB para Apple silicon, com um autor relatando cerca de 154 tokens por segundo na versão de 4 bits. Útil para avaliação em um Mac, e não como via de serviço em produção.

O que os executa, e o único erro de runtime que as pessoas cometem

Os arquivos GGUF são a armadilha. Um arquivo terminado em .gguf não implica llama.cpp, Ollama ou LM Studio, e nenhum desses três executa este modelo: ele precisa de um runtime de speech-LLM com o codificador de áudio integrado. Os caminhos que funcionam no lançamento são mais restritos do que a lista de formatos sugere.

• vLLM 0.32.0 — o caminho principal e o único que expõe toda a superfície de saída, incluindo timestamps de palavras por meio do runner V1 e do middleware de timestamps. A saída com atribuição de falante e a tradução estão aqui.

• SGLang-Omni 0.2.0 no SGLang 0.5.22 — transcrição de arquivo completo por meio de um endpoint de áudio compatível com OpenAI, sem timestamps por palavra, atribuição de falante, tradução ou decodificação especulativa.

NeMo Speech — o kit de ferramentas de ajuste fino, com a NVIDIA citando de 0,5 a 2,3 horas de GPU por tarefa em uma única GPU. As receitas LoRA publicadas rodam em uma única placa.

• NeMo-Speech.cpp e speech.cpp — o caminho em C++ para o qual os construtores GGUF convergem, e o único que carrega esses quants. Tanto o arquivo de 19,7 GB quanto o de 35 GB acima são distribuídos para ele, e os READMEs dos repositórios são a fonte honesta sobre o que cabe onde.

• Transformers — uso em processo a partir de uma instalação do código-fonte, adequado para avaliação, não para throughput.

O erro é baixar o menor quant, apontar o llama.cpp para ele e concluir que o modelo está quebrado. Ele não está quebrado; é um LLM de fala com um encoder que os runtimes de texto não conhecem. Se o runtime não listar o Nemotron 3.5 Transcribe entre suas arquiteturas suportadas, o arquivo não carregará, independentemente de quão pequeno seja.

Onde cada arquivo se encaixa, em termos simples

Trabalhe de trás para frente a partir do hardware, em vez de seguir adiante a partir do cartão do modelo. A linha de base declarada no cartão — uma H100 de 80 GB em BF16 — é o caminho de máxima fidelidade, não o mínimo.

• Placa de 24 GB, da classe RTX 4090 ou L4 — o GGUF IQ4_NL de 19,7 GB com seu codificador de 1,67 GB. Deixe folga para o cache KV e o buffer de áudio; 24 GB é apertado, mas está documentado que funciona.

• Placa de 32 GB, RTX 5090 ou RTX PRO 6000 — o checkpoint NVFP4 de 21 GB, que é a configuração descrita pela alegação de throughput da NVIDIA, com o drafter DFlash2 se você quiser decodificação especulativa.

• Placa de 48 GB, L40S ou A6000 — o checkpoint FP8 de 35 GB, o compromisso menos incômodo entre fidelidade e custo.

• Acelerador de 80 GB, H100 ou A100 — BF16, a configuração de referência, e a única que reproduz a tabela de WER publicada sem ressalva de precisão.

• Nenhuma GPU — nenhum desses arquivos. O encoder roda na CPU no caminho C++, mas uma hora de áudio em um decoder 30B-A3B sem aceleração é uma tarefa em lote medida em horas, não um serviço.

Uma restrição permanece válida para qualquer precisão: a entrada é PCM mono de 16 kHz e o limite é uma hora de áudio por solicitação. A redução da taxa de amostragem e a seleção de canais acontecem antes de o modelo ver qualquer coisa, e uma gravação estéreo de sala de reuniões é mixada para mono, a menos que você mesmo separe os canais. Essa é uma decisão de pré-processamento, não uma decisão de checkpoint, e errar nisso prejudica mais a qualidade da transcrição do que a etapa de BF16 para FP8.

As verificações a executar quando uma listagem mostra ambos os nomes

Como a situação de nomes duplicados é real e vai repetir-se em catálogos e páginas de comparação, uma rotina de verificação curta vale mais do que outro parágrafo de explicação.

• ID do repositório — o único artefato oficial é NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Uma linha chamada Nemotron 3.5 Transcribe 30B com um ID de repositório diferente é ou uma quantização ou um modelo completamente diferente.

• Cadeia de licença — OpenMDW-1.1 na versão oficial, uso comercial permitido. Uma listagem que diga apenas para pesquisa ou não comercial está descrevendo outra coisa.

• Janela de contexto e áudio — 65,536 tokens e uma hora. Uma listagem que cite uma janela maior está incorreta ou está descrevendo um checkpoint diferente.

• Alegação de parâmetros — 30B-A4B no nome, 34B na ficha, 4,3B ativos em ambos. Uma listagem que indica 4B no total confundiu a contagem de ativos com o total, que é a transcrição mais comum deste modelo na web.

• Lista de arquivos — BF16, FP8 e NVFP4 da NVIDIA, além de um modelo draft DFlash2. Se uma página oferecer "Nemotron 3.5 Transcribe 30B" como um único arquivo para download e sem variantes de precisão, trata-se de um quant da comunidade sob o nome do fornecedor.

A questão de roteamento que na verdade é separada

Uma vez escolhido o arquivo e com o runtime funcionando, a questão da implantação está encerrada e uma mais antiga volta: o que acontece com o texto. Uma transcrição é matéria-prima para sumarização, extração de entidades, ocultação de informações sensíveis, indexação para busca e resposta a perguntas, e essas chamadas são tráfego comum de modelos de texto, com problemas comuns de modelos de texto — limites de taxa, indisponibilidades a montante, um modelo de classificação barato que daria conta de nove décimos do volume.

O OrcaRouter não serve o Nemotron 3.5 Transcribe, e seu catálogo não traz uma entrada sob nenhum dos dois nomes; se você vir duas linhas para este modelo em qualquer lugar, a verificação do repositório acima é a forma mais rápida de resolver a questão. O que a plataforma oferece é a camada que vem depois que a transcrição existe: uma única chave compatível com OpenAI para mais de 200 modelos de texto e visão ao preço de tabela do provedor, com 0% de markup, failover automático entre provedores, e uma DSL de roteamento que compõe vários modelos em uma única chamada, de modo que a passagem de extração barata e a passagem de julgamento cara possam ficar por trás de um único endpoint. A GPU transcreve; o roteamento decide quanto vale a transcrição.

O sufixo é um rótulo de tamanho de arquivo, não um segundo modelo

A maneira mais clara de manter os dois nomes na cabeça é esta: Nemotron 3.5 Transcribe é o produto, Nemotron 3.5 Transcribe 30B é o repositório, e o 30B conta um decodificador, enquanto a ficha técnica considera um sistema. A diferença entre 30,8B e 34B é um detalhe não resolvido que a NVIDIA deveria reconciliar, mas não muda nenhuma decisão de um comprador, porque a decisão é tomada em gigabytes e em runtimes suportados, não no terceiro dígito de uma contagem de parâmetros.

Escolha a precisão que o seu cartão consegue suportar, confirme que o runtime lista a arquitetura e trate qualquer listagem que apresente os dois nomes como modelos separados como um erro de catálogo, e não como uma escolha. A verdadeira bifurcação nesta versão — a que justificaria uma comparação direta genuína — é o reconhecedor de streaming de 0,6B de um lado e este transcritor offline de 30B do outro. Essa comparação diz respeito a latência e cobertura, e vale a pena fazê-la. Comparar um modelo com o seu próprio nome de ficheiro não vale a pena.