Nemotron 3.5 Transcribe vs Granite Speech 5.0 470M TurboCTC: 64× o número de parâmetros, 43× mais lento

O objeto mais útil nesta comparação é um arquivo de 279 megabytes. Essa é a quantização Q4_K_M do Granite Speech 5.0 470M TurboCTC, o reconhecedor de fala somente com codificador da IBM, e ele transcreverá inglês em uma CPU de laptop sem GPU, sem um ambiente Python digno do nome e sem contrato de serviço. Nemotron 3.5 Transcribe, que a NVIDIA publicou como pesos abertos em 28 de outubro de 2026, é um modelo de linguagem aumentado para fala com 30 bilhões de parâmetros que exige um acelerador de classe de datacenter e cerca de sessenta gigabytes de pesos BF16. O modelo da NVIDIA é sessenta e quatro vezes maior e, pelos números de throughput que cada fornecedor publica, cerca de quarenta e três vezes mais lento por segundo de GPU. Também é o único dos dois que consegue dizer quem estava falando.

Nenhum desses fatos é decisivo. Eles descrevem duas máquinas diferentes que, por acaso, são avaliadas no mesmo ranking, e toda a questão é saber se sua carga de trabalho precisa de espaço ou apenas de palavras.

Um modelo CTC não autorregressivo versus um LLM generativo de fala

O Granite Speech 5.0 470M TurboCTC é dezesseis blocos Conformer com uma camada de saída BPE de 16.384 peças, treinado com um objetivo CTC e decodificado de forma gulosa. Não há modelo de linguagem, projetor nem loop de geração: o áudio entra, e sai uma sequência de rótulos síncrona com os quadros, subsampleada de 100 Hz para 12,5 Hz. Esse design é o motivo de ser rápido, de ser pequeno e de não poder fazer nada que o conjunto de rótulos não cubra. Ele não tem noção de prompt, nem estilo de saída, nem alvo de tradução e nem campo de falante.

O Nemotron 3.5 Transcribe é a arquitetura oposta, e a diferença não é uma lacuna geracional. Um codificador de fala alimenta um modelo Nemotron 3 Diarization congelado cujo sinal de atividade do falante é injetado no codificador por meio de um Parallel Expert Encoder, e um decodificador híbrido Mamba–Transformer de mistura de especialistas produz a transcrição como texto, com aproximadamente 4 bilhões de seus 30 bilhões de parâmetros ativos por token. Como a saída é gerada em vez de classificada, ele pode receber instruções: forma literal ou escrita, uma lista de entidades esperadas, um idioma de destino para tradução, saída com atribuição de falante ou uma resposta falada a uma pergunta sobre o áudio.

• Parâmetros — cerca de 30B no total, aproximadamente 4B ativos por token vs. 470M somente encoder.

• Decodificação — geração autorregressiva em um MoE de 30B vs CTC guloso não autorregressivo.

• Licença — OpenMDW-1.1 vs Apache-2.0 (a mais permissiva das duas; a variante -nc separada da IBM é CC-BY-NC-SA-4.0).

• Pegada — aproximadamente 60 GB em builds BF16, NVFP4 e GGUF oferecidas, versus 279 MB em Q4_K_M em um porte GGUF da comunidade.

• Idiomas — 40 transcritos, 31 traduzidos vs 7 (inglês, francês, alemão, espanhol, português, italiano, japonês) após a atualização multilíngue de 21 de outubro de 2026.

• Falantes — até 8, atribuídos, em 13 idiomas vs nenhum; a diarização exige um modelo separado.

• Carimbos temporais — em nível de palavra por meio de um adaptador CTC pós-decodificação versus nenhum; as posições de pico CTC não são limites de palavra.

• Streaming — nenhum, apenas áudio gravado vs. nenhum.

A diferença de precisão é menor do que a diferença de tamanho, e as médias não coincidem.

A IBM relata uma taxa média de erro de palavras de 5,51% em nove conjuntos de testes públicos em inglês para o lançamento multilíngue do TurboCTC, uma melhoria em relação aos 5,78% no lançamento de agosto. A NVIDIA relata um WER médio em inglês de 5,33% no Hugging Face Open ASR Leaderboard, e 4,71% em nove conjuntos de testes públicos em sua própria página de pesquisa. Ambos os números são relatados pelos fornecedores, e as duas médias não representam a mesma mistura: os nove conjuntos da IBM e a entrada da NVIDIA com oito conjuntos no leaderboard diferem em composição e normalização, e o número separado de nove conjuntos da página de pesquisa difere novamente de sua própria entrada no leaderboard. Não os subtraia e chame a diferença de lacuna de qualidade. A afirmação defensável é mais estreita — no leaderboard público de inglês de formato curto, esses dois estão a alguns décimos de ponto um do outro, o que é um resultado notável para um modelo 64 vezes menor e um alerta sobre quanto da média de um leaderboard é fala limpa lida com características de LibriSpeech.

A taxa de erro de palavras também oculta aquilo que realmente os separa. O Granite é um classificador: emite a sequência de rótulos mais provável e, onde a acústica é ambígua, emite algo plausível. O Nemotron gera texto com um modelo de linguagem por trás, e é por isso que sua alegação de prompting contextual — uma redução de seis vezes nos erros de entidades nomeadas no ContextASR-Bench com uma lista de entidades no prompt — é sequer possível. Em uma transcrição de uma ligação de vendas repleta de códigos de produto, o modelo pequeno não tem mecanismo para o viés, e o grande tem.

Taxa de transferência: 19.870 RTFx contra 462

A entrada do Nemotron 3.5 Transcribe no ranking do Hugging Face traz um RTFx de 462,09 — o que significa que o modelo processa aproximadamente 462 segundos de áudio por segundo de computação na estrutura de avaliação do ranking. A atualização de outubro da IBM relata 19.870 RTFx para o TurboCTC em uma única H200, acima de cerca de 12.600 no lançamento, após uma otimização de reutilização de grafo de bloco único. Trata-se de uma diferença de quarenta e três vezes e, ao contrário dos valores de WER, ela é ao menos medida em dois aceleradores competitivos, em vez de duas misturas de teste diferentes.

A manchete da própria NVIDIA é um tipo diferente de número: até 2.238 segundos de áudio por segundo em uma única RTX PRO 6000 Blackwell, usando o checkpoint NVFP4 e um modelo de rascunho DFlash2. Isso é maior que o 462 do leaderboard porque é uma medição diferente — trechos de 30 segundos em alta concorrência, como afirma o próprio post da NVIDIA no Hugging Face, com decodificação especulativa habilitada e uma quantização que ainda era descrita como por vir. Lidos em conjunto, a conclusão honesta é que o throughput do Nemotron depende da configuração em uma ordem de grandeza, enquanto o do TurboCTC é uma propriedade de sua arquitetura. Um modelo sem laço autorregressivo não pode ser lento da forma como um MoE de 30B pode.

O que 470 milhões de parâmetros lhe oferecem que 30 bilhões não conseguem

O primeiro aspecto é o formato de implantação. Um GGUF de 279MB roda em uma CPU, em um dispositivo de borda próximo de um celular, dentro de um aplicativo desktop, em uma placa da classe Raspberry Pi, se você tiver paciência. Agora existem ports GGUF da comunidade e uma família de runtimes C++ que trata o modelo como um engine de primeira classe. O Nemotron 3.5 Transcribe roda no vLLM com o plugin NeMo Speech, ou no SGLang-Omni, em um acelerador de 80GB em BF16 ou em uma placa Blackwell em NVFP4. Esses não são dois pontos em um espectro; são categorias de aquisição diferentes.

O segundo é o piso de latência. Um modelo CTC retorna uma transcrição em uma única passagem direta. Um modelo generativo retorna um token por vez, e sua latência real em um arquivo curto é dominada pelo loop de decodificação, e não pelo áudio. Para arquivos em lote, isso é irrelevante. Para qualquer coisa interativa — uma caixa de ditado, um monitor de qualidade de chamadas, uma ferramenta de legendas que precisa acompanhar o arrasto da linha do tempo — o modelo pequeno é o único dos dois que termina antes que o usuário perceba.

O terceiro é a clareza de licenciamento. Apache-2.0 é a licença que os departamentos jurídicos já aprovaram; OpenMDW-1.1 é nova o suficiente para que alguns deles queiram uma revisão. Se o seu obstáculo for um formulário de aquisição e não um benchmark, o modelo da IBM resolve isso mais rápido.

O que 30 bilhões de parâmetros oferecem que 470 milhões não conseguem

Falantes, primeiro e decisivamente. O TurboCTC não tem nenhuma representação de falante. Para obter transcrições com atribuição, você precisa de um modelo de diarização na frente dele, de uma etapa de fusão e de uma margem de erro para a fusão — a cascata padrão. O Nemotron 3.5 Transcribe incorpora um modelo de diarização congelado ao codificador e emite rótulos de falante diretamente, até oito deles, em 13 idiomas, com temporização de palavras atribuída por falante a partir de um adaptador CTC pós-decodificação. A taxa de erro de diarização relatada pela NVIDIA é de 18,26% em 21 idiomas no benchmark David AI, a melhor entre 14 sistemas, com o concorrente mais próximo sendo seu próprio modelo Nemotron 3 Diarization, com 18,38%. Esses são números do fornecedor em uma plataforma de teste do fornecedor e não foram reproduzidos de forma independente. A comparação em cascata que eles implicam — um modelo versus três — não é de modo algum uma alegação de benchmark; é uma descrição da implantação.

Idiomas e tradução em segundo lugar. O TurboCTC cobre sete idiomas após a atualização de outubro; o Nemotron cobre quarenta para transcrição e trinta e um para tradução de ou para inglês. Se a sua fila for europeia e monolíngue, sete é o suficiente. Se não for, a comparação termina.

Em terceiro lugar, o ajuste fino. A NVIDIA relata adaptação em uma única GPU com 0,5 a 2,3 horas-GPU por tarefa, e um exemplo de fala médica em que um ajuste fino reduziu a taxa de erro de palavras de 30,8% para 11,8% em 3.619 clipes, com falantes mantidos à parte melhorando de 22,44% para 12,17%. O TurboCTC da IBM também pode passar por ajuste fino — é Apache-2.0 —, mas você estaria ajustando uma cabeça CTC em um modelo muito menor, e o teto do que contexto adicional pode lhe proporcionar é menor porque não há um modelo de linguagem para persuadir.

O modelo de custos que decide isso

A economia do TurboCTC é quase entediante. Um H200 atendendo a 19.870 RTFx satura uma fila muito grande; uma build quantizada de 279 MB em CPUs comuns custa quase nada por hora de áudio, e a eletricidade é o item de custo. Não há medição por minuto em nenhum lugar da pilha.

A economia do Nemotron tem o mesmo formato em uma escala diferente: nenhum medidor por minuto, mas um acelerador muito maior e um teto de vazão bem menor. Uma placa Blackwell que processa 2.238 segundos de áudio por segundo cobre 100 horas em menos de três minutos sob alta concorrência e bem menos em reuniões de uma hora com sobreposição.

• Uma fila de 20 horas por mês — TurboCTC em uma CPU é efetivamente gratuito; Nemotron precisa de um acelerador alugado ou próprio que ficará ocioso na maior parte do mês.

• Um arquivo de 2.000 horas por mês sem requisitos de locutor — o TurboCTC em uma única GPU, ou um pequeno conjunto de CPUs, é a configuração mais barata e mais rápida por uma margem considerável.

• Um acervo de 2.000 horas por mês de reuniões de seis pessoas — TurboCTC mais um diarizador mais uma camada de mesclagem, comparados com o Nemotron em uma única placa. Esta é a única configuração em que o preço do modelo grande é justificável, e mesmo aqui a cascata sai mais barata em hardware.

• Qualquer caso sujeito a uma restrição de confidencialidade que proíba o envio de áudio — ambos podem ser auto-hospedados, portanto a restrição é satisfeita de qualquer forma, e a decisão recai sobre os falantes e os idiomas.

A metade de pós-processamento do pipeline é onde uma camada de roteamento se justifica, independentemente do reconhecedor que você escolher. As transcrições são resumidas, marcadas e roteadas, e o OrcaRouter coloca mais de 200 modelos de texto e multimodais atrás de uma única chave com os preços de tabela dos provedores repassados com 0% de margem, failover automático, e uma DSL de roteamento que pode enviar uma classe de transcrição para um resumidor barato e outra para um modelo mais forte sem uma segunda integração. Nem o Nemotron 3.5 Transcribe nem o Granite Speech 5.0 470M TurboCTC são servidos nesse catálogo — não hospedamos reconhecimento de fala — então a escolha de fala continua sendo um contrato separado e apenas a camada acima dela se torna portátil.

Escolha pelo formato do trabalho, não pelo ranking.

Se o trabalho é "transformar muito áudio limpo, majoritariamente em inglês, em texto com o menor custo e a maior rapidez possível", o Granite Speech 5.0 470M TurboCTC vence, e a comparação não chega perto — é um modelo de 279 MB licenciado sob Apache que é mais de quarenta vezes mais rápido que um sistema de 30B e não abre mão de quase nada na média pública de inglês. A cascata que você monta para falantes é o preço dessa eficiência, e, se você nunca precisou de falantes, nunca paga por ela.

Se o trabalho é "produzir uma transcrição estruturada, com atribuição e marcação temporal, a partir de uma gravação difícil em uma dentre quarenta línguas", o Nemotron 3.5 Transcribe é o único dos dois que tenta fazê-lo, e os números de diarização do fornecedor — ainda não reproduzidos de forma independente — sugerem que ele o faz melhor do que as cascatas que substitui. O custo de vazão é real, o custo de hardware é real e, para uma carga de trabalho intensiva em reuniões, nenhum dos dois é proibitivo.

O erro a evitar é tratar isso como uma disputa geracional. Um modelo CTC de 470M não é uma versão desatualizada de um LLM de fala de 30B; é um instrumento diferente que, por acaso, obtém pontuação semelhante em um benchmark construído majoritariamente com fala lida limpa. A próxima versão não o tornará obsoleto. Sua própria pior gravação dirá qual dos dois você precisava.