Granite Speech 5.0 2B vs Granite Speech 5.0 470M TurboCTC: 35× a Taxa de Transferência por 0,45 Pontos de WER

A IBM lançou dois checkpoints do Granite Speech 5.0 com um dia de diferença, e o interessante neles não é que um seja maior. É que Granite Speech 5.0 2B obtém 5,06% de WER médio em inglês a 570 RTFx no Open ASR Leaderboard, enquanto Granite Speech 5.0 470M TurboCTC obtém 5,51% a 19.870 RTFx — cerca de trinta e cinco vezes a taxa de processamento por bem menos de meio ponto de precisão. Se você presumiu que a contagem de parâmetros lhe garante algo proporcional, não garante. Ela lhe oferece tradução, viés de palavras-chave, controle de identificação de idioma e um modelo de linguagem que consegue seguir um prompt. Velocidade não está nessa lista. As falhas documentadas de IA e os incidentes de agentes por trás de lançamentos como este estão reunidos em o OrcaRouter AI Incident Archive onde cada entrada traz suas próprias fontes, gravidade, nota de confiança e sinalização de contestação.

Ambos os números são da própria IBM, medidos no mesmo leaderboard e datados com uma semana de diferença entre si, o que torna esta uma das comparações intrafamília mais limpas disponíveis — e também uma em que você ainda deve presumir uma avaliação conduzida pelo fornecedor, e não uma auditada. Nenhum dos modelos tem reprodução independente e, até o momento da redação, nenhum deles é servido por qualquer provedor de inferência que eu consiga encontrar, incluindo nosso próprio catálogo.

Na mesma semana, duas histórias de lançamento diferentes

Esses dois modelos não são gêmeos de tamanhos diferentes. Eles foram lançados de maneiras diferentes e são construídos de maneiras diferentes, e os históricos de lançamento explicam por que seus model cards são tão diferentes.

• Granite Speech 5.0 2B — repositório criado em 7 de outubro de 2026, pesos commitados naquela noite, card editado abertamente por duas semanas, data de lançamento marcada para 20 de outubro, blog de anúncio em 21 de outubro. Novo modelo, começo silencioso, final estrondoso.

• Granite Speech 5.0 470M TurboCTC — lançado inicialmente em 25 de agosto de 2026 como um modelo somente em inglês, com uma alegação de 12.600 RTFx. O lançamento de 21 de outubro é uma atualização, não um novo modelo: a mesma arquitetura, uma nova cabeça BPE multilíngue de 16.384 tokens, seis idiomas adicionados e pontuação e capitalização nativas.

Essa diferença importa quando você lê os números. Os 5,06% do 2B são uma avaliação nova de um novo checkpoint. Os 5,51% do 470M representam uma melhoria em relação ao valor de 5,78% publicado em agosto, e o blog da IBM apresenta isso como "melhor WER em inglês apesar de acrescentar seis idiomas", que é a forma correta de interpretar — a atualização multilíngue não custou precisão em inglês, ela até ganhou um pouco.

Duas arquiteturas, uma consequência

O Granite Speech 5.0 2B é um modelo de fala e linguagem. Um codificador Conformer CTC de 16 blocos alimenta um projetor transformer de consulta em janela de duas camadas, que reduz a amostragem em 10× para embeddings acústicos de 10 Hz, que entram em um checkpoint intermediário do granite-4.0-1b-base estendido para 16k posições com YaRN. O ajuste fino supervisionado é LoRA no projetor e no modelo de linguagem em conjunto. A geração é autorregressiva: o modelo de linguagem escreve a transcrição token por token.

Granite Speech 5.0 470M TurboCTC é um encoder. Dezesseis blocos Conformer, objetivo CTC, uma cabeça de classificação BPE multilíngue de 16.384 unidades, subamostragem temporal por 8 para reduzir quadros de 100 Hz para 12,5 Hz, decodificação gulosa não autorregressiva. Sem projetor, sem modelo de linguagem, sem loop de geração. A saída vem com pontuação e letras maiúsculas porque o modelo foi treinado para emitir pontuação no fluxo de tokens, não porque um segundo modelo a adicionou depois.

A consequência é a comparação inteira. Um modelo 2B que gera tokens tem um piso de latência por token que nenhuma quantidade de batching elimina por completo; um encoder não autorregressivo emite toda a sua saída em uma única passada forward, de modo que a vazão escala com o tamanho do lote e quase nada mais. É assim que um modelo com um quarto dos parâmetros acaba trinta e cinco vezes mais rápido, em vez de quatro vezes mais rápido.

É também por isso que o 470M abre mão de coisas que o 2B tem. Não há prompt a seguir, portanto não há instrução de identificação de idioma nem lista de palavras-chave, e não há tradução — uma cabeça CTC mapeia a acústica para tokens, não é possível instruí-la a renderizar fala em alemão como texto em inglês.

O placar, e de onde veio cada número

• Parâmetros — o Granite Speech 5.0 2B tem 2B; o Granite Speech 5.0 470M TurboCTC tem 470M.

• WER em inglês, média de 9 conjuntos do Open ASR — 5,06% vs 5,51%. Ambas as execuções de avaliação da IBM, 15–20 de outubro de 2026.

• Vazão, RTFx — 570 vs 19.870. Mesmo harness de leaderboard, mesmo intervalo de datas.

• WER ruidoso e reverberante, FFASR — 14,80% (posição #4 de 42) vs 17,57% (posição #12). O 2B é mais robusto em cerca de 2,8 pontos.

• Licença — Apache 2.0 para ambos. O TurboCTC também tem um irmão -NC sob CC-BY-NC-SA-4.0; verifique o nome do repositório antes de lançar.

• Idiomas — seis idiomas de transcrição (En, Fr, De, Es, Pt, Ja) mais tradução, contra sete (com a adição do italiano) sem tradução.

• Recursos de controle — prompting de identificação de idioma, viés de palavras-chave para 2.000 termos e tradução de fala no 2B; nenhum no 470M.

• Treinamento — 390.000 horas ao longo de 40 dias em 8 H100s para o 2B; 153.000 horas ao longo de 24 dias em 8 H100s para o 470M.

A lacuna de robustez é a linha que as pessoas ignoram. Trinta e cinco vezes a velocidade chama a atenção, mas 17,57% de WER em áudio ruidoso de campo distante contra 14,80% é uma diferença relativa de erro de 19%, e áudio ruidoso é o que a maioria das implantações reais tem. Se o seu áudio vem de um laptop em uma cozinha, a vantagem de velocidade do modelo pequeno está sendo gasta em uma transcrição que você depois precisa corrigir.

O único ponto em que o 470M realmente vence em precisão

O card do TurboCTC afirma que supera o modelo 2B na taxa de erro de caracteres em CSJ eval1, CommonVoice-17 e FLEURS — todos os três conjuntos de teste — e declara isso explicitamente no texto do card, em vez de escondê-lo em um gráfico. Os próprios números estão apenas em uma figura, então o tamanho da vantagem não pode ser citado, mas a direção é a própria afirmação da IBM sobre seus próprios dois modelos, o que a torna mais crível do que uma comparação entre fornecedores.

Há um mecanismo plausível. O 2B lida com japonês adicionando ao head de caracteres um conjunto fonético de 92 caracteres katakana e 16.500 horas de ASR com viés para palavras-chave em japonês, além de 9.600 horas de TTS do Fineweb-2 ao treinamento, mas ainda passa o resultado por um modelo de linguagem treinado majoritariamente em texto europeu. O 470M usa um único vocabulário BPE multilíngue de 16.384 unidades, com japonês incluído desde o início, e dedica 8.130 horas ao ReazonSpeech e 1.860 a japonês sintético. Se o seu produto é transcrição em japonês em grande volume, esta é a única comparação em que o modelo pequeno é tanto mais rápido quanto melhor, e vale a pena fazer um teste direto antes de usar o 2B por padrão com base no tamanho.

Custo, calculado em vez de cotado

A IBM não publica um preço para nenhum dos dois modelos. Ambos são pesos Apache 2.0, então o custo de executá-los é o custo do hardware, e os números RTFx são a única alavanca que você tem para estimá-lo.

Considere uma carga de trabalho de 1.000 horas de áudio por dia — o arquivo de um call center de médio porte. A 570 RTFx, o modelo 2B precisa de cerca de 6.300 segundos de tempo de GPU, um pouco mais de 1,7 horas de GPU. A 19.870 RTFx, o 470M precisa de cerca de 181 segundos, ou 0,05 horas de GPU. Em uma H100 a cerca de US$ 2–3 por hora, isso é alguns dólares por dia contra alguns centavos. Ambos são números pequenos, e esse é o ponto: nessa escala, nenhum dos dois modelos é caro, e a decisão deve ser tomada com base em precisão e capacidade, não em poder computacional.

A aritmética muda no outro extremo. Se você estiver transcrevendo um fluxo em tempo real em um laptop, ou executando um app no dispositivo, o 2B precisa de uma GPU para acompanhar o tempo real, enquanto o 470M tem folga de sobra — é por isso que a IBM posiciona o TurboCTC para laptops, celulares e dispositivos de borda e documenta o mlx-audio para Apple Silicon. O 2B também roda no llama.cpp e no mlx-audio, mas em Q8_0, com um aviso de que a quantização com menos bits perde precisão após cerca de um minuto de áudio.

Escolhendo, na ordem em que a decisão realmente acontece

Não comece pelo benchmark. Comece pelo que a tarefa exige, porque três das diferenças são requisitos obrigatórios, e não trade-offs.

A saída precisa estar em um idioma diferente do da entrada? Então é o 2B, e não há comparação a fazer. O 470M não consegue traduzir. Esse único requisito o elimina para pipelines de legendas, notas de reuniões multilíngues e qualquer arquivo em inglês criado a partir de áudio em outro idioma.

O transcrito precisa conter termos específicos?Nomes de produtos, nomes de medicamentos, IDs de tickets, a lista de SKUs de um cliente — o 2B aceita até 2.000 termos como lista de palavras-chave e foi treinado em 23.600 horas de áudio com viés de palavras-chave exatamente para isso. O 470M não tem interface de prompt. Uma implantação orientada por glossário no modelo pequeno não é possível.

O áudio está limpo? Se sim, a diferença de 0,45 ponto no inglês é pequena e a vantagem de velocidade de 35× é quase gratuita. Se não — reuniões, centrais de atendimento, microfones de campo distante —, a diferença de 2,8 pontos no FFASR indica que os erros do modelo pequeno vão custar mais do que a velocidade economiza.

É japonês? Teste o 470M primeiro. A IBM diz que ele vence em todos os três conjuntos de teste em japonês.

Está num dispositivo? O 470M foi projetado para isso. O 2B consegue rodar em um, mas não foi projetado para isso.

O resumo honesto é que estes não são dois tamanhos do mesmo produto. Um é um sistema de transcrição e tradução com uma interface de controle; o outro é um mecanismo de transcrição muito rápido e muito barato, sem controles. A maioria das equipes que acha que precisa do “melhor” na verdade precisa primeiro responder às perguntas sobre tradução e glossário, e essas duas respostas resolvem a questão.

Rodando os dois sem apostar em nenhum deles

A forma sensata de produção para uma equipe que testa esta família é implantar os dois, porque eles têm modos de falha opostos. O 470M lida com transcrição limpa em massa a um custo que arredonda para nada; o 2B lida com o áudio difícil, o áudio em outros idiomas e qualquer coisa que precise de um glossário. Um roteador que classifica cada arquivo recebido — detecção de idioma, uma estimativa de relação sinal-ruído, uma verificação se um glossário está anexado — e o envia para o checkpoint certo é talvez cinquenta linhas de código e reduz sua taxa de erro na cauda sem pagar os preços do 2B no volume.

Essa etapa de classificação é uma chamada de modelo pequena, e é a parte que vale a pena executar por meio de um único endpoint em vez de incorporar um segundo SDK de fornecedor: o OrcaRouter expõe mais de 200 modelos por trás de uma única API compatível com OpenAI ao preço de tabela do provedor, sem acréscimo de margem, e sua DSL de roteamento pode expressar o despacho por idioma e qualidade como uma regra em vez de código de aplicação. O failover automático é mais importante na semana seguinte a um lançamento como este, quando um checkpoint tem dois dias, nada foi verificado de forma independente, e a maneira mais segura de experimentá-lo é manter um segundo caminho aquecido. Nada disso ajuda a executar o Granite Speech em si ainda — nenhum dos checkpoints é servido por nós hoje, então os modelos de fala continuam auto-hospedados e a camada de roteamento começa um passo abaixo.

Se você só for implantar um, implante o 2B. Ele é o modelo que consegue fazer tudo o que o 470M faz, a uma velocidade que ainda é trinta e cinco vezes mais rápida que o tempo real e com uma precisão melhor em todos os benchmarks publicados pela IBM, exceto o japonês. O 470M é o especialista que você adiciona quando o custo ou o perfil de latência justificam — não o padrão com que você começa.