Granite Speech 5.0 2B vs Whisper large-v3-turbo: IBM vence nos benchmarks, Whisper vence em 99 idiomas

Nos dois números que a maioria das pessoas confere primeiro, Granite Speech 5.0 2B supera Whisper large-v3-turbo e não é por pouco. O modelo da IBM tem média de 5,06% de taxa de erro de palavra nos nove conjuntos de teste de inglês de formato curto do Open ASR Leaderboard a 570 RTFx; o checkpoint turbo da OpenAI tem média de 7,83% a 200 RTFx no mesmo leaderboard. Mais rápido e mais preciso, no mesmo benchmark, com cerca de dois anos de diferença nas datas de lançamento. Se o seu áudio for em inglês e estiver limpo, essa é a comparação inteira e você pode parar de ler. As falhas de IA e os incidentes com agentes documentados por trás de lançamentos como este estão reunidos no Arquivo de Incidentes de IA do OrcaRouter em que cada entrada traz suas próprias fontes, severidade, grau de confiança e sinalização de disputa.

A razão pela qual esta página ainda precisa existir é o terceiro número: 99. O Whisper large-v3-turbo cobre noventa e nove idiomas; o Granite Speech 5.0 2B cobre seis para transcrição e traduz para mais dois. Uma vantagem de 2,8 pontos de WER em inglês não vale nada se o áudio for vietnamita. Portanto, a verdadeira questão não é qual modelo é melhor — é se a sua combinação de idiomas cabe em uma caixa de seis idiomas, e quanto custa a migração se couber.

O que o Whisper large-v3-turbo realmente é

Vale a pena ser preciso aqui, porque o nome acaba sendo associado a coisas que não são ele. O Whisper large-v3-turbo é a versão podada do large-v3 da OpenAI: o encoder não muda, mas o decoder tem 4 camadas em vez de 32. Essa única mudança leva o modelo de 1.550M de parâmetros para 809M e aproximadamente triplica a taxa de processamento, abrindo mão de relativamente pouca precisão — e é por isso que ele se tornou o checkpoint padrão de ASR rápido em todo o ecossistema poucos meses após seu lançamento em outubro de 2024.

Três propriedades decorrem desse design e todas elas são relevantes para esta comparação:

• É um modelo de tradução que acabou sendo podado, então herda 99 idiomas de transcrição e identificação de idioma — mas a variante turbo não foi treinada para tradução. Diferentemente do large-v3, ele transcreve e identifica o idioma; não converte a fala de um idioma em texto de outro. As equipes costumam descobrir isso depois de construir sobre ele.

• O decodificador é autorregressivo. Ele escreve tokens, 4 camadas por vez, e é por isso que sua taxa de processamento fica em 200 RTFx, e não na casa dos milhares. A velocidade do Whisper veio da remoção de camadas, não da mudança do paradigma de decodificação.

• Tem licença MIT, o que é mais permissivo na prática do que a Apache 2.0 em exatamente um aspecto que importa para algumas equipes jurídicas: nenhuma cláusula de concessão de patente para analisar e nenhum arquivo de atribuição para distribuir.

A verdadeira vantagem do Whisper nunca foi o benchmark. São dois anos de ferramentas — faster-whisper, whisper.cpp, o endpoint gerenciado de cada provedor de nuvem, receitas de quantização, bibliotecas de marcações de tempo no nível da palavra, pilhas de diarização construídas sobre ele. Esse ecossistema é um custo de troca genuíno, e esta comparação precisa considerá-lo honestamente.

Onde a lacuna é real e onde ela é um artefato do harness

A comparação de 5,06% contra 7,83% está no mesmo leaderboard, o que a torna mais legítima do que a maioria dos números entre fornecedores — mas não é uma execução em condições equivalentes, e os detalhes favorecem os dois lados.

• O número da Granite vem da própria execução de avaliação da IBM enviada ao leaderboard, descrita no blog de anúncio como “não oficial, em 15 de outubro de 2026”. O model card chama os mesmos resultados de “oficiais” em 20 de outubro. Escolha o adjetivo que preferir; ninguém fora da IBM o reproduziu.

• O valor do Whisper é o resultado publicado pelo leaderboard para o checkpoint, executado pelo próprio harness do leaderboard, que é um pipeline diferente do da IBM.

• Ambos os números são médias de nove conjuntos de testes públicos, a maioria deles fala lida em inglês do LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI e VoxPopuli. A fraqueza do Whisper neste quadro é bem documentada e estrutural: ele foi treinado em 680.000 horas de áudio da web com supervisão fraca, o que compra abrangência ao custo de uma formatação precisa.

• Em áudio de campo distante e ruidoso, a ordenação se mantém. O quadro FFASR — média entre campo próximo, SNR alto, SNR médio e SNR baixo — coloca o whisper-large-v3 em 18,02%, com o Granite Speech 5.0 2B em 14,80%. Observe que é o large-v3, não o turbo; o turbo geralmente é um pouco pior que seu progenitor em áudio difícil porque tem menos camadas de decoder para se recuperar de uma estimativa acústica ruim.

Portanto, é provável que a diferença de precisão seja real em termos de direção e provavelmente menor que 2,8 pontos numa comparação justa. O que não está em dúvida é de onde ela vem: o decodificador do Whisper é solicitado a fazer identificação de idioma, transcrição, pontuação, capitalização e alinhamento de timestamps de uma vez com quatro camadas, enquanto a arquitetura do Granite separa o trabalho acústico (um codificador CTC com cabeças de caractere e BPE) da geração de texto (um modelo de linguagem de 1B).

A caixa de idioma, quantificada

É aqui que a decisão é tomada, então merece mais do que um número em um item de lista.

Granite Speech 5.0 2B transcreve inglês, francês, alemão, espanhol, português e japonês, e traduz entre esses seis idiomas e o inglês, além de inglês para italiano e inglês para mandarim.

• O Whisper large-v3-turbo transcreve noventa e nove idiomas e identifica qual deles está ouvindo. Ele não traduz.

• O irmão de sete línguas do Granite, o Granite Speech 5.0 470M TurboCTC, adiciona o italiano ao conjunto de transcrição — assim, a família cobre sete línguas europeias e o japonês, e não seis.

Noventa e nove contra sete é todo o argumento a favor do Whisper, e é um argumento forte. Mas a distribuição prática importa mais do que a contagem. Se o seu áudio for em inglês, francês, alemão, espanhol, português, japonês e italiano, o Granite cobre isso. Se você precisar de hindi, árabe, coreano, turco, polonês, vietnamita, indonésio, holandês, sueco ou qualquer um dos outros noventa e poucos, o Whisper é o único destes dois que funciona — e nenhuma vantagem de WER em inglês muda isso.

O caso intermediário é aquele em que a maioria das equipes realmente está: um produto majoritariamente em inglês com uma cauda longa de idiomas que chega em alguns por cento das vezes. Dois modelos, um por nível, é uma resposta normal e correta — e é mais barato do que parece, porque é na cauda que o volume é baixo.

Áudio longo, carimbos de tempo e as coisas que quebram em escala

A história de implantação do Whisper é madura de formas que não aparecem em nenhum benchmark. Timestamps em nível de palavra, detecção de atividade de voz, diarização de falantes, streaming com decodificação em blocos — tudo isso existe, tudo isso é amplamente testado em produção, e grande parte disso pressupõe a janela de 30 segundos do Whisper e seus tokens de timestamp.

O Granite Speech 5.0 2B assume um formato diferente. A IBM recomenda segmentos de até cerca de dois minutos, divididos com VAD para gravações mais longas, e o modelo de linguagem vê embeddings de 10 Hz dentro de um contexto de 16k estendido por YaRN. Não há cabeça de timestamps em nível de palavra no checkpoint base 2B — a geração 4.1 trouxe uma variante "-plus" separada para ASR com atribuição de falante e timestamps em nível de palavra, e ainda não existe uma variante 5.0 equivalente.

Isso é uma lacuna real se você estiver criando legendas, transcrições de reuniões com rótulos de falantes ou qualquer coisa que precise navegar até uma frase. O blog do 5.0 descreve melhorias de timestamp, mas elas pertencem ao granite-speech-4.1-2b-plus atualizado, não ao 5.0 2B.

• Precisa de timestamps no nível da palavra — Whisper large-v3-turbo hoje; Granite 4.1-2b-plus se você quiser a família Granite e puder aceitar o modelo acústico mais antigo.

• Precisa de atribuição de falante — mesma resposta; o 5.0 2B não faz isso.

• Necessidade de precisão em textos longos além de alguns minutos — a orientação da Granite para segmentos de dois minutos é um limite prático, e a fragmentação do Whisper em blocos de 30 segundos com condicionamento no texto anterior tem seu próprio modo de falha bem conhecido (loops de repetição em silêncio). Nenhum dos dois é obviamente melhor; ambos precisam de VAD antes deles.

Duas funcionalidades que o Granite tem e que o Whisper turbo não tem

Viés de palavras-chave. O Granite Speech 5.0 2B aceita uma lista de palavras-chave de até 2.000 termos por prompt e foi treinado com 23.600 horas de áudio com viés de palavras-chave nos grupos de idiomas europeus e japonês. O Whisper não tem interface equivalente — o mais próximo que você consegue é uma string de prompt que influencia estilo e vocabulário, sem treinamento por trás. Para uma implantação que transcreve nomes de produtos, nomes de medicamentos, IDs de tickets ou o próprio glossário de um cliente, esta é a diferença mais útil entre os dois modelos e ela não aparece em nenhuma média de WER.

Prompt de identificação de idioma. Você pode dizer ao Granite qual é o idioma do áudio e instruí-lo a transcrever em vez de traduzir. O Whisper detecta o idioma automaticamente e, na variante turbo, apenas transcreve. Para um corpus multilíngue em que você já conhece o idioma pelos metadados, forçá-lo elimina toda uma classe de erros — o Whisper às vezes identifica errado um trecho curto e então transcreve com confiança no idioma errado.

A migração, em etapas que realmente funcionam

Se a questão da linguagem for resolvida, a mudança é menos penosa do que a lacuna do ecossistema sugere, porque a maioria dos pipelines baseados em Whisper já tem o ponto de integração de que você precisa.

1. Mantenha seu VAD. Ambos os modelos querem segmentos, não arquivos. O que você usar para dividir o áudio para o Whisper funcionará para o Granite com até dois minutos por segmento, em vez de trinta segundos.

2. Substitua a chamada de decodificação, não a infraestrutura. O Granite é carregado via AutoModelForSpeechSeq2Seq e AutoProcessor em transformers>=4.52.1, ou via vLLM, llama.cpp em Q8_0, ou mlx-audio em Apple Silicon. Se seu serviço aciona o faster-whisper como subprocesso, você está trocando uma chamada de modelo local por outra.

3. Reescreva o prompt. O Granite é orientado por instruções, e o prompt seleciona o modo: transcrição bruta, transcrição com pontuação, com viés de palavras-chave, com ID de idioma fixado. Esta é a etapa que as equipes pulam, e então concluem que o modelo é pior porque o alimentaram com o comportamento padrão do Whisper.

4. Recalcule seu WER com seu próprio áudio, não com o LibriSpeech. Isso não é uma formalidade. A fraqueza do Whisper no ranking é a formatação e a deriva em textos longos; se seu áudio for composto por clipes limpos de inglês de 30 segundos e sua etapa posterior for um modelo de linguagem que corrige a formatação, a diferença medida pode ficar próxima de zero — ou, se seu áudio tiver sotaque e for de captação distante, ser maior que 2,8 pontos.

5. Mantenha um caminho de fallback. A cobertura de idiomas que não sejam o inglês do Granite Speech 5.0 2B é um limite rígido, e um detector de idioma na frente do modelo não é opcional em um produto multilíngue. Qualquer item que fique fora dos sete idiomas é encaminhado ao Whisper.

Onde a camada de roteamento justifica seu lugar

O passo cinco é a parte desta migração que se transforma em arquitetura. Um roteamento por idioma e qualidade à frente de dois modelos de fala, além de qualquer modelo de linguagem que faça a limpeza da transcrição depois, resulta em três chamadas de modelo por arquivo, e três integrações separadas de fornecedores é como um pipeline simples se torna um problema de manutenção.

O OrcaRouter é um endpoint compatível com OpenAI com mais de 200 modelos ao preço de tabela do provedor, sem nenhum acréscimo, para que o estágio de pós-processamento — a limpeza, a sumarização, a extração de campos — possa ser trocado ou submetido a testes A/B sem mexer no código de fala, e uma indisponibilidade do provedor acione failover em vez de fazer o trabalho falhar. A DSL de roteamento pode conter a própria regra de despacho: detectar o idioma, enviar os sete suportados para o checkpoint Granite auto-hospedado, enviar todo o resto para o Whisper e entregar a transcrição ao modelo de limpeza que a tarefa exigir. Esse último salto é o que realmente podemos servir hoje; nem o Granite Speech 5.0 2B nem o Whisper large-v3-turbo estão no nosso catálogo, portanto os modelos de fala ficam no seu próprio hardware e o roteamento começa uma etapa abaixo, onde ainda elimina a maior parte do trabalho de integração.

Quem deve mudar, e quem não deve

Troque se seu áudio for em inglês mais os seis idiomas do Granite, sua precisão importar mais do que sua familiaridade com o ecossistema, você precisar de viés de palavras-chave ou idioma forçado, e você puder ficar sem timestamps em nível de palavra por enquanto. Os 5,06% contra 7,83% são uma diferença real em uma direção que importa, e 570 RTFx contra 200 RTFx significa que a troca provavelmente reduz sua conta de GPU ao mesmo tempo.

Não mude se você precisar de qualquer um dos outros noventa e dois idiomas, carimbos de data/hora em nível de palavra, atribuição de locutor ou um endpoint gerenciado — o Granite Speech 5.0 2B não é implantado por nenhum provedor de inferência até o momento, e a auto-hospedagem é o único caminho para ele hoje. O Whisper large-v3-turbo está disponível em todos os lugares, inclusive em locais que não permitem que você execute suas próprias GPUs.

Execute ambos se você tiver uma cauda longa de idiomas. O despacho é barato, a cauda é de baixo volume por definição, e isso remove o único argumento que o Whisper ainda tem.