Ming-3.0-audio-tiny vs VibeVoice-ASR-Streaming 1.5B: Cinco Traços Contra um Fluxo com Atribuição de Falante

Abra a imagem de reconhecimento dentro do Ming-3.0-audio-tiny, o repositório Hugging Face, e role até o final. Cinco linhas — diarização de falantes e erro concatenado de permutação mínima para AISHELL-4, AliMeeting e AMI — apresentam um traço na coluna tiny. Não é um número ruim. É um espaço em branco. O fornecedor mediu o irmão maior nas cinco e se recusou a medir o pequeno. Agora abra o card do modelo de VibeVoice-ASR-Streaming 1.5B e leia o primeiro item: ele transcreve quem disse o quê, continuamente, à medida que a fala chega. Essas são as mesmas cinco linhas, invertidas. Um modelo publica quase tudo, exceto a atribuição de falante; o outro existe principalmente para publicá-la. As falhas de IA e os incidentes de agentes documentados por trás de lançamentos como este são reunidos no OrcaRouter AI Incident Archive onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e sinalização de contestação.

Nenhum dos dois foi avaliado de forma independente. Isso importa menos aqui do que de costume, porque este confronto é decidido por uma decisão de projeto, e não por um número: o que acontece quando o áudio nunca para de chegar. Ming-3.0-audio-tiny é um modelo de arquivo com uma janela grande e uma saída de fala opcional. VibeVoice-ASR-Streaming 1.5B é um modelo de streaming que emite texto aproximadamente a cada três segundos e rotula cada segmento com um falante. Se sua carga de trabalho for uma gravação, eles competem. Se sua carga de trabalho for uma sala, apenas um deles está tentando.

Quanto custa o "streaming" na configuração

O repositório da Microsoft é excepcionalmente transparente quanto ao seu próprio orçamento de latência, o que torna o trade-off verificável em vez de marketing. Os tokenizadores acústico e semântico são causais e operam a 3.200× de compressão sobre uma entrada de 24 kHz, portanto o fluxo de tokens é de cerca de 7,5 tokens por segundo de áudio. O wrapper de streaming agrupa 22 quadros de tokens por chunk com 4 quadros de lookahead: 22 dividido por 7,5 é aproximadamente 2,9 segundos por emissão, e 4 dividido por 7,5 é cerca de meio segundo de áudio futuro que o modelo tem permissão para ver antes de decidir.

• Cadência de emissão — cerca de 2,9 segundos; a antecipação é o que proporciona precisão à custa de latência.

• Backbone — um decodificador da família Qwen2, 28 camadas, 1.536 ocultos, 12 cabeças com 2 cabeças chave-valor, janela de 64.000 tokens.

• Tamanho — três shards safetensors totalizando 5,63 GB. Isso não corresponde a 1,5B de parâmetros; 5,63 GB em bf16 resulta em cerca de 2,8 bilhões, e o 1,5B no nome deve ser entendido como a espinha dorsal de linguagem, e não como a pilha inteira.

• Idiomas — dez: chinês, inglês, francês, alemão, italiano, japonês, coreano, português, russo e espanhol.

• Extras — hotwords personalizadas passadas como contexto, e um rótulo de locutor anexado a cada segmento emitido.

• Data — repositório criado em 2 de setembro de 2026 às 15:51 UTC, modificado pela última vez na manhã seguinte. Anunciado apenas por uma linha de notícias no README do VibeVoice no GitHub, ou seja, praticamente não anunciado.

A janela de 64K é o número a comparar com os 131.072 de Ming. Parece metade da capacidade, mas não é o mesmo tipo de capacidade. Um modelo de streaming não precisa manter uma hora, porque já registrou os últimos cinquenta e nove minutos. A janela é a memória de trabalho para o bloco atual mais qualquer contexto de diálogo que o modelo carregue adiante. Os 131K de Ming são a aposta oposta: manter tudo ativo e raciocinar sobre isso.

A aposta de Ming, e o que ela rende

O diferencial do modelo minúsculo não é a precisão de reconhecimento — nas próprias tabelas da inclusionAI, ele fica 0,34 ponto atrás do seu irmão maior em chinês (3,79 contra 3,45 de erro de caractere) e 0,89 atrás em dialetos (10,29 contra 9,40). O diferencial é que um único checkpoint faz reconhecimento, compreensão, raciocínio e fala na mesma passagem direta, durante uma janela longa o suficiente para que “o que ela disse nos primeiros dez minutos” seja uma pergunta que dá para fazer.

Seus números de inteligência de áudio são respeitáveis para o tamanho e são o motivo para preferi-lo a um transcritor puro: MMAU 75.90, MMAR 67.70, MMSU 73.06, BigBenchAudio 99.20, MuchoMusic 58.07 para música. Todos são executados pelo fornecedor, com asteriscos nas linhas autoavaliadas, e a ficha divulga que os modelos de comparação foram reproduzidos com os próprios prompts e a decodificação da inclusionAI. Leia-os como um briefing de design.

O que as tabelas não lhe dirão é quem falou. Essa é a lacuna que os cinco travessões assinalam, e ela é estrutural, não acidental. Um modelo que responde a perguntas sobre uma gravação não precisa de segmentação por falante para respondê-las; um modelo que produz uma transcrição para uma reunião precisa. O Ming provavelmente pode ser induzido por prompt a fazer algo como rotulagem de falantes, e o destaque da ficha sobre "gravações com vários falantes" sugere que ele foi treinado perto do problema. Mas "provavelmente" está fazendo o trabalho de cinco linhas não publicadas.

Dois pipelines, desenhados com honestidade

Imagine a mesma gravação de noventa minutos passando por cada um.

Com o VibeVoice-ASR-Streaming 1.5B, {{1}}o áudio chega em blocos de cerca de três segundos e o texto sai no mesmo ritmo{{/1}}, {{2}}cada segmento trazendo um falante{{/2}}. {{3}}Você pode exibi-lo ao vivo{{/3}}. {{4}}O custo é que toda decisão é mais ou menos local{{/4}}: o modelo viu meio segundo à frente e qualquer contexto que retenha, então {{5}}um falante que pausa por quatro segundos pode voltar rotulado de forma diferente{{/5}}, e {{6}}um nome introduzido no minuto dois só pode ser recuperado por meio do mecanismo de hotwords, que você fornece{{/6}}. {{7}}A consistência entre blocos é o que testar e o que o card não quantifica{{/7}}.

Com o Ming-3.0-audio-tiny, o arquivo chega, o conteúdo inteiro fica no contexto, e a resposta chega quando chegar. A consistência entre chunks não é um risco porque não há chunks — até o limite da janela. O custo é que nada fica disponível até o modelo terminar, e a reserva de memória é dimensionada para a janela completa: o perfil de ASR de referência ocupa 0,92 de uma placa com um lote de 32.768 tokens. Você pode reduzir max_model_len; não é possível fazê-lo funcionar em streaming, porque não há caminho de streaming no repositório.

• Formato da latência — VibeVoice: contínua, ~3 s de atraso. Ming: uma resposta ao final.

• Atribuição — VibeVoice: por segmento, por design. Ming: não publicado.

• Contexto — VibeVoice: janela de trabalho de 64K além de sua própria transcrição. Ming: 131.072 posições, aproximadamente três horas de áudio pelas contas no encoder, se o processador alimentar um fluxo contínuo.

• Saída — VibeVoice: texto. Ming: texto, ou texto mais fala sintetizada por meio de um Talker opcional em uma segunda GPU.

• Hardware — VibeVoice: um checkpoint de 5,63 GB, portanto uma única placa comum. Ming: 17,74 GB de Thinker, uma placa para texto, duas para fala.

A licença e a papelada são a mesma coisa, e isso é incomum.

Ambos são MIT. Ambos são lançamentos discretos. Ambos publicaram os pesos antes de a documentação acompanhar, e ambos dependem de um repositório GitHub que não leva o nome do checkpoint: os perfis de implantação do Ming ficam em inclusionAI/Ming-3.0-audio-flash, e as instruções de uso do VibeVoice ficam em microsoft/VibeVoice ao lado do irmão 7B.

As diferenças estão no que cada repositório informa. A Microsoft disponibiliza um relatório técnico — arXiv 2609.02812 — e uma figura de resultados no card, que é uma imagem em vez de uma tabela, de modo que os números não são extraíveis e nenhuma taxa de erro por idioma é declarada em texto. A inclusionAI disponibiliza três imagens de benchmark, também imagens, além de um card que nomeia suas próprias fraquezas apenas implicitamente, ao deixar células em branco. Nenhum dos fornecedores fornece um número que você possa colar em uma planilha sem transcrevê-lo manualmente.

Vale a pena assinalar uma assimetria para quem faz aprovisionamento: o repositório do Ming no Hugging Face não contém nenhum LICENSE ficheiro, apenas uma ligação, nos metadados do cartão, para uma licença no outro repositório. O cartão do VibeVoice indica MIT nos metadados e o repositório inclui o ficheiro de licença. Ambas as afirmações são verdadeiras; apenas uma está dentro do artefacto.

Para que serve e para que não serve um roteador aqui

O OrcaRouter não disponibiliza nenhum dos dois modelos. Ming-3.0-audio-tiny é um checkpoint e VibeVoice-ASR-Streaming 1.5B é um checkpoint; nenhum dos dois está no nosso catálogo, e nada neste texto constitui uma oferta para hospedá-los. O lugar do roteador em um pipeline como este é depois da transcrição e antes da decisão: resumir a chamada, extrair os compromissos, classificar se o segmento precisa de intervenção humana, traduzir as partes que não estavam no idioma de trabalho. Essas chamadas são texto, e um endpoint para mais de 200 modelos com 0% de markup — preço de tabela do provedor repassado, de modo que uma alteração de preço do fornecedor chega ao nosso lado no mesmo dia — elimina um contrato por fornecedor da implementação. Failover automático é o recurso específico que importa quando um trabalho de transcrição de duas horas precisa entregar sua saída a algum lugar confiável às 2 da manhã.

O que um roteador não fará é reconciliar dois rótulos de falante que discordam, nem decidir se as linhas de diarização ausentes de Ming são uma fraqueza real ou algo não medido. Isso é trabalho para o seu próprio áudio.

O teste que os separa em uma tarde

Grave vinte minutos com três pessoas, uma das quais fala por cima das outras duas vezes e uma das quais está usando o microfone de um laptop. Execute a gravação no VibeVoice-ASR-Streaming 1.5B com a lista de hotwords preenchida com os três nomes, porque é exatamente esse o mecanismo que o modelo oferece para isso. Execute o mesmo arquivo no Ming-3.0-audio-tiny usando o prompt validado que pede o rótulo do idioma, uma tabulação e, em seguida, a transcrição — e depois peça a ele, em um segundo turno, que atribua cada frase.

Avalie quatro coisas: quantas trocas de falante o primeiro modelo acertou, se algum rótulo de falante se inverteu no meio da gravação, se a atribuição do segundo modelo foi estável ao longo do arquivo, e qual saída você conseguiria corrigir mais rápido manualmente. A última não é um benchmark e preverá sua experiência em produção melhor do que os números de qualquer um dos fornecedores.

E tenha os travessões em mente enquanto faz isso. Um fornecedor que publica uma tabela de dialetos com duas casas decimais e deixa cinco células de diarização em branco disse algo específico sobre onde termina sua confiança. A Microsoft, por sua vez, publicou um número em vez de uma tabela e deixou você para interpretar o quadro. Nenhum dos dois lhe deu um número que um estranho tivesse verificado.

Onde cada um realmente pertence

Legendas ao vivo, monitoramento de call center, assistentes de reunião que precisam de um nome ao lado de cada linha: o VibeVoice-ASR-Streaming 1.5B foi criado para esse formato e, com 5,63 GB, roda em hardware que você provavelmente já tem. Revisão de conformidade de um arquivo, "encontre todas as menções ao acordo nestas quarenta gravações", qualquer situação em que a pergunta vem depois do áudio, e não durante ele: a única janela grande do Ming-3.0-audio-tiny e suas pontuações de compreensão são a melhor opção, e as linhas de diarização ausentes deixam de importar se ninguém perguntou quem falou.

O erro seria escolher o Ming para uma tarefa de streaming porque 131.072 é o dobro de 64.000, ou escolher o VibeVoice para uma tarefa de raciocínio porque 1,5B soa mais barato que 9,3B. Ambos os números descrevem algo diferente do que a frase pressupõe, o que é a coisa mais confiável que esta comparação estabeleceu.