Ming-3.0-audio-tiny vs VibeVoice-ASR-Streaming 1.5B: cinco guiones contra un flujo con atribución de hablante

Abre la imagen de reconocimiento dentro del repositorio de Hugging Face de Ming-3.0-audio-tiny y desplázate hasta el final. Cinco filas —la diarización de hablantes y el error de permutación mínima concatenado para AISHELL-4, AliMeeting y AMI— llevan un guion en la columna tiny. No es un mal número. Es una celda en blanco. El proveedor midió a su hermano mayor en las cinco y se negó a medir al pequeño. Ahora abre la tarjeta del modelo de VibeVoice-ASR-Streaming 1.5B y lee la primera viñeta: transcribe quién dijo qué, de forma continua, a medida que llega el habla. Son las mismas cinco filas, a la inversa. Un modelo publica casi todo excepto la atribución de hablantes; el otro existe principalmente para publicarla. Los fallos documentados de IA y los incidentes de agentes detrás de lanzamientos como este se recopilan en el OrcaRouter AI Incident Archive donde cada entrada incluye sus propias fuentes, severidad, grado de confianza e indicador de disputa.

Ninguno ha sido puntuado de forma independiente. Eso importa menos aquí que de costumbre, porque este enfrentamiento se decide por una decisión de diseño más que por un número: qué ocurre cuando el audio no deja de llegar. Ming-3.0-audio-tiny es un modelo de archivos con una ventana grande y una salida de voz opcional. VibeVoice-ASR-Streaming 1.5B es un modelo de streaming que emite texto aproximadamente cada tres segundos y etiqueta cada segmento con un hablante. Si tu carga de trabajo es una grabación, compiten. Si tu carga de trabajo es una sala, solo uno de ellos lo está intentando.

Qué cuesta el "streaming" en la configuración

El repositorio de Microsoft es inusualmente claro respecto de su propio presupuesto de latencia, lo que hace que el equilibrio pueda verificarse en lugar de ser puro marketing. Los tokenizadores acústico y semántico son causales y funcionan con una compresión de 3,200× frente a una entrada de 24 kHz, por lo que el flujo de tokens es de aproximadamente 7.5 tokens por segundo de audio. El envoltorio de streaming agrupa 22 tramas de tokens por fragmento con 4 tramas de anticipación: 22 dividido entre 7.5 es aproximadamente 2.9 segundos por emisión, y 4 dividido entre 7.5 es alrededor de medio segundo de audio futuro que el modelo puede ver antes de comprometerse.

• Cadencia de emisión: unos 2,9 segundos; el lookahead es la parte que aporta precisión a costa de latencia.

• Backbone: un decodificador de la familia Qwen2, 28 capas, 1.536 ocultos, 12 cabezas con 2 cabezas clave-valor, ventana de 64.000 tokens.

• Tamaño: tres fragmentos de safetensors que suman 5,63 GB. Eso no son 1.5B parámetros; 5,63 GB en bf16 equivalen más bien a unos 2,8 mil millones, y el 1.5B del nombre se interpreta mejor como el backbone lingüístico y no como la pila completa.

• Idiomas — diez: chino, inglés, francés, alemán, italiano, japonés, coreano, portugués, ruso, español.

• Extras: palabras clave personalizadas que se pasan como contexto y una etiqueta de hablante adjunta a cada segmento emitido.

• Fechado — repositorio creado el 2 de septiembre de 2026 a las 15:51 UTC, modificado por última vez a la mañana siguiente. Anunciado solo mediante una línea de noticias en el README de VibeVoice en GitHub, lo que equivale a decir que apenas se anunció.

Esa ventana de 64K es la cifra que hay que comparar con los 131.072 de Ming. Suena a la mitad de la capacidad, pero no es el mismo tipo de capacidad. Un modelo de streaming no necesita retener una hora, porque ya ha escrito los últimos cincuenta y nueve minutos. La ventana es memoria de trabajo para el fragmento actual más el contexto de diálogo que el modelo arrastra. Los 131K de Ming son la apuesta contraria: mantenerlo todo activo y razonar sobre ello.

La apuesta de Ming, y lo que consigue con ella

El argumento de venta del modelo pequeño no es la precisión de reconocimiento: en las propias tablas de inclusionAI está 0,34 puntos por detrás de su hermano mayor en chino (3,79 frente a 3,45 de error de caracteres) y 0,89 por detrás en dialectos (10,29 frente a 9,40). El argumento de venta es que un solo checkpoint realiza reconocimiento, comprensión, razonamiento y habla en la misma pasada hacia adelante, sobre una ventana lo bastante larga como para que «¿qué dijo ella en los primeros diez minutos?» sea una pregunta que se pueda hacer.

Sus cifras de inteligencia de audio son respetables para el tamaño y son la razón para preferirlo frente a un transcriptor puro: MMAU 75.90, MMAR 67.70, MMSU 73.06, BigBenchAudio 99.20, MuchoMusic 58.07 en música. Todas están ejecutadas por el proveedor con asteriscos en las filas autoevaluadas, y la ficha revela que los modelos de comparación se reprodujeron con los propios prompts y la propia decodificación de inclusionAI. Léelas como un brief de diseño.

Lo que las tablas no te dirán es quién habló. Ese es el vacío que marcan los cinco guiones, y es estructural, no accidental. Un modelo que responde preguntas sobre una grabación no necesita segmentación por hablante para responderlas; un modelo que produce una transcripción para una reunión, sí. Probablemente se pueda conseguir que Ming haga algo parecido al etiquetado de hablantes mediante prompts, y el destacado de la ficha sobre «grabaciones con varios hablantes» sugiere que se entrenó cerca del problema. Pero el «probablemente» está haciendo el trabajo de cinco filas sin publicar.

Dos canalizaciones, dibujadas con honestidad

Imagina la misma grabación de noventa minutos pasando por cada uno.

Con VibeVoice-ASR-Streaming 1.5B, el audio llega en fragmentos de unos tres segundos y el texto sale con el mismo ritmo, y cada segmento lleva un hablante. Puedes mostrarlo en vivo. El costo es que cada decisión es más bien local: el modelo vio medio segundo por delante y el contexto que retenga, así que un hablante que hace una pausa de cuatro segundos puede reaparecer etiquetado de forma distinta, y un nombre introducido en el minuto dos solo se puede recuperar mediante el mecanismo de hotwords, que tú proporcionas. La consistencia entre fragmentos es lo que hay que probar y lo que la ficha no cuantifica.

Con Ming-3.0-audio-tiny, el archivo llega, todo el contenido queda en contexto y la respuesta llega cuando llega. La consistencia entre fragmentos no es un riesgo porque no hay fragmentos, hasta el límite de la ventana. El costo es que no hay nada disponible hasta que el modelo termina, y la reserva de memoria se dimensiona para la ventana completa: el perfil de referencia de ASR ocupa 0,92 de una tarjeta con un lote de 32.768 tokens. Puedes reducir max_model_len; no puedes hacer que se transmita en streaming, porque no hay una ruta de streaming en el repositorio.

• Perfil de latencia — VibeVoice: continua, ~3 s de retraso. Ming: una sola respuesta al final.

• Atribución — VibeVoice: por segmento, por diseño. Ming: sin publicar.

• Contexto — VibeVoice: ventana de trabajo de 64K más su propia transcripción. Ming: 131.072 posiciones, aproximadamente tres horas de audio según el cálculo sobre el codificador, si el procesador alimenta un único flujo continuo.

• Salida — VibeVoice: texto. Ming: texto, o texto más habla sintetizada mediante un Talker opcional en una segunda GPU.

• Hardware — VibeVoice: un checkpoint de 5,63 GB, por lo que cabe en una sola tarjeta convencional. Ming: 17,74 GB de Thinker, una tarjeta para texto, dos para voz.

La licencia y el papeleo son lo mismo, y eso es inusual.

Ambos son MIT. Ambos son lanzamientos discretos. Ambos publicaron los pesos antes de que la documentación se pusiera al día, y ambos se apoyan en un repositorio de GitHub que no lleva el nombre del checkpoint: los perfiles de despliegue de Ming están en inclusionAI/Ming-3.0-audio-flash, y las instrucciones de uso de VibeVoice están en microsoft/VibeVoice, junto al hermano de 7B.

Las diferencias están en lo que te dice cada repositorio. Microsoft publica un informe técnico —arXiv 2609.02812— y una figura de resultados en la ficha, que es una imagen en lugar de una tabla, por lo que los números no se pueden extraer y no se indica en el texto ninguna tasa de error por idioma. inclusionAI publica tres imágenes de benchmark, también imágenes, además de una ficha que menciona sus propias debilidades solo de forma implícita, al dejar celdas en blanco. Ninguno de los dos proveedores ofrece un número que puedas pegar en una hoja de cálculo sin transcribirlo a mano.

Hay una asimetría que vale la pena señalar para cualquiera que se encargue de adquisiciones: el repositorio de Ming en Hugging Face no contiene ningún archivo LICENSE, solo un enlace en los metadatos de la tarjeta a una licencia en el otro repositorio. La tarjeta de VibeVoice indica MIT en los metadatos y el repositorio incluye el archivo de licencia. Ambas afirmaciones son ciertas; solo una está dentro del artefacto.

Para qué sirve un router y para qué no aquí

OrcaRouter no sirve ninguno de los dos modelos. Ming-3.0-audio-tiny es un checkpoint y VibeVoice-ASR-Streaming 1.5B es un checkpoint; ninguno está en nuestro catálogo, y nada en este artículo constituye una oferta para alojarlos. El lugar del router en una canalización como esta está aguas abajo de la transcripción y aguas arriba de la decisión: resumir la llamada, extraer los compromisos, clasificar si el segmento necesita intervención humana, traducir las partes que no estaban en el idioma de trabajo. Esas llamadas son texto, y un único endpoint para más de 200 modelos con 0 % de margen —el precio de lista del proveedor se traslada tal cual, de modo que un cambio de precio de un proveedor se refleja en nuestro lado el mismo día— elimina un contrato por proveedor del desarrollo. La conmutación automática por error es la característica específica que importa cuando un trabajo de transcripción de dos horas tiene que entregar su salida a algún lugar fiable a las 2 de la madrugada.

Lo que un router no hará es conciliar dos etiquetas de hablante que no coinciden, ni decidir si las filas de diarización que faltan de Ming son una debilidad real o una que no se ha medido. Eso es tarea de tu propio audio.

La prueba que los separa en una tarde

Graba veinte minutos con tres personas, una de las cuales habla por encima de las demás dos veces y una de las cuales usa el micrófono de un portátil. Pásalo por VibeVoice-ASR-Streaming 1.5B con la lista de hotwords completada con los tres nombres, porque ese es el mecanismo que el modelo proporciona exactamente para esto. Pasa el mismo archivo por Ming-3.0-audio-tiny usando el prompt validado que pide la etiqueta de idioma, un tabulador y luego la transcripción, y después pídele, en un segundo turno, que atribuya cada frase.

Puntúa cuatro cosas: cuántos cambios de hablante acertó el primer modelo, si alguna etiqueta de hablante se invirtió a mitad de la grabación, si la atribución del segundo modelo fue estable a lo largo del archivo y qué salida podrías corregir más rápido a mano. La última no es una métrica de referencia y predecirá tu experiencia en producción mejor que las cifras de cualquiera de los dos proveedores.

Y ten en cuenta los guiones mientras lo haces. Un proveedor que publica una tabla de dialectos con dos decimales y deja cinco celdas de diarización en blanco te ha dicho algo específico sobre dónde termina su confianza. Microsoft, por su parte, ha publicado una cifra en lugar de una tabla y te ha dejado interpretar la imagen. Ninguno te ha dado un número que haya comprobado un desconocido.

Dónde va realmente cada uno

Subtítulos en directo, monitorización de centros de llamadas, asistentes de reuniones que necesitan un nombre junto a cada línea: VibeVoice-ASR-Streaming 1.5B está diseñado para ese formato, y con 5.63 GB se ejecuta en hardware que probablemente ya tengas. Revisión de cumplimiento de un archivo, «encontrar cada mención del acuerdo en estas cuarenta grabaciones», cualquier caso en el que la pregunta llegue después del audio en lugar de durante él: la única ventana grande de Ming-3.0-audio-tiny y sus puntuaciones de comprensión encajan mejor, y las filas de diarización que faltan dejan de importar si nadie preguntó quién habló.

El error sería elegir Ming para un trabajo de streaming porque 131,072 es el doble de 64,000, o elegir VibeVoice para un trabajo de razonamiento porque 1.5B suena más barato que 9.3B. Ambos números describen algo distinto de lo que supone la frase, que es lo más fiable que ha establecido esta comparación.