VibeVoice-ASR-Streaming-1.5B, spiegato: l'ASR in streaming di Microsoft è arrivato senza un lancio

Il 2 settembre 2026, Microsoft Research ha caricato due nuovi checkpoint di riconoscimento vocale su Hugging Face senza comunicato stampa, post sul blog o clamore: microsoft/VibeVoice-ASR-Streaming-1.5B e la sua controparte più grande microsoft/VibeVoice-ASR-Streaming-7B. L'unico annuncio finora è una notizia datata 3 settembre 2026 nella sezione News del repository GitHub open-source VibeVoice di Microsoft, che descrive il rilascio come un modello ASR unificato in streaming che trascrive chi ha detto cosa mentre l'audio sta ancora arrivando, con hotword personalizzate e dieci lingue. Entrambi i checkpoint sono con licenza MIT, entrambi sono stati creati a circa cinque minuti di distanza l'uno dall'altro sull'account ufficiale microsoft di Hugging Face, ed entrambi mostravano zero download quando abbiamo controllato un giorno dopo. Non siamo riusciti a trovare alcuna copertura di terze parti per nessuno dei due.

Questo rende questo write-up insolito: una release reale e databile — pesi su Hugging Face datati 2 settembre, un annuncio nel repository datato 3 settembre — che il mondo più ampio non ha ancora recepito. Tutto ciò che segue, e che è conoscibile, proviene dalla lettura del repository: i file di configurazione, la model card e la documentazione streaming di Microsoft. Tutto ciò che non è ancora confermato — accuratezza, latenza reale, se l'attribuzione del parlante in streaming sopravvive a una vera chiamata a due interlocutori — è etichettato come tale. Non c'è alcun benchmark da citare perché Microsoft non ne ha ancora pubblicato uno in forma testuale.

L'unico annuncio è una riga di notizie.

VibeVoice è la famiglia di modelli vocali open-source con licenza MIT di Microsoft Research. Il suo membro ASR più noto, microsoft/VibeVoice-ASR, è stato rilasciato il 21 gennaio 2026: un modello batch che elabora fino a sessanta minuti di audio in una singola passata e restituisce trascrizioni strutturate con parlante, tempi e contenuto — a cui hanno fatto seguito circa 700.000 download su Hugging Face. Il 2 settembre la stessa organizzazione ha pubblicato i modelli streaming, microsoft/VibeVoice-ASR-Streaming-7B e microsoft/VibeVoice-ASR-Streaming-1.5B; l'API di Hugging Face riporta per il modello 7B il timestamp 2026-09-02T15:46 UTC e per il modello 1.5B quello delle 15:51 UTC, cinque minuti dopo. La tabella dei modelli del repository GitHub ora elenca VibeVoice-ASR-Streaming come voce a sé stante, e la sua sezione News contiene la notizia del 3 settembre che lo annuncia.

Ciò che è davvero nuovo rispetto al modello di gennaio è il modello di interazione: i checkpoint in streaming trascrivono man mano che l'audio arriva, invece di attendere un file completo. Tutto il resto — l'architettura sottostante dei token vocali, l'output con attribuzione del parlante, il meccanismo hotword — è una continuazione del design batch, scalato e riorientato all'uso in tempo reale. Da notare subito la differenza linguistica: il modello batch dichiara oltre 50 lingue, mentre la scheda dello streaming ne elenca dieci.

Cosa significa "streaming" in questo checkpoint

La documentazione di streaming di Microsoft descrive chiaramente l'intento: il modello trascrive mentre l'audio sta ancora arrivando e genera testo una volta per ogni blocco audio, così la trascrizione appare mentre l'oratore parla. Il file preprocessor_config.json del repository 1.5B rende concreta la cadenza:

Frequenza di campionamento e frequenza dei token — audio in ingresso a 24 kHz, compresso 3.200 volte, che produce un flusso di token vocali di circa 7,5 Hz (circa un token ogni 133 ms).

• Blocco — 22 frame, che a 7,5 Hz corrispondono a circa 2,9 secondi di audio per segmento emesso.

• Lookahead — 4 frame, circa 0,5 secondi di audio futuro utilizzati per consolidare il segmento corrente.

Il calcolo è immediato dal repository: 22 × 3.200 = 70.400 campioni ≈ 2,93 s a 24 kHz; 4 × 3.200 = 12.800 campioni ≈ 0,53 s. La stessa documentazione Microsoft osserva che un checkpoint viene sempre eseguito sul chunk su cui è stato addestrato, quindi questi valori non sono regolabili in fase di inferenza.

Questo lo colloca nella famiglia dello streaming a blocchi (chunked), piuttosto che in quella parola per parola: una trascrizione live cresce in incrementi di circa tre secondi, con circa mezzo secondo di anticipo, e non in risultati parziali token per token. È un design legittimo e comune per la trascrizione di riunioni e chiamate, ma ha un profilo di latenza diverso rispetto ai sistemi che emettono risultati parziali in meno di un secondo — quindi tratta "streaming" come uno spettro e misuralo rispetto al tuo budget di latenza prima di costruire un prodotto di sottotitolazione in tempo reale basato su di esso.

Sotto il cofano: un LLM vocale su scala Qwen

Leggendo il config.json del checkpoint da 1.5B emerge la ormai familiare ricetta di VibeVoice su scala ridotta.

• Il decoder è un modello linguistico della famiglia Qwen2 le cui dimensioni corrispondono esattamente alla classe Qwen2.5 da 1,5B — 28 livelli, 1.536 unità nascoste, 12 teste di attenzione con 2 teste chiave-valore e una finestra di 65.536 token. È il LLM che consente al modello di mantenere la comprensione del parlante e del contenuto attraverso la trascrizione.

• Tokenizzatori acustici e semantici — encoder convoluzionali profondi con passo 8/5/5/4/2/2 — convertono l'audio a 24 kHz in un flusso di token vocali a ~7,5 Hz che il decoder legge.

• Una testa di diffusione (DDPM, 20 passi di denoising, v-prediction) si trova sul lato di generazione, in linea con il resto della linea VibeVoice.

• Onestà dimensionale: i metadati safetensors del checkpoint stesso elencano circa 3 miliardi di parametri, ovvero circa 5,6 GB di pesi. Il "1.5B" nel nome è la scala del backbone linguistico — la lettura naturale di una configurazione il cui decoder è un modello Qwen di classe 1.5B — mentre i tokenizzatori audio e la testa di diffusione aggiungono il resto. La stringa dell'architettura nella configurazione, VibeVoiceForASRStreamingTraining, segnala che questo è un checkpoint della famiglia di ricerca.

Chi ha detto cosa, in dieci lingue

La capacità di punta della model card è la trascrizione in streaming con attribuzione del parlante: trascrive "continuamente chi ha detto cosa man mano che il parlato arriva", come indicato nella scheda stessa. Promuove inoltre hotword personalizzate per i termini di dominio ed elenca dieci lingue supportate: cinese, inglese, francese, tedesco, italiano, giapponese, coreano, portoghese, russo e spagnolo.

Le hotwords vengono implementate tramite lo stesso meccanismo di context-biasing utilizzato dal modello batch. Nella demo da riga di comando di Microsoft, le passi come informazioni di contesto — ad esempio --context_info "Microsoft,VibeVoice" — per orientare il riconoscimento verso nomi e termini tecnici senza alcun fine-tuning. La scheda non dice nulla sul rilevamento automatico della lingua o sul code-switching per il modello streaming, un'altra lacuna rispetto alle affermazioni del modello batch.

Un'avvertenza va sottolineata. La pagina della documentazione sullo streaming si concentra sull'emissione a blocchi e sulle hotword; non spiega in dettaglio come l'attribuzione del parlante venga mantenuta attraverso i confini dei blocchi. La diarizzazione in streaming è davvero difficile: le voci dei parlanti si sovrappongono, e un confine di blocco è esattamente il punto in cui l'attribuzione slitta. L'inquadramento "chi ha detto cosa" sulla scheda è un'affermazione del fornitore finché qualcuno non esegue una vera chiamata live a due parlanti e ne verifica il risultato.

Dove si posiziona: la famiglia VibeVoice e il settore dello streaming-ASR nel 2026

All'interno della famiglia, l'uscita si colloca come segue:

• microsoft/VibeVoice-ASR (21 gennaio 2026) — l’ammiraglia batch: fino a 60 minuti in una singola passata, oltre 50 lingue, output Chi/Quando/Cosa, hotwords, circa 700.000 download.

• microsoft/VibeVoice-ASR-Streaming-7B e microsoft/VibeVoice-ASR-Streaming-1.5B (2 settembre 2026) — le nuove varianti in streaming; l'oggetto di questo articolo è la 1.5B.

• microsoft/VibeVoice-ASR-BitNet (23 luglio 2026) — un motore edge quantizzato, orientato alla CPU, per il modello batch.

• I modelli VibeVoice-1.5B TTS e VibeVoice-Realtime-0.5B streaming-TTS sono membri separati della stessa famiglia, non fanno parte della linea ASR.

Il più ampio settore dell'ASR a pesi aperti si è mosso verso il real-time per tutto l'anno, quindi una nuova proposta in streaming ha punti di confronto diretti. Qwen3-ASR (Alibaba, ~1,7B) è un modello unificato streaming e offline che copre oltre 50 lingue e dialetti. Il Nemotron 3.5 ASR di NVIDIA è un modello streaming da 0,6B che copre 40 lingue, con licenza OpenMDW anziché MIT. Il Granite Speech 5.0 470M TurboCTC di IBM è Apache-2.0 e riporta cifre di throughput dichiarate dal produttore insolitamente elevate. Rispetto a questi, il modello streaming di Microsoft si differenzia per tre aspetti: licenza MIT, un backbone LLM che integra una comprensione di parlante e contenuto, anziché un puro modello acustico, e la trascrizione live con attribuzione al parlante. Le sue questioni aperte sono accuratezza e latenza nel mondo reale — nessuna delle due ha ancora un numero indipendente.

Cosa non è ancora verificato

Leggere il repo ti dice la progettazione; non ti dice quanto funzioni bene. Nello specifico:

Nessun numero di accuratezza o latenza nel testo. La scheda del modello include una figura dei risultati come immagine, ma nessuna tabella con valori numerici di WER, RTF o latenza nel testo — nessun dato da poter citare in modo indipendente.

• Nessuna valutazione di terze parti. I download erano a zero il giorno dopo il caricamento; non ci sono benchmark della community, né voci in classifica, né test indipendenti che abbiamo potuto trovare.

• Il percorso di serving è una configurazione di ricerca basata sui sorgenti. La documentazione di streaming di Microsoft viene eseguita partendo da un clone del repository GitHub VibeVoice all'interno di un container NVIDIA PyTorch (nvcr.io/nvidia/pytorch, con flash-attention consigliata). La scheda del modello mostra anche uno snippet della pipeline Transformers e rimanda i dettagli di installazione a GitHub; se l'attuale versione rilasciata di Transformers esegua l'inferenza in streaming su questo checkpoint senza modifiche, non lo abbiamo verificato.

Il posizionamento è incentrato sulla ricerca. Il repository di Microsoft descrive i modelli VibeVoice come destinati a scopi di ricerca e sviluppo. I pesi sono sotto licenza MIT; la posizione è "ecco la scienza", non "ecco un prodotto supportato". Metti in conto una tua fase di valutazione.

Dovresti costruirci sopra?

Per i team che già auto-ospitano sistemi ASR, vale la pena dedicare un weekend alla valutazione se il vostro audio rientra nel set di dieci lingue e avete specificamente bisogno di trascrizione in tempo reale con attribuzione del parlante da un modello con licenza MIT. Mettete in preventivo circa 5,6 GB di pesi per il modello 1.5B su una GPU NVIDIA e un'installazione da sorgente, e pianificate di misurare l'accuratezza voi stessi sul vostro audio prima di fidarvene.

Per i team che oggi implementano una pipeline di trascrizione in produzione, la risposta prudente è attendere una di tre cose: che Microsoft pubblichi i dati di accuratezza e latenza che attualmente esistono solo come immagine; un benchmark indipendente; oppure un percorso di serving mantenuto con un runtime supportato. Anche la cadenza a chunk di ~3 secondi è una specifica da verificare rispetto al proprio requisito di latenza, piuttosto che un presupposto da dedurre dalla parola "streaming".

Il modo economico per tenere aperta l'opzione è evitare di vincolare la tua applicazione a un singolo motore di trascrizione. Un livello di routing che espone molti modelli tramite un'unica API significa che quando VibeVoice-ASR-Streaming — o il prossimo ASR open — arriva su un provider di inferenza, confrontarlo in test A/B con il modello attuale sullo stesso traffico è un cambiamento di configurazione, non un re-platforming. Poiché un router pass-through applica il prezzo di listino del provider senza alcun ricarico, quel confronto resta economico, e il failover automatico impedisce a un modello giovane e non collaudato di diventare un punto unico di guasto nella tua pipeline. Questo è lo schema generale per adottare qualsiasi modello appena nato: lascia che si guadagni un posto sul traffico reale prima di scommettere la produzione su di esso.

Domande frequenti

VibeVoice-ASR-Streaming-1.5B è effettivamente un rilascio Microsoft?

Sì. Il checkpoint si trova sull'account Hugging Face ufficiale di microsoft con un timestamp di creazione del 2 settembre 2026, e il repository GitHub microsoft/VibeVoice fa riferimento a VibeVoice-ASR-Streaming nella sua tabella dei modelli, con una notizia datata 3 settembre 2026. Ciò che è insolito non è la provenienza, ma il silenzio: nessun comunicato stampa, nessun post sul blog e nessuna copertura di terze parti al momento della stesura.

Perché due dimensioni, 7B e 1.5B?

Microsoft ha caricato entrambi i checkpoint nello stesso minuto ma non ha pubblicato un confronto. Dalle configurazioni, il 1.5B rappresenta l'estremità più piccola — un backbone linguistico Qwen di classe 1.5B più lo stack audio, per circa 3 miliardi di parametri e ~5.6 GB di pesi. La lettura naturale è un 7B di maggiore accuratezza e un 1.5B più economico e veloce, ma Microsoft non lo ha affermato e non ci sono benchmark che confermino il compromesso.

In cosa è diverso dal precedente VibeVoice-ASR?

Il modello batch di gennaio acquisisce fino a 60 minuti di audio in una singola passata e vanta oltre 50 lingue. I checkpoint di streaming trascrivono mentre l'audio arriva, generando una trascrizione in blocchi di circa 3 secondi con circa 0,5 secondi di lookahead, e la scheda del modello elenca dieci lingue. Entrambi condividono la stessa architettura di token vocali, l'idea di output attribuito al parlante e il meccanismo di hotword.

Per ora, VibeVoice-ASR-Streaming-1.5B è un checkpoint e una riga di novità. Leggi il repository se fai self-hosting e ti serve un ASR streaming con licenza permissiva da valutare; aspetta i numeri se stai scegliendo un motore di produzione. Il segnale interessante è che Microsoft sta spingendo la sua linea vocale verso il tempo reale in due dimensioni contemporaneamente — e lo ha fatto così in silenzio che un giorno dopo il contatore dei download segnava ancora zero.