VibeVoice-ASR-Streaming-1.5B, erklärt: Microsofts Streaming-ASR kam ohne Launch auf den Markt

Am 2. September 2026 lud Microsoft Research zwei neue Sprach-zu-Text-Checkpoints auf Hugging Face hoch, ohne Pressemitteilung, ohne Blogbeitrag und ohne viel Aufsehen: microsoft/VibeVoice-ASR-Streaming-1.5B und sein größeres Gegenstück microsoft/VibeVoice-ASR-Streaming-7B. Die bisher einzige Ankündigung ist ein News-Eintrag vom 3. September 2026 im News-Bereich des Open-Source-VibeVoice-GitHub-Repositorys von Microsoft, der das Release als ein einheitliches Streaming-ASR-Modell beschreibt, das transkribiert, wer was gesagt hat, während der Audiostream noch eintrifft, mit angepassten Hotwords und zehn Sprachen. Beide Checkpoints sind MIT-lizenziert, beide wurden in einem Abstand von etwa fünf Minuten auf dem offiziellen microsoft-Hugging-Face-Konto erstellt, und beide wiesen null Downloads auf, als wir einen Tag später nachsahen. Wir konnten zu keinem der beiden eine Berichterstattung von Drittanbietern finden.

Das macht diesen Beitrag ungewöhnlich: ein echtes, datierbares Release — Gewichte auf Hugging Face vom 2. September, eine Ankündigung im Repository vom 3. September — das die breitere Öffentlichkeit noch nicht zur Kenntnis genommen hat. Alles, was im Folgenden wissbar ist, stammt aus der Lektüre des Repository: den Konfigurationsdateien, der Model Card und Microsofts eigener Streaming-Dokumentation. Alles, was noch nicht bestätigt ist — Genauigkeit, tatsächliche Latenz, ob die Streaming-Sprecherzuordnung einen echten Zwei-Sprecher-Anruf übersteht — ist als solches gekennzeichnet. Es gibt keine Benchmark, die zitiert werden könnte, da Microsoft bisher keine in Textform veröffentlicht hat.

Die einzige Ankündigung ist eine Nachrichtenzeile.

VibeVoice ist eine quelloffene, MIT-lizenzierte Sprachmodellfamilie von Microsoft Research. Das bekannteste ASR-Mitglied, microsoft/VibeVoice-ASR, wurde am 21. Januar 2026 veröffentlicht: ein Batch-Modell, das bis zu sechzig Minuten Audio in einem einzigen Durchgang verarbeitet und strukturierte Transkripte mit Sprecher, Zeitangaben und Inhalt liefert — inzwischen sind rund 700.000 Downloads bei Hugging Face erfolgt. Am 2. September veröffentlichte dieselbe Organisation die Streaming-Schwestermodelle microsoft/VibeVoice-ASR-Streaming-7B und microsoft/VibeVoice-ASR-Streaming-1.5B; die API von Hugging Face versieht das 7B mit dem Zeitstempel 2026-09-02T15:46 UTC und das 1.5B fünf Minuten später mit dem Zeitstempel 15:51 UTC. Die Modelltabelle des GitHub-Repositorys führt VibeVoice-ASR-Streaming nun als eigenen Eintrag, und in der Rubrik News steht die Meldung vom 3. September, die das Modell ankündigt.

Was gegenüber dem Januar-Modell wirklich neu ist, ist das Interaktionsmodell: Die Streaming-Checkpoints transkribieren, während der Ton eintrifft, statt auf eine vollständige Datei zu warten. Alles andere — die zugrunde liegende Sprach-Token-Architektur, die sprecherbezogene Ausgabe, der Hotword-Mechanismus — ist eine Fortführung des Batch-Designs, skaliert und auf den Echtzeiteinsatz ausgerichtet. Auffällig ist der Sprachunterschied: Das Batch-Modell wirbt mit 50+ Sprachen, während die Streaming-Karte nur zehn auflistet.

Was "streaming" in diesem Checkpoint bedeutet

Die Streaming-Dokumentation von Microsoft beschreibt die Absicht klar: Das Modell transkribiert, während das Audio noch eintrifft, und gibt pro Audio-Chunk genau einmal Text aus, sodass ein Transkript erscheint, während der Sprecher spricht. Die preprocessor_config.json des 1.5B-Repos macht den Takt konkret:

• Abtastrate und Tokenrate – 24-kHz-Audioeingang, 3.200-fach komprimiert, was einen etwa 7,5-Hz-Strom von Sprach-Tokens ergibt (etwa ein Token alle 133 ms).

• Chunk — 22 Frames, was bei 7,5 Hz etwa 2,9 Sekunden Audio pro ausgegebenem Segment entspricht.

• Lookahead — 4 Frames, also etwa 0,5 Sekunden zukünftiges Audio, das verwendet wird, um das aktuelle Segment zu festigen.

(Die Rechnung ist direkt aus dem Repo ersichtlich: 22 × 3.200 = 70.400 Samples ≈ 2,93 s bei 24 kHz; 4 × 3.200 = 12.800 Samples ≈ 0,53 s. Microsofts eigene Dokumentation weist darauf hin, dass ein Checkpoint immer mit dem Chunk arbeitet, auf dem er trainiert wurde, diese Werte also zur Inferenzzeit nicht einstellbar sind.)

Das ordnet dies eher der Familie des Chunked-Streamings zu als der wortweisen: Ein Live-Transkript wächst in etwa Dreisekunden-Schritten mit etwa einer halben Sekunde Vorausschau, nicht in tokenweisen Teilstücken. Das ist ein legitimes und übliches Design für die Transkription von Besprechungen und Anrufen, aber es hat ein anderes Latenzprofil als Systeme, die Teilstücke unter einer Sekunde ausgeben – behandeln Sie „Streaming“ also als ein Spektrum und messen Sie es an Ihrem eigenen Latenzbudget, bevor Sie ein Live-Untertitelungsprodukt darauf aufbauen.

Unter der Haube: ein Qwen-Scale-Sprach-LLM

Das Lesen der config.json des 1.5B-Checkpoints ergibt das inzwischen vertraute VibeVoice-Rezept in kleinerem Maßstab:

• Der Decoder ist ein Sprachmodell der Qwen2-Familie, dessen Dimensionen exakt der Klasse 1.5B Qwen2.5 entsprechen – 28 Schichten, 1.536 versteckte Einheiten, 12 Aufmerksamkeitsköpfe mit 2 Key-Value-Köpfen und ein Fenster von 65.536 Token. Das LLM ermöglicht es dem Modell, Sprecher- und Inhaltsverständnis über das Transkript hinweg zu tragen.

Akustische und semantische Tokenizer – tiefe Faltungs-Encoder mit 8/5/5/4/2/2-Striding – wandeln 24-kHz-Audio in den ~7,5-Hz-Sprach-Token-Stream um, den der Decoder liest.

• Ein Diffusions-Head (DDPM, 20 Denoising-Schritte, v-Prädiktion) befindet sich auf der Generierungsseite, konsistent mit der übrigen VibeVoice-Linie.

Größen-Ehrlichkeit: Die safetensors-Metadaten des Checkpoints selbst listen etwa 3 Milliarden Parameter auf, also ungefähr 5,6 GB an Gewichten. Das „1.5B“ im Namen bezeichnet die Größe des Sprach-Backbones – die natürliche Lesart einer Konfiguration, deren Decoder ein Qwen-Modell der 1,5B-Klasse ist – wobei die Audio-Tokenizer und der Diffusions-Head den Rest beisteuern. Der Architektur-String in der Konfiguration, VibeVoiceForASRStreamingTraining, signalisiert, dass dies ein Checkpoint aus der Forschungsfamilie ist.

Wer sagte was, in zehn Sprachen

Die Hauptfunktion der Modellkarte ist die Streaming-Transkription mit Sprecherzuordnung: Sie „transkribiert kontinuierlich, wer was sagt, während die Sprache eintrifft", so der eigene Aufzählungspunkt der Karte. Sie bewirbt außerdem maßgeschneiderte Hotwords für Fachbegriffe und listet zehn unterstützte Sprachen auf – Chinesisch, Englisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Russisch und Spanisch.

Hotwords werden über denselben Kontext-Biasing-Mechanismus implementiert, den auch das Batch-Modell verwendet. In Microsofts Befehlszeilen-Demo übergibt man sie als Kontextinformationen – zum Beispiel --context_info "Microsoft,VibeVoice" – um die Erkennung ohne Feintuning auf Namen und Fachbegriffe auszurichten. Die Karte macht keine Angaben zur automatischen Sprachdetektion oder zum Code-Switching für das Streaming-Modell, was eine weitere Lücke gegenüber den Behauptungen des Batch-Modells darstellt.

Eine Einschränkung verdient besondere Hervorhebung. Die Streaming-Dokumentationsseite konzentriert sich auf Chunk-Ausgabe und Hotwords; sie erläutert nicht, wie die Sprecherzuordnung über Chunk-Grenzen hinweg gewahrt bleibt. Streaming-Diarisierung ist wirklich schwer — Sprecher überlappen sich, und genau an einer Chunk-Grenze driftet die Zuordnung. Die „Wer sagt was“-Darstellung auf der Karte ist eine reine Anbieterbehauptung, bis jemand einen echten Live-Anruf mit zwei Sprechern dadurch laufen lässt und das Ergebnis prüft.

Wo es einzuordnen ist: die VibeVoice-Familie und das Streaming-ASR-Feld 2026.

Innerhalb der Familie fügt sich das Release wie folgt ein:

• microsoft/VibeVoice-ASR (21. Januar 2026) — das Batch-Flaggschiff: bis zu 60 Minuten in einem Durchlauf, 50+ Sprachen, Who/When/What-Ausgabe, Hotwords, rund 700.000 Downloads.

• microsoft/VibeVoice-ASR-Streaming-7B und microsoft/VibeVoice-ASR-Streaming-1.5B (2. September 2026) — die neuen Streaming-Varianten; das Thema dieses Artikels ist die 1.5B.

• microsoft/VibeVoice-ASR-BitNet (23. Juli 2026) — eine quantisierte, CPU-orientierte Edge-Engine für das Batch-Modell.

Die VibeVoice-1.5B-TTS- und VibeVoice-Realtime-0.5B-Streaming-TTS-Modelle sind eigenständige Mitglieder derselben Familie und nicht Teil der ASR-Produktlinie.

Das breitere Feld der ASR-Modelle mit offenen Gewichten hat sich das ganze Jahr über in Richtung Echtzeit bewegt, daher hat ein neuer Streaming-Eintrag direkte Vergleichspunkte. Qwen3-ASR (Alibaba, ~1,7 Mrd.) ist ein einheitliches Streaming- und Offline-Modell, das über 50 Sprachen und Dialekte abdeckt. NVIDIAs Nemotron 3.5 ASR ist ein 0,6-Milliarden-Streaming-Modell, das 40 Sprachen abdeckt und unter der OpenMDW-Lizenz statt MIT steht. IBMs Granite Speech 5.0 470M TurboCTC ist Apache-2.0 und weist vom Anbieter gemeldete Durchsatzwerte auf, die ungewöhnlich hoch sind. Demgegenüber hebt sich Microsofts Streaming-Modell in drei Punkten ab: MIT-Lizenzierung, ein LLM-Backbone, das Sprecher- und Inhaltsverständnis trägt statt eines reinen akustischen Modells, und die Ausrichtung auf sprecherzugeordnete Live-Transkription. Seine offenen Fragen sind Genauigkeit und reale Latenz – für beides gibt es noch keinen unabhängigen Wert.

Was ist noch nicht verifiziert

Das Repo zu lesen zeigt dir das Design; es sagt dir nicht, wie gut es funktioniert. Insbesondere:

• Keine Genauigkeits- oder Latenzzahlen im Text. Die Modellkarte enthält eine Ergebnisgrafik als Bild, aber keine numerischen WER-, RTF- oder Latenztabellen im Fließtext — nichts, was man unabhängig zitieren könnte.

• Keine Bewertung durch Dritte. Einen Tag nach dem Upload lagen die Downloads bei null; es gibt keinen Community-Benchmark, keinen Leaderboard-Eintrag und keinen unabhängigen Test, den wir finden konnten.

Der Serving-Pfad ist ein Research-Setup, das aus dem Quellcode erstellt wird. Die Streaming-Dokumentation von Microsoft läuft aus einem Klon des VibeVoice-GitHub-Repositories in einem NVIDIA-PyTorch-Container (nvcr.io/nvidia/pytorch, mit flash-attention empfohlen). Die Modellkarte zeigt außerdem einen Transformers-Pipeline-Ausschnitt und verweist für Installationsdetails auf GitHub; ob die aktuell veröffentlichte Transformers-Version Streaming-Inferenz auf diesem Checkpoint ohne weitere Anpassungen unterstützt, haben wir nicht überprüft.

• Der Fokus liegt auf Forschung. Das Repository von Microsoft beschreibt die VibeVoice-Modelle als für Forschungs- und Entwicklungszwecke vorgesehen. Die Gewichte sind MIT-lizenziert; die Haltung ist „hier ist die Wissenschaft“, nicht „hier ist ein unterstütztes Produkt“. Planen Sie ein Budget für Ihr eigenes Evaluations-Gate ein.

Solltest du darauf aufbauen?

Für Teams, die ASR bereits selbst hosten, ist das eine Evaluierung am Wochenende wert, wenn Ihr Audio innerhalb der zehn unterstützten Sprachen liegt und Sie speziell eine sprecherattribuierte Live-Transkription von einem MIT-lizenzierten Modell benötigen. Kalkulieren Sie mit rund 5,6 GB Gewichten für das 1.5B-Modell auf einer NVIDIA-GPU und einer Installation aus dem Quellcode, und planen Sie ein, die Genauigkeit selbst anhand Ihres eigenen Audiomaterials zu messen, bevor Sie ihm vertrauen.

Für Teams, die heute eine Produktionstranskriptions-Pipeline ausliefern, ist die umsichtige Antwort, auf eines von drei Dingen zu warten: dass Microsoft die Genauigkeits- und Latenzzahlen veröffentlicht, die derzeit nur als Bild existieren; eine unabhängige Benchmark; oder einen gewarteten Serving-Pfad mit einer unterstützten Laufzeit. Der abschnittsweise ~3-Sekunden-Takt ist ebenfalls eine Spezifikation, gegen die Sie Ihre Latenzanforderung prüfen sollten, anstatt sie aus dem Wort „Streaming“ abzuleiten.

Der kostengünstige Weg, sich die Option offenzuhalten, ist, Ihre Anwendung nicht fest an eine einzelne Transkriptions-Engine zu koppeln. Eine Routing-Schicht, die viele Modelle über eine einzige API zugänglich macht, bedeutet: Sobald VibeVoice-ASR-Streaming — oder das nächste offene ASR — auf einem Inferenzanbieter verfügbar ist, ist der A/B-Test gegen das bisherige Modell auf demselben Traffic eher eine Konfigurationsänderung als ein Re-Platforming. Da ein Pass-through-Router den Listenpreis des Anbieters ohne Aufschlag berechnet, bleibt dieser Vergleich günstig, und automatisches Failover verhindert, dass ein junges, unerprobtes Modell zu einem Single Point of Failure in Ihrer Pipeline wird. Das ist das allgemeine Muster für die Einführung eines jeden erst wenige Tage alten Modells: Lassen Sie es sich seinen Platz im echten Traffic verdienen, bevor Sie die Produktion darauf aufbauen.

FAQ

Ist VibeVoice-ASR-Streaming-1.5B eine echte Microsoft-Veröffentlichung?

Ja. Der Checkpoint liegt auf dem offiziellen microsoft-Hugging-Face-Konto mit einem Erstellungszeitstempel vom 2. September 2026, und das GitHub-Repository microsoft/VibeVoice verweist in seiner Modelltabelle auf VibeVoice-ASR-Streaming mit einem News-Eintrag vom 3. September 2026. Ungewöhnlich ist nicht die Herkunft, sondern die Stille: keine Pressemitteilung, kein Blogbeitrag und keine Berichterstattung von Dritten zum Zeitpunkt dieses Schreibens.

Warum zwei Größen, 7B und 1.5B?

Microsoft hat beide Checkpoints in derselben Minute hochgeladen, aber keinen Vergleich veröffentlicht. Den Konfigurationen zufolge ist die 1.5B das kleine Ende – ein 1.5B-Klassen-Qwen-Sprach-Backbone plus den Audio-Stack, etwa 3B Parameter und ~5.6 GB Gewichte. Die naheliegende Lesart ist eine höhere Genauigkeit der 7B und eine günstigere, schnellere 1.5B, aber Microsoft hat das nicht gesagt, und es gibt keine Benchmarks, um diesen Trade-off zu bestätigen.

Wie unterscheidet sich das von dem früheren VibeVoice-ASR?

Das Januar-Batchmodell verarbeitet in einem einzigen Durchgang bis zu 60 Minuten Audio und bewirbt 50+ Sprachen. Die Streaming-Checkpoints transkribieren, während das Audio eintrifft, und geben ein Transkript in etwa 3-Sekunden-Blöcken mit etwa 0,5 Sekunden Vorausschau aus; die Modellkarte listet zehn Sprachen auf. Beide teilen sich dieselbe Sprach-Token-Architektur, das Konzept der sprecherzugeordneten Ausgabe und den Hotword-Mechanismus.

Vorerst ist VibeVoice-ASR-Streaming-1.5B ein Checkpoint plus eine Schlagzeile. Lesen Sie das Repository, wenn Sie selbst hosten und eine permissiv lizenzierte Streaming-ASR zur Evaluierung benötigen; warten Sie auf die Zahlen, wenn Sie eine Produktions-Engine auswählen. Das interessante Signal ist, dass Microsoft seine Sprachlinie gleichzeitig in zwei Größen in Richtung Echtzeit vorantreibt – und das so leise tat, dass der Download-Zähler einen Tag später immer noch auf null stand.