VoxCPM2: 900.000 Downloads pro Monat, und Transformers kann es immer noch nicht laden

Die Metadaten von Hugging Face für VoxCPM2 geben seine Bibliothek als voxcpm an — nicht transformers. Genau dieses eine Feld erklärt eine seltsame Lücke, die es derzeit in der Open-Source-Sprachwelt gibt: Das Text-to-Speech-Modell von OpenBMB mit 2B Parametern verzeichnete in den letzten dreißig Tagen 900.282 Downloads, brachte 25 öffentliche Finetunes, 10 Quantisierungen, 7 Adapter und über 100 Spaces hervor und kann dennoch nicht von der Bibliothek geladen werden, mit der fast jedes andere Modell auf dieser Seite geladen wird. Der Pull Request, der das beheben soll, wurde am 4. August 2026 eröffnet und ist bis heute offen.

Diese Lücke ist es wert, verstanden zu werden, bevor der Fix erscheint, denn sie bestimmt, was die Integration dieses Modells Sie diese Woche im Vergleich zum nächsten Quartal kostet. Und sie baut auf einer interessanteren Frage auf, nämlich ob VoxCPM2 tatsächlich so weit vorn liegt, wie die Berichterstattung vermuten lässt. Alles unten Genannte stammt aus drei Primärquellen: der openbmb/VoxCPM2-Modellkarte und den Repository-Metadaten, der OpenBMB/VoxCPM GitHub-README und dem VoxCPM2 Technical Report (arXiv:2606.06928, eingereicht am 5. Juni 2026). Jede Benchmark-Zahl in diesem Artikel stammt von OpenBMB selbst und wurde von OpenBMB durchgeführt, und – wie das Paper selbst für seine Hauptvergleichstabelle angibt – wurden die darin enthaltenen Konkurrenzzahlen aus anderen Papern übernommen, statt unter vergleichbaren Bedingungen erneut durchgeführt zu werden. Soweit wir feststellen konnten, hat kein unabhängiges Labor eine Reproduktion davon veröffentlicht.

Das Datenblatt auf einen Blick

VoxCPM2 wurde im April 2026 veröffentlicht (das Hugging-Face-Repository wurde am 3. April erstellt, zuletzt am 16. April geändert) als dritte Generation der VoxCPM-Reihe. Gegenüber seinem unmittelbaren Vorgänger:

• Größe — 2B Parameter vs. 0,8B bei VoxCPM1.5 und 0,6B-Backbone bei VoxCPM-0.5B.

• Sprachen — 30 plus 9 chinesische Dialekte, gegenüber nur Chinesisch und Englisch in beiden früheren Versionen.

• Audio — akzeptiert eine 16-kHz-Referenz, gibt 48 kHz aus, im Vergleich zu VoxCPM1.5 mit symmetrischen 44,1 kHz für Ein- und Ausgang.

• Backbone — MiniCPM-4-1B (28 Schichten, Breite 2048) als textsemantisches Sprachmodell, aufgestockt von MiniCPM-4-0.5B (24 Schichten, Breite 1024).

• Sequenzbudget — 8192 Token bei einer sprachmodellseitigen Tokenrate von 6,25 Hz, was in etwa 20 Minuten Audio in einem Kontext entspricht.

• Kosten pro Sekunde Sprache — Echtzeitfaktor 0,30 in Standard-PyTorch und 0,13 über Nano-vLLM auf einer RTX 4090, bei etwa 8 GB VRAM. VoxCPM1.5 erreichte 0,15 bei 0,8B und 6 GB.

• Lizenz — Apache-2.0 für die Gewichte, den Finetuning-Code und die Inferenz-Tools. Keine Zugangsbeschränkung, keine Acceptable-Use-Klausel, kommerzielle Nutzung erlaubt.

• Trainingsdaten — „über 2 Millionen Stunden" mehrsprachiger Sprachdaten, ohne Nennung eines Korpus und ohne Herkunftsangabe.

Lies die RTF-Zeile zweimal, denn sie läuft in die falsche Richtung. VoxCPM2 ist pro Sekunde erzeugten Audios etwa doppelt so langsam wie das 0.8B-Modell, das es ersetzt, und benötigt ein Drittel mehr VRAM. Das 2B-Modell brachte keinen Durchsatz; es brachte Sprachen und Kontrolle und verlangte dafür Latenz. Wenn du einen Echtzeit-Agenten betreibst, ist dieser Tausch das Erste, was du bepreisen musst.

Was PR #47756 tatsächlich ändert

VoxCPM2 auszuführen bedeutet heute, OpenBMBs eigenes Paket zu installieren — pip install voxcpm, Python 3.10 bis 3.12, PyTorch 2.5 oder neuer, CUDA 12 oder neuer — und das Modell über einen VoxCPM.from_pretrained-Aufruf zu laden, der nichts mit der Transformers-API zu tun hat. Alles, was auf diese Entscheidung folgt, ist maßgeschneidert: Ihr eigenes Batching, Ihr eigener Serving-Code, Ihre eigene Handhabung der fünf Generierungsmodi.

Die laufende Arbeit würde das ändern. Issue #47695, „Add native support for OpenBMB VoxCPM2“, wurde am 31. Juli eingereicht. PR #47756, „support for VoxCPM2“, folgte am 4. August und wurde zuletzt am 5. August aktualisiert. Es trägt das Label „New model“ und fügt eine modulare Konfigurations- und Modellimplementierung, einen benutzerdefinierten Tokenizer und Prozessor, AudioVAE-Codierung und -Decodierung mit Streaming, Referenzstimmen-Konditionierung, Prompt-Audio-Fortsetzung, automatische Klassenregistrierungen und einen Text-zu-Wellenform-Pipeline-Eintrag hinzu– mit 64 gemeldeten bestandenen Modelltests. Es ist auf PR #47736 aufgesetzt, der MiniCPM4 selbst hinzufügt; das Text-Backbone muss zuerst landen, bevor das Sprachmodell, das es umhüllt, folgen kann.

Zwei Details verdienen Beachtung, und beide sprechen gegen Optimismus. Erstens: Alle drei Punkte — das Issue und beide Pull Requests — wurden von demselben einzelnen Community-Mitwirkenden eröffnet, nicht von OpenBMB und nicht von einem Hugging-Face-Maintainer. Dahinter steht keine Zusage des Anbieters und daher auch kein Zeitplan, an dem Sie sich orientieren können. Zweitens: Ein Stapel aus zwei Pull Requests mit 203 Commits, die eine neue Modalität betreffen, ist keine schnelle Überprüfung. Neue-Modell-PRs in Transformers brauchen routinemäßig Wochen voller Hin- und Her mit Maintainern, und dieser hier hat bisher vier Kommentare.

Die praktische Lesart: Wenn eine native Transformers-Klasse für deine Architektur tragend ist — weil du auf AutoModel standardisierst, oder weil deine Serving-Schicht nur Transformers spricht — VoxCPM2 ist für dich nicht bereit, und es gibt kein Datum. Wenn du innerhalb des voxcpm-Pakets leben kannst, ist das Modell heute voll nutzbar, und das Ökosystem hat eindeutig dafür gestimmt, dass das akzeptabel ist: 900.282 Downloads erfolgten, obwohl es überhaupt keine native Unterstützung gab. Es gibt auch einen Mittelweg, den die meiste Berichterstattung übersieht. OpenBMB liefert eine vLLM-Omni-Integration, die einen OpenAI-kompatiblen /v1/audio/speech-Endpunkt bereitstellt, sowie einen llama.cpp-omni-Build mit GGUF-Gewichten, der auf CPU, Metal, CUDA oder Vulkan läuft, ohne jegliche Python-Abhängigkeit. Wenn du von Transformers eigentlich eine Standard-Serving-Oberfläche wolltest und nicht die Klasse selbst, existiert das bereits.

Tokenizer-frei bedeutet nicht unquantisiert.

Der Satz in jeder Schlagzeile über dieses Modell ist der, der am häufigsten falsch gelesen wird. VoxCPM2 hat keinen externen diskreten Audio-Codec – es gibt kein gelerntes Vokabular von Sprach-Token zwischen dem Sprachmodell und der Wellenform, so wie es in der CosyVoice- oder Moshi-Linie der Fall ist. Das ist die Behauptung, und sie stimmt.

Im Modell gibt es weiterhin Quantisierung. Das Backbone durchläuft einen differenzierbaren semi-diskreten Flaschenhals auf Basis von Finite Scalar Quantization, und das Paper legt dessen Rolle explizit dar: Das text-semantische Sprachmodell erzeugt Hidden States, FSQ quantisiert sie pro Dimension skalar zu einem „semantischen Skelett“, ein residuales akustisches Sprachmodell gewinnt die feinen Details zurück, die FSQ verworfen hat, und ein lokaler Diffusionstransformer verwandelt beide Konditionierungsströme per Flow Matching in den nächsten kontinuierlichen latenten Patch. Die vier Stufen, die Sie als LocEnc, TSLM, RALM und LocDiT abgekürzt sehen, sind genau diese Kette.

Der in der Praxis relevante Unterschied ist nicht „quantisiert versus nicht“. Es ist vielmehr, dass der Engpass end-to-end mit allem darum herum trainiert wird, statt im Voraus als separater Codec mit eigenem Verlust eingefroren zu werden. Genau das beseitigt den üblichen Fehlermodus, bei dem ein Sprachmodell lernt, Tokens vorherzusagen, die ein Codec nicht zuverlässig dekodieren kann. VoxCPM2 erweiterte diesen FSQ-Engpass von 256 auf 512 Dimensionen und ersetzte die alte elementweise Summe, die das Residualmodell speist, durch eine lernbare Konkatenations-Projektion – kleine Änderungen, und unter den wenigen im Bericht, die durch einen angegebenen Mechanismus gestützt werden statt durch eine Benchmark-Differenz.

Die 48-kHz-Ausgabe ist teilweise erfunden, und das ist das Design.

„Ausgabe mit 48-kHz-Studioqualität“ ist die meistzitierte Spezifikation des Modells und die am meisten missverstandene. AudioVAE V2 ist asymmetrisch: Der Encoder arbeitet mit 16 kHz, der Decoder rekonstruiert mit 48 kHz. Die Arbeit nennt dies „implizite Superauflösung“ – ein ehrlicher Name für das, was es ist.

Ziehen wir die Konsequenz. Ein 16-kHz-Encoder hat eine Nyquist-Grenze von 8 kHz, daher gelangt nichts oberhalb von 8 kHz in deinem Referenzaudio jemals ins Modell. Jedes bisschen Energie in den obersten zwei Oktaven der Ausgabe — die Luftigkeit einer Stimme, Zischlaute, die Helligkeit des Beckenrands — wird vom Decoder aus einem plausiblen Prior erzeugt, nicht von dem Sprecher übernommen, den du geklont hast. Bei den meisten Erzähl- und Agentenarbeiten ist das nicht wahrnehmbar oder sogar eine Verbesserung, denn ein gut gelernter Prior schlägt ein hartes 8-kHz-Shelf. Für alle, deren Aufgabe die originalgetreue Wiedergabe einer bestimmten aufgenommenen Stimme ist, ist es eine Tatsache, um die man herum konstruieren muss, und nichts, was ein Hörtest mit deinen Laptop-Lautsprechern zeigen wird.

Die Begründung des Papers ist das glaubwürdigste technische Argument im Bericht, und es lohnt sich, sie zu wiederholen, weil es kein Marketing ist: Die Beibehaltung des Encoders bei 16 kHz ermöglicht es OpenBMB, den ursprünglichen VoxCPM-Trainingskorpus mit 16 kHz in seiner Gesamtheit wiederzuverwenden, beseitigt latente Diskrepanzen zwischen Quellen, die mit unterschiedlichen Abtastraten aufgenommen wurden, und vermeidet die Sequenzlängen-Explosion, die eine höhere Eingangsrate in einer autoregressiven Schleife erzwingen würde. Nur den Decoder anzuheben erkauft Ausgabetreue, ohne im teuren Teil des Modells dafür zu zahlen. Das ist ein guter, bewusst getroffener Tausch. Es bedeutet auch, dass VoxCPM1.5-Nutzer von einem 44,1-kHz-Encoder zu einem 16-kHz-Encoder wechseln — ein Downgrade auf der Eingabeseite, verpackt in ein Upgrade auf der Ausgabeseite. OpenBMBs eigene Rekonstruktionstabelle zeigt, wie das aussieht: Der Codec von VoxCPM1.5 verzeichnet weiterhin die beste Vollband-Mel-Distanz der drei Generationen, 1,139 gegenüber 1,335 von AudioVAE V2, weil er nativ mit einer hohen Abtastrate arbeitet, anstatt bis zu einer solchen zu rekonstruieren.

OpenBMBs Rangliste so lesen, wie OpenBMB sie geschrieben hat

Konkurrenzfähig, nicht an erster Stelle.

Auf Seed-TTS-Eval, dem Standard-Benchmark für Zero-Shot-Stimmklonierung, meldet VoxCPM2 eine Wortfehlerrate von 1,84 % mit 75,3 % Sprecherähnlichkeit beim englischen Datensatz, eine Zeichenfehlerrate von 0,97 % mit 79,5 % Ähnlichkeit beim chinesischen Datensatz und 8,13 % CER mit 75,3 % Ähnlichkeit beim schwierigen chinesischen Teildatensatz. Das eigene Wort des Papers dafür lautet „konkurrenzfähig“, und die Tabelle stützt dieses Wort eher als die stärkeren Behauptungen, die kursieren.

Bei den Open-Source-Systemen in derselben Tabelle erzielt Fish Audio S2 auf allen drei Teilmengen eine bessere Fehlerrate (0,99 / 0,54 / 5,99). Qwen3-TTS übertrifft es beim englischen WER mit 1,23. Und LongCat-Audio-DiT räumt in fünf von sechs Zellen komplett ab – 1,50 WER und 78,6 Ähnlichkeit bei Englisch, 81,8 Ähnlichkeit bei Chinesisch, 6,04 CER und 79,7 Ähnlichkeit bei schwerem Chinesisch. Wo VoxCPM2 wirklich heraussticht, ist die Balance: Es ist eines der sehr wenigen Systeme, die gleichzeitig hinsichtlich der Ähnlichkeit nahe der Spitze liegen und bei der Verständlichkeit respektabel abschneiden, und es ist das einzige auf dieser Liste, das auch Sprachdesign in natürlicher Sprache beherrscht. Aber „State-of-the-Art“ ist nicht das, was die eigene Übersichtstabelle zeigt, und die ehrliche Einordnung ist, dass dies ein starker Allrounder ist, kein Benchmark-Spitzenreiter.

3,3x so viele Parameter brachten kaum mehr Verständlichkeit

Die nützlichste Zeile in dieser Tabelle ist die, die niemand zitiert. VoxCPM-0.5B, die erste Generation mit 0,6B vom September 2025, erreicht 1,85% englischen WER und 0,93% chinesischen CER. VoxCPM2, mit 2B, erreicht 1,84% und 0,97%. Innerhalb des Rauschens bei Englisch und leicht schlechter bei Chinesisch.

Was die zusätzlichen Parameter tatsächlich geliefert haben, ist in den Ähnlichkeitsspalten zu sehen und sonst nirgendwo: Englisch-SIM stieg von 72,9 auf 75,3, Chinesisch von 77,2 auf 79,5. Alles andere, was die 2B mit sich bringt, liegt vollständig außerhalb dieses Benchmarks — 28 weitere Sprachen, Sprachdesign aus einer Textbeschreibung, stilsteuerbares Klonen, 48-kHz-Ausgabe. Das ist eine Menge, und es ist das ehrliche Argument für das Upgrade. Aber wenn Ihre Arbeitslast englisches oder chinesisches Klonen ist und Sie sich nach der Fehlerrate richten, gibt Ihnen VoxCPM2 nichts, was Ihnen das 0.6B-Modell nicht bereits gegeben hätte, bei dreifachem Gewicht und doppelter Latenz. Merkwürdigerweise ist VoxCPM1.5 bei diesem Benchmark das schlechteste der drei (2,12 / 1,18), was die Entwicklung der Familie weniger wie eine Leiter und mehr wie drei verschiedene Produkte aussehen lässt.

Ein Modell, zwei Bewertungen, eine Größenordnung auseinander

Hier ist Vorsicht geboten, denn die beiden mehrsprachigen Ergebnisse in diesem Bericht widersprechen sich heftig, und beide werden zitiert, als ob sie die Angelegenheit entscheiden.

Die Schlagzeile lautet: eine durchschnittliche Fehlerquote von 1,68 % in 30 Sprachen. Das stammt aus einem Testset, das OpenBMB selbst erstellt hat — 500 Äußerungen pro Sprache — und das mit Gemini 3.1 Flash Lite als Erkennungssystem ausgewertet wurde. Darauf erreicht VoxCPM2 bei Englisch 0,42, Chinesisch 0,92, Hindi 0,79 und Arabisch 1,23.

Der Bericht führt außerdem den MiniMax-MLS-Test aus, ein Drittanbieter-Set für 24 Sprachen, das mit Whisper-large-v3 bewertet wurde. Gleiches Modell. Dort erzielt VoxCPM2 bei Hindi 19.70 und bei Arabisch 13.05 – 25-mal bzw. 10-mal schlechter, als es der eigene Benchmark angibt, und zwar bei Sprachen, die es offiziell unterstützt. Ebenfalls in dieser Spalte: Kantonesisch 38.58, Tschechisch 24.13, Rumänisch 21.58, Ukrainisch 6.32.

Drei Dinge bringen das meiste davon in Einklang, und es lohnt sich, sie getrennt zu betrachten, denn die weit verbreitete Version dieser Geschichte stellt sie falsch dar:

• Tschechisch, Rumänisch und Ukrainisch sind keine unterstützten Sprachen. Sieh dir die Sprach-Tags an, die das Repository selbst angibt: 30 Codes, und keiner davon ist cs, ro oder uk. VoxCPM2 wegen einer tschechischen WER von 24 % zu kritisieren, heißt, es für eine Sprache zu kritisieren, die es nie beansprucht hat. Kantonesisch fällt plausibel unter die „9 chinesischen Dialekte“, aber jedes System in dieser Spalte liegt dort bei über 30 %, was auf den Spracherkenner hindeutet und nicht auf eines der Modelle.

• Arabisch und Hindi werden unterstützt, und das ist die eigentliche Erkenntnis.Dies sind die beiden Sprachen, bei denen OpenBMB eine Abdeckung beansprucht und bei denen sich die beiden Auswertungen um eine Größenordnung unterscheiden. Die Erklärung des Papiers selbst lautet, dass diese Sprachen im Trainingskorpus ein „relativ begrenztes Datenvolumen“ aufweisen und dass „ein Teil der höheren WER auf die begrenzte Genauigkeit des Erkenners zurückzuführen sein kann“. Das ist eine faire Hypothese – und eine ungetestete. Wenn Sie arabische oder Hindi-Sprache ausliefern, liegt der veröffentlichte Bereich für dieses Modell bei 0,79 % bis 19,70 %, und keines der beiden Enden ist unabhängig verifiziert. Planen Sie einen Tag für Ihre eigenen Messungen ein; verlassen Sie sich nicht auf eine der beiden Zahlen.

• Die Metriken sind nicht einmal in derselben Einheit. Hindi wird anhand der Zeichenfehlerrate auf dem internen Datensatz und der Wortfehlerrate auf MiniMax-MLS bewertet. Das sind nicht vergleichbare Größen, was ein weiterer Grund dafür ist, dass die 25-fache Lücke keine klare Anklage ist — und ein weiterer Grund, warum der Durchschnitt von 1,68 % nicht als direkt vergleichbarer Wert verstanden werden sollte.

Die gleiche Vorsicht gilt für die Behauptung, die in der Berichterstattung über dieses Modell die meiste numerische Arbeit leistet: dass VoxCPM2 bei der Sprecherähnlichkeit ElevenLabs schlägt – im Englischen mit 85,4 % zu 61,3 % und in 22 von 24 Sprachen siegreich ist. Das sagt die Tabelle tatsächlich aus. Es ist jedoch auch eine Tabelle, die das Papier teilweise aus bereits berichteten Ergebnissen zusammengestellt hat, und in der die Verständlichkeitsspalte von ElevenLabs für Thailändisch einen WER von 73,94 %, für Vietnamesisch 73,42 % und für Chinesisch 16,03 % aufweist. Das sind nicht die Zahlen eines funktionierenden kommerziellen Produkts; sie sind das Erkennungszeichen einer Fehlabstimmung bei Bewertung oder Konfiguration. Eine Tabelle, die in einer Spalte derart defekt ist, wird nicht dadurch in einer anderen vertrauenswürdig, dass das Ergebnis dem Modell schmeichelt, über das man gerade liest.

Fünf Modi aus einem Rückgrat – und das Rezept, das Ihre Zahlen bewegt

Der sauberste Gedanke in der Architektur ist, dass VoxCPM2 keine separaten Modelle oder Heads für seine Fähigkeiten benötigt. Alle fünf Modi sind dieselben Parameter, wobei die Eingabesequenz unterschiedlich angeordnet ist – genau deshalb deckt ein einzelner 2B-Checkpoint ab, wofür normalerweise eine kleine Flotte nötig ist:

• Einfaches TTS — Text rein, Audio raus.

• Voice-Design — eine in Klammern gesetzte Beschreibung wird einfach dem Text vorangestellt, sodass „(ein müder Mann mittleren Alters, mit rauer Stimme, langsam sprechend)“ und die Zeile selbst durch dasselbe Sprachmodell gehen, ohne zusätzliches Modul. Überhaupt kein Referenzaudio.

• Referenzklonen — Ein isolierter Referenzclip konditioniert die Sprecheridentität, ohne dass ein Transkript erforderlich ist.

• Kontrollierbares Klonen — Referenzclip plus Stilbeschreibung, sodass Sie eine Stimme klonen und anschließend gehetzt oder amüsiert klingen lassen können.

• Fortsetzungs-Klonen — Referenzclip gepaart mit seinem Transkript, behandelt als Audio-Präfix, das das Modell fortsetzt; dies ist der Modus mit der höchsten Wiedergabetreue.

In dem Bericht vergraben ist ein Regler, den die meisten Artikel auslassen – und genau der wird Ihre Ergebnisse am ehesten verändern. Die beiden Konditionierungspfade – isolierte Referenz und Fortsetzungspräfix – können getrennt oder gemeinsam verwendet werden, und sie stehen in einem Zielkonflikt zueinander. In OpenBMBs eigener Ablationsstudie ergibt die gemeinsame Verwendung beider die beste Sprecherähnlichkeit für jede Teilmenge. Lässt man das Fortsetzungspräfix weg und übergibt nur die isolierte Referenz, erhält man bei schwierigen chinesischen Texten die beste Verständlichkeit – 6,85 % CER gegenüber 7,44 % –, büßt dafür aber etwa fünf Ähnlichkeitspunkte ein. Die Erklärung des Papers ist einleuchtend: Ohne ein zeitliches Audio-Präfix, das die Prosodie verankert, hat das Modell mehr Freiheit, eine Vortragsweise zu wählen, die schwierigen Text übersteht.

Die Standardeinstellung ist also eine Wahl, keine Obergrenze. Stimmabgleichsarbeit braucht beide Pfade; schwieriger oder ungewöhnlicher Text braucht nur die Referenz. Ein ehrlicher Haken: Die absoluten Zahlen in der Ablationstabelle stimmen nicht mit der Haupttabelle für das Rezept überein, das das Paper laut eigener Angabe durchgängig verwendet hat, was bei einem Preprint eher ein Buchhaltungsfehler als etwas Unheimliches ist — aber es ist ein dritter Grund, jede Zahl hier als eine Richtung zum Testen zu behandeln und nicht als einen Wert zum Zitieren.

Voice-Design: eher gehorsam als natürlich

Voice Design ist das Feature, das dieses Release interessant statt bloß inkrementell macht – und genau hier zeigen die eigenen Zahlen des Anbieters am deutlichsten, worin der echte Trade-off besteht.

Beim InstructTTSEval erreicht VoxCPM2 84,2 bei der Spezifikation akustischer Parameter, 83,2 bei beschreibenden Stilvorgaben und 71,4 beim Rollenspiel für Englisch – der letztgenannte Wert ist der beste in der Tabelle, vor Qwen3-TTS-1.7B-VD mit 68,4 und Gemini-TTS-Pro mit 67,2. Beim Chinesischen fällt es schwächer aus, und die Reihenfolge kehrt sich um: 85,2 / 71,5 / 60,8, gegenüber 89,0 / 90,1 / 75,5 von Gemini-TTS-Pro. Die stärkste vertretbare Aussage ist also, dass VoxCPM2 beim englischen Rollenspiel führt und in fast allen anderen Bereichen der Anweisungsbefolgung hinter einem geschlossenen Spitzensystem zurückliegt.

Das menschliche Hörpanel — 50 Hörer, randomisiert und doppelblind, laut Bericht — schärft es. Bei der kontrollierten Generierung erreicht VoxCPM2 4,50 bei der Befolgung von Anweisungen gegenüber 4,41 von Qwen3-TTS-VD und verliert bei der Natürlichkeit mit 4,48 gegenüber 4,61. Beim einfachen Zero-Shot-Cloning gewinnt es bei der Sprecherähnlichkeit (4,74 gegenüber 4,69) und liegt bei der Natürlichkeit gleich oder leicht zurück (4,78 gegenüber 4,80 von Qwen3-TTS, Konfidenzintervalle überlappen sich).

Das Muster ist konsistent genug, um sich danach zu richten: VoxCPM2 tut, was man ihm sagt, und klingt dabei etwas weniger menschlich, während Qwen3-TTS etwas besser klingt und Anweisungen etwas weniger genau befolgt. Welches das richtige ist, hängt ganz davon ab, ob der Wert Ihres Produkts in präziser Kontrolle oder müheloser Wiedergabe liegt. OpenBMB weist in seinen Einschränkungen selbst auf die Kehrseite hin, und das ist die Art von Sache, die Anbieter normalerweise weglassen: Stimmdesign und kontrollierbares Klonen „können zwischen verschiedenen Durchläufen zu unterschiedlichen Ergebnissen führen“, und es kann mehrere Versuche dauern, bis man die gewünschte Stimme erhält. Bauen Sie eine Wiederholungsfunktion in Ihre Pipeline ein und, falls die Stimme wichtig ist, eine menschliche Hörkontrolle.

Was es kostet, es zu betreiben, und wann Mieten die richtige Entscheidung ist.

Es gibt nirgendwo ein gehostetes VoxCPM2. Die eigene Seitenleiste von Hugging Face sagt es unmissverständlich: „Dieses Modell wird von keinem Inferenzanbieter bereitgestellt“ — und das schließt uns mit ein: OrcaRouter bietet VoxCPM2 nicht an, und kein Wunschdenken ändert etwas daran, dass ein 2B-TTS-Modell ohne Inferenz-Partner nichts anderes ist als Gewichte, die du selbst hostest — oder eben nichts.

Das macht die Kostenfrage zu einer GPU-Frage, und die Rechnung ist sauber. Bei einem Nano-vLLM-Echtzeitfaktor von 0,13 auf einer einzelnen RTX 4090 erzeugt eine GPU-Stunde ungefähr 7,7 Stunden Audio, sodass Ihre Kosten pro Audio-Stunde Ihrem Stundensatz für eine 24-GB-Karte geteilt durch etwa 7,7 entsprechen. In reinem PyTorch bei einem RTF von 0,30 sinkt das auf etwa 3,3 Stunden Audio pro GPU-Stunde. Beide Zahlen stammen von OpenBMB, gemessen auf deren Hardware mit deren Text, und beide werden sich auf Ihrer Hardware ändern — Batchgröße, Textschwierigkeit und wie viele Wiederholungen Ihre Qualitätskontrolle erzwingt, sind allesamt Multiplikatoren, die die RTF-Zahl nicht enthält. Die Wiederholungsrate ist diejenige, die man vergisst: Ein Modell, von dem der Anbieter sagt, dass es mehrere Versuche benötigen kann, um eine Zielstimme zu treffen, kostet nicht das, was sein RTF impliziert.

Der Vergleich, den die Leute an dieser Stelle anstellen wollen, ist der mit einer gemieteten API, und die ehrliche Antwort ist, dass sich die beiden nicht sauber umrechnen lassen. openai/tts-1-hd wird mit 30,00 $ pro Million Token ein- und ausgehend abgerechnet — das ist der Listenpreis des Anbieters, der bei OrcaRouter unverändert durchgereicht wird, da wir 0 % Aufschlag nehmen; die Zahl auf unserer Modellseite ist also die Zahl, die OpenAI verlangt. Aber Token sind keine Sekunden, und kein veröffentlichter Kurs rechnet einen zuverlässig genug in den anderen um, um eine Tabellenkalkulation darauf aufzubauen. Jeder, der Ihnen einen sauberen Stundenvergleich zwischen einem selbst gehosteten Open-Weight-TTS-Modell und einer nach Token abgerechneten API zeigt, hat eine Annahme getroffen, die er Ihnen nicht gezeigt hat.

Was es zu sagen lohnt, ist, wo architektonisch die Linie verläuft. VoxCPM2 selbst zu hosten ist sinnvoll, wenn Sie eine bestimmte geklonte Stimme benötigen, wenn das Audiovolumen stabil genug ist, um eine GPU ausgelastet zu halten, wenn Daten Ihre Infrastruktur nicht verlassen dürfen oder wenn Sie beabsichtigen, es per LoRA feinzutunen – und das unterstützt es mit 5 bis 10 Minuten Ziel-Audio, was wirklich günstig ist. Mieten ist sinnvoll, wenn die Auslastung stark schwankt, wenn Sie niemanden für den GPU-Betrieb haben oder wenn die Stimme austauschbar ist. Die meisten echten Sprachprodukte sind zwei Systeme, nicht eines: eine Syntheseebene und ein Sprachmodell, das die Denkarbeit zwischen den Ohren erledigt. Die Denkhälfte ist der Teil, den es wert ist, hinter einen einzigen Schlüssel mit automatischem Failover über Anbieter hinweg zu legen, sodass ein Modellwechsel eine String-Änderung ist und kein Beschaffungszyklus; genau dafür ist OrcaRouter gedacht, über 200+ Modelle hinweg. Die Synthesehälfte gehört, wenn es eine bestimmte Stimme ist, die Sie besitzen und feintunen, auf Ihre eigene Hardware. VoxCPM2 gehört eindeutig in diese zweite Kategorie, und die Tatsache, dass niemand es anbietet, ist eine Konsequenz dessen, was es ist, und kein Versehen.

Was OpenBMB Ihnen nicht zu erwarten rät

Der Abschnitt zu den Einschränkungen ist ungewöhnlich offen für eine Veröffentlichung mit so viel Dynamik, und er ist kurz genug, um ernst genommen zu werden:

• Die Klonqualität ist eine Angriffsfläche für Missbrauch.Die Karte sagt das direkt: Das Modell erzeugt Sprache, die realistisch genug für Identitätstäuschung und Betrug ist, und KI-generiertes Audio sollte gekennzeichnet werden. Apache-2.0 setzt dem keinerlei Einschränkungen entgegen – anders als die Lizenzen mehrerer konkurrierender Open-Weight-Sprachmodelle gibt es keine Klausel zur zulässigen Nutzung, hinter der man sich verstecken kann. Ihre Richtlinie zu Einwilligung und Offenlegung müssen Sie selbst verfassen.

• Lauf-zu-Lauf-Schwankungen sind zu erwarten bei den beiden Kontrollmerkmalen, kein zu meldender Bug.

• Die 30 Sprachen sind eine echte Grenze. Alles, was außerhalb davon liegt, kann funktionieren und ist ungetestet; rechnen Sie mit Feinanpassungen.

• Die Konsistenz der Stilsteuerung wird als noch in der Entwicklung beschrieben von den Leuten, die sie gebaut haben.

Und die Lücken, die die Karte nicht nennt: keinerlei Offenlegung des Trainingskorpus, sodass eine Apache-2.0-Lizenz auf den Gewichten zwar die Codefrage klärt, aber nichts über die Datenherkunft. Keine unabhängige Evaluierung irgendeiner Kennzahl in diesem Artikel. Keine veröffentlichte Latenz in Millisekunden — RTF ist ein Durchsatzverhältnis, und ein Sprachagent steht und fällt mit der Zeit bis zum ersten Audio, die in dem Bericht nirgends auftaucht.

Drei Fragen, die die Modellkarte nicht beantwortet.

Sollte ich von VoxCPM1.5 oder VoxCPM-0.5B wechseln?

Nur für die neuen Funktionen, und nur nach einer Messung. Wenn Sie Sprachen über Chinesisch und Englisch hinaus benötigen, Stimmdesign oder stilsteuerbares Klonen, dann ist das Upgrade der eigentliche Sinn und es gibt keine Alternative innerhalb der Familie. Wenn Sie heute Englisch- oder Chinesisch-Klonen betreiben und zufrieden sind, ist die Argumentation auf den ersten Blick schwach: Dieselbe Benchmark zeigt, dass VoxCPM-0.5B bei der Fehlerrate mit VoxCPM2 gleichauf liegt, und Sie würden die doppelte Latenz und ein Drittel mehr VRAM für etwa 2,4 Punkte Sprecherähnlichkeit zahlen. Es gibt auch ein Migrationsdetail, das leicht zu übersehen ist – wenn Sie VoxCPM1.5 mit 44,1-kHz-Referenzaudio gefüttert haben, akzeptiert der Encoder von VoxCPM2 16 kHz, sodass sich Ihre Referenz-Pipeline ändert und der obere Frequenzbereich Ihres Quellmaterials keine Rolle mehr spielt.

Kann ich damit tatsächlich ein kommerzielles Sprachprodukt auf den Markt bringen?

Rechtlich gesehen ist die Lizenz so permissiv, wie sie nur sein kann: Apache-2.0, keine Hürde, keine Nutzungsbeschränkungen, kommerzielle Nutzung ausdrücklich erlaubt, Gewichte und Feintuning-Code gleichermaßen abgedeckt. Die offene Frage ist nicht der Lizenztext, sondern was dahinter fehlt. OpenBMB nennt keinen Trainingskorpus, was bedeutet, dass Ihnen niemand sagen kann, wessen Stimmen in den 2 Millionen Stunden enthalten sind. Für ein Modell, dessen Hauptmerkmal die Reproduktion der Stimme einer bestimmten Person ist, ist das eine Frage für Ihren eigenen Rechtsbeistand und nicht für eine Modellkarte – und es ist dieselbe Frage, der sich derzeit jedes Open-Weight-Sprachmodell entzieht. Praktisch gesehen sind die härteren Hindernisse betrieblicher Natur: noch keine native Transformers-Klasse, nirgends einen gehosteten Endpoint, Lauf-zu-Lauf-Varianz bei den Steuerfunktionen und keine Angabe zur Time-to-First-Audio, wenn Sie etwas Konversationelles bauen.

Ist es gut genug, um einen kostenpflichtigen TTS-Anbieter zu ersetzen?

Für englische und chinesische Erzählungen, vorab aufgenommene Inhalte und jede Arbeitslast, bei der Sie eine bestimmte Stimme kontrollieren und die Arbeit stapelweise erledigen können: ja, angesichts der verfügbaren Belege, und die Lizenz macht das Ausprobieren nahezu kostenlos. Für Echtzeit-Konversationsagenten: Messen Sie die Time-to-First-Audio selbst, bevor Sie sich festlegen, denn niemand hat sie veröffentlicht und RTF wird es Ihnen nicht verraten. Für Arabisch, Hindi oder jede Sprache im Long Tail: Die beiden eigenen Evaluierungen des Anbieters weichen um eine Größenordnung voneinander ab, also behandeln Sie das Modell dort als unbewiesen, ganz gleich, welche Zahl Sie zitiert gesehen haben. Und für alles, bei dem eine falsche Aussprache ein geschäftlicher Zwischenfall und nicht nur ein Ärgernis ist, beachten Sie, dass VoxCPM2 nicht einmal in seiner eigenen Tabelle der Verständlichkeitsführer ist — Fish Audio S2 und LongCat-Audio-DiT liegen dort vor ihm, und sie sind ebenfalls Open-Weight.

Was zu sehen

Zwei Dinge, auf unterschiedlichen Zeitachsen. Das zeitlich Nähere sind PR #47756 und der MiniCPM4-PR darunter. Wenn sie gemerged werden, wird VoxCPM2 zu einem AutoModel-Aufruf, und die Integrationskosten für alle, die auf Transformers standardisiert sind, sinken über Nacht auf fast nichts — und da 900.282 Downloads pro Monat bereits auf die harte Tour erfolgen, ist das eine bedeutende Freischaltung. Falls sie ins Stocken geraten, bleibt die Antwort für diese Teams „nutzt OpenBMBs Paket oder den vLLM-Omni-Endpoint“, und der Community-Beitragende, der beide PRs betreut, hat keine Handhabe, das zu ändern.

Die langsamer zu beantwortende Frage ist, ob irgendjemand außerhalb von OpenBMB jemals eine Zahl veröffentlicht. Vier Monate nach der Veröffentlichung, mit 900.000 monatlichen Downloads, 25 Finetunes und mehr als 100 darauf aufbauenden Spaces, lässt sich jede im Umlauf befindliche Leistungszahl immer noch auf einen einzigen technischen Bericht zurückführen, der von den Leuten geschrieben wurde, die das Modell trainiert haben. Das ist kein Vorwurf an OpenBMB, die ihre Arbeit gründlicher und ehrlicher dokumentiert haben als die meisten – der Bericht legt seine Recognizer-Entscheidungen, seine Schwächen bei der Datenmenge und seine eigene Instabilität offen. Es ist ein Vorwurf an den Rest von uns. Das mit Abstand Wertvollste, das diesen Monat jemand in der Open-Source-Sprach-Community veröffentlichen könnte, ist ein mit Whisper bewerteter Seed-TTS-Eval- und MiniMax-MLS-Lauf von VoxCPM2, Qwen3-TTS, Fish Audio S2 und LongCat-Audio-DiT unter identischen Bedingungen. Bis es das gibt, ist die faire Zusammenfassung zu VoxCPM2, dass es das leistungsfähigste Open-Weights-Stimmmodell pro Checkpoint ist, das jemals jemand veröffentlicht hat, dass es nicht das genaueste ist, und dass beide Hälften dieses Satzes auf dem Wort des Anbieters beruhen.