Phonon vs. Whisper Large v3 Turbo: Zwei Hälften einer Offline-Sprachschleife

Ein Vergleich von Phonon 31M mit Whisper Large v3 Turbo ist ein Kategorienfehler – und zwar derzeit der nützlichste Kategorienfehler in der Sprachtechnik. Phonon 31M, am 20. Oktober 2026 von Gradium veröffentlicht, verwandelt Text in Audio. Whisper Large v3 Turbo, am 1. Oktober 2024 von OpenAI veröffentlicht, verwandelt Audio in Text. Sie stehen nicht in Konkurrenz zueinander. Sie sind die beiden Enden derselben Schleife, und beide sind klein und schnell genug, um auf Hardware zu laufen, die Ihnen gehört.

Es gibt einen zweiten Grund, warum die Gegenüberstellung Menschen verwirrt. Beide veröffentlichen eine Zahl namens WER, und die beiden Zahlen bedeuten Gegenteiliges. Bei Whisper misst die Wortfehlerrate, wie oft die Transkription falsch ist. Bei Phonon misst sie, wie oft ein Transkribierer die vom Modell erzeugte Sprache falsch versteht. In beiden Fällen ist eine niedrigere Zahl besser, aber es ist nicht dieselbe Messung, und sie in eine Spalte zu setzen, ist der Weg, auf dem schlechte Vergleiche entstehen.

Einer hört zu, einer spricht

Whisper Large v3 Turbo ist ein Spracherkennungsmodell. Es behält den vollständigen Encoder von Whisper large-v3 bei und verkleinert den Decoder von 32 Schichten auf vier, was 809 Millionen Parameter statt 1,55 Milliarden ergibt. Es deckt 99 Sprachen ab, erkennt die Sprache automatisch und ist nicht für Übersetzung trainiert. OpenAIs Dokumentation beschreibt es als etwa achtmal schneller als das große Modell bei geringem Genauigkeitsverlust; das Unternehmen hat auf der Modellkarte keinen genauen Multiplikator veröffentlicht, daher stammen alle exakten Geschwindigkeitsangaben aus Tests von Drittanbietern.

Phonon 31M ist ein Sprachsynthesemodell. Es nimmt Text und eine Stimme entgegen und erzeugt 24-kHz-Mono-Audio über einen Flow-Matching-Transformer auf Mimi-Latents. Es hat 31 Millionen Parameter ohne den Tokenizer, wird als 64,5 MB große q8-GGUF-Datei ausgeliefert und ist unter Apache 2.0 lizenziert. Es besitzt keinerlei Hörfähigkeit – es kann weder transkribieren noch diarisieren noch die Sprache erkennen.

Das Einzige, was sie gemeinsam haben, ist ein Designziel: Beide sind darauf ausgelegt, ohne Rechenzentrum zu laufen. Whisper Turbo ist das schnelle, günstige Mitglied einer Familie, die zur Standard-Open-ASR-Baseline geworden ist. Phonon ist ein Versuch, auch die Synthesehälfte ebenso günstig zu machen.

Dieselben drei Buchstaben, zwei verschiedene Maßeinheiten

Whisper Large v3 Turbo meldet einen mittleren WER von 7,83 auf dem English Open ASR Leaderboard, gegenüber 7,44 für das vollständige large-v3. Bei LibriSpeech test-clean liegen die Werte bei etwa 2,0 %. Diese Zahlen beschreiben, wie oft das Modell das falsche Wort schreibt, wenn es klare Sprache hört.

Phonon 31M gibt in seiner Model Card 0,51 % auf Seed-TTS und 1,5 % auf einem schwierigeren Set an, bzw. 1,70 % auf demselben schwierigen Set im Release-Blog. Diese Zahlen beschreiben, wie oft whisper-large-v3 das falsche Wort schreibt, wenn es die Ausgabe von Phonon hört. Man beachte, dass der Scorer Whisper selbst ist. Gradiums Methodik ist auf unvermeidbare Weise zirkulär: Um ein TTS-Modell zu messen, braucht man ein ASR-Modell, und die Fehlerrate des ASR-Modells selbst setzt eine Untergrenze dafür, wie gut das TTS aussehen kann.

Deshalb sind eine TTS-WER von 0,5 % und eine ASR-WER von 7,8 % nicht vergleichbar, und deshalb sollte eine TTS-WER unter etwa 1 % so verstanden werden, dass „der Transkriptor keine Schwierigkeiten hatte“, und nicht, dass „die Sprache nahezu perfekt ist“. Menschliche Zuhörer und automatische Bewertungssysteme stimmen nicht überein, insbesondere bei der Prosodie, die keine WER erfasst.

• Aufgabe — Text-zu-Sprache für Phonon 31M; Sprache-zu-Text für Whisper Large v3 Turbo.

• Parameter — 31 M (ohne den Tokenizer) für Phonon 31M; 809 M für Whisper Large v3 Turbo.

• Sprachen — nur Englisch für Phonon 31M; 99 für Whisper Large v3 Turbo.

• Ausgabe — 24-kHz-Mono-Audio für Phonon 31M; Text mit Zeitstempeln für Whisper Large v3 Turbo.

• Berichtete Genauigkeit — 0,51 % Seed-TTS-WER für Phonon 31M, gemessen von Whisper; 7,83 mittlere englische WER für Whisper Large v3 Turbo im Open ASR Leaderboard.

• Lizenz — Apache 2.0 für Phonon 31M; MIT für Whisper Large v3 Turbo.

Dimensionierung einer Offline-Sprachschleife

Wenn das Ziel ein Sprachassistent ist, der ohne Netzwerk funktioniert, umfasst die Stückliste drei Modelle, nicht zwei. Spracherkennung, Sprachgenerierung und Sprachsynthese.

Whisper Large v3 Turbo hat 809 Millionen Parameter, etwa 1,6 GB Gewichte bei 16-Bit-Präzision. Die GPU-Inferenz reserviert typischerweise mehrere Gigabyte Arbeitsspeicher für Aktivierungen und Batching; quantisierte GGUF-Builds verringern den Speicherbedarf bei geringen Genauigkeitseinbußen weiter. In seiner Turbo-Form ist es kein Smartphone-taugliches Modell, kleinere Whisper-Varianten und destillierte Versionen hingegen schon.

Phonon 31M ist 64,5 MB groß. Das ist etwa ein Fünfundzwanzigstel der Gewichtsdatei von Whisper Turbo, und es läuft auf einem CPU-Kern, einer iPhone Neural Engine oder einem Raspberry Pi.

Das Sprachmodell in der Mitte ist die Variable. Ein Instruct-Modell mit 1B bis 4B Parametern, auf vier Bit quantisiert, passt in ein paar Gigabyte und ist die übliche Wahl für einen Offline-Assistenten. Die komplette Schleife – Whisper Turbo, ein kleines Instruct-Modell, Phonon – landet in einem Bereich, den ein Laptop oder ein High-End-Smartphone bewältigen kann, wobei die ASR die schwerste Komponente ist.

Diese Asymmetrie ist die praktische Erkenntnis. Die Hälfte der Schleife, um die sich die Leute Sorgen machen – die Synthese, der Teil, der menschlich klingen muss –, ist inzwischen die günstige Hälfte. Die Erkennung ist die teure.

Das Latenzbudget

Die Herstellerangaben von Phonon beziffern die Zeit bis zum ersten Audio auf 5 bis 7 ms auf einem MacBook Air M5 core und auf 9 ms auf einem iPhone 16 Pro, bei einem Durchsatz zwischen dem 11,6- und 41-Fachen der Echtzeit, je nachdem, welches der Dokumente von Gradium man liest. Die Geschwindigkeit von Whisper Turbo hängt stark von Hardware und Backend ab: OpenAI beschreibt es als etwa achtmal schneller als large-v3, und Community-Benchmarks mit quantisierten Builds melden auf Apple Silicon das Zehn- bis Mehrfache der Echtzeit und deutlich langsamere Werte auf der CPU.

In einer Konversationsschleife dominiert der Erkennungsschritt. Eine drei Sekunden lange Äußerung braucht auf einer Laptop-GPU ein paar hundert Millisekunden für die Transkription und auf einer schwachen CPU nahezu Echtzeit. Der Syntheseschritt ist im Vergleich dazu praktisch augenblicklich. Teams, die zuerst die TTS optimieren, optimieren am falschen Ende.

Die Sprachabdeckung ist die harte Einschränkung.

Whisper beherrscht 99 Sprachen. Phonon 31M beherrscht eine, und die Karte von Gradium warnt, dass andere Sprachen falsch ausgesprochen werden. Ein mehrsprachiger Sprachassistent lässt sich daher nicht aus diesem Paar bauen: Die Erkennung funktioniert auf Japanisch, die Synthese nicht.

Gradiums Antwort ist die Phonon-40M-Familie, die Englisch, Französisch, Deutsch, Spanisch und Portugiesisch abdeckt. Das sind fünf Sprachen, nicht 99, und die 40M-Checkpoints stehen unter CC BY-NC 4.0 – ohne separate Vereinbarung nicht in einem kommerziellen Produkt nutzbar. Die mehrsprachige Lücke zwischen offener ASR und offener TTS ist eine der größten im Stack, und nichts, was diesen Monat veröffentlicht wurde, schließt sie.

Wo sie in einem echten Produkt aufeinandertreffen

Die naheliegende Anwendung ist ein Transkriptions- und Wiedergabetool: eine Besprechung oder eine Sprachnotiz aufnehmen, sie mit Whisper transkribieren und dann eine Zusammenfassung mit Phonon vorlesen. Beide laufen lokal, beide sind permissiv lizenziert, und keines von beiden sendet Audio an Dritte. Ein medizinisches Diktierwerkzeug, ein Feldrekorder, eine Barrierefreiheits-App für gehörlose und schwerhörige Nutzer oder ein Offline-Spielzeug zum Sprachenlernen passen alle in dasselbe Muster.

Die zweite Anwendung ist ein Sprachagent mit einem lokalen ersten Durchlauf und einem Cloud-Fallback. Whisper transkribiert auf dem Gerät; ist die Konfidenz niedrig, wird das Audio an ein gehostetes ASR gesendet. Das Sprachmodell entwirft eine Antwort; wenn es ein größeres Modell benötigt, wird die Anfrage nach außen geleitet. Phonon spricht das Ergebnis aus; wenn das Gerät thermisch gedrosselt wird, übernimmt ein gehostetes TTS. Jede Stufe hat eine lokale und eine Remote-Option, und das Produkt entscheidet pro Anfrage, welche verwendet wird.

Die Textebene zwischen ihnen

Whisper erzeugt ein Transkript, Phonon verarbeitet ein Skript, und irgendetwas muss das eine in das andere umwandeln. Dieses Etwas ist ein Sprachmodell, und es ist der einzige Teil der Schleife, der davon profitiert, groß zu sein.

OrcaRouter hostet keines dieser beiden Modelle – Whisper Large v3 Turbo läuft über Ihren eigenen Inference-Stack und Phonon läuft auf dem Gerät – daher erscheint keines von beiden in unserem Katalog. Die Plattform deckt die mittlere Ebene ab: eine API für mehr als 200 Sprachmodelle zum Listenpreis des Anbieters mit 0 % Aufschlag, automatisches Failover zwischen Anbietern und eine Routing-DSL, die Routineanfragen an ein günstiges Modell und schwierige Anfragen an ein leistungsfähigeres Modell weiterleiten kann. In einem Offline-First-Design ist diese Ebene der Teil, der online bleibt.

Was man tatsächlich vergleichen sollte

Wenn Sie ein Sprachmodell auswählen, vergleichen Sie Phonon mit anderen TTS-Systemen und Whisper Turbo mit anderen ASR-Systemen. Wenn Sie ein Produkt entwickeln, vergleichen Sie die Schleifen: Gesamtspeicher, Gesamtlatenz, Gesamtlizenzen, Gesamtsprachen. Gemessen daran ist das Paar kohärent für Arbeit nur auf Englisch, offline und unter permissiver Lizenz und inkohärent für alles Mehrsprachige oder Kommerzielle in der 40M-Kategorie.

Der Fehler, den es zu vermeiden gilt, besteht darin, Phonons 0,51 % WER neben Whispers 7,83 % zu lesen und daraus zu schließen, dass die Sprachsynthese die Spracherkennung übertroffen hat. Die Zahlen stammen aus unterschiedlichen Verfahren, die unterschiedliche Dinge messen, und eines davon wird vom anderen gemessen. Die nützliche Frage ist nicht, welches Modell besser ist. Sie lautet, ob der Kreislauf, den Sie diesen Monat aus offenen Komponenten zusammenbauen können, für das Produkt, das Ihnen vorschwebt, gut genug ist — und für Englisch, offline, auf einem Laptop, hat sich die Antwort gerade geändert.