Eine generierte Titelkarte mit der Aufschrift „Ming-3.0-audio-tiny vs Sesame Preview“, dem Untertitel „ein Talker ohne TTS-Benchmark gegen eine Stimme ohne Modell“, drei Chips mit der Aufschrift „Ming: MIT, 9,3 Mrd. insgesamt“, „Talker: 1,4 GB, optional“ und „Sesame: keine API, keine Modell-ID“ sowie einer Fußzeile mit der Aufschrift „Ming-Zahlen aus dem Repository von inclusionAI; Sesame-Zahlen aus den eigenen Veröffentlichungen des Unternehmens. Keines der beiden liefert einen vergleichbaren Sprachwert.“
Engineering & Research

Ming-3.0-audio-tiny vs. Sesame Preview: Der eine kann sprechen und wird nicht bewertet, der andere spricht beruflich.

Autor

Magnus Corvin

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Das Merkwürdige daran, Ming-3.0-audio-tiny neben Sesame Previewzu stellen, ist, dass die naheliegende Achse – die Stimmqualität – genau die ist, die keine der beiden Seiten messen lässt. Ming-3.0-audio-tiny liefert einen Sprachgenerator: einen 1,4 GB großen Talker, einen 1,6 GB großen VAE, einen CAM++-Sprecher-Encoder, drei benannte Stimmen und einen Klonpfad anhand von Referenzclips. Und der Anbieter veröffentlicht für all das keinen Text-to-Speech-Benchmark. Die drei Evaluationsbilder im Repository decken Erkennung, Audio-Intelligenz und Text ab. Es gibt keine Zeile zur Sprecherähnlichkeit, keine Wortfehlerzeile für synthetisierte Sprache, gar nichts. Sesame Preview ist das Spiegelbild: ein Produkt, dessen gesamter Ruf der Klang seiner Stimme ist, ohne Modellkennung, ohne API und ohne Bewertung, die in der App mit der Stimme verknüpft ist. Die dokumentierten KI-Ausfälle und Agenten-Vorfälle hinter Releases wie diesem werden gesammelt in das OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, Schweregrad, Vertrauensgrad und Widerspruchskennzeichen enthält.

Beide schweigen in dieselbe Richtung, aus unterschiedlichen Gründen, und das ist der ehrliche Ausgangspunkt. Ming-3.0-audio-tiny ist ein Checkpoint, den man herunterladen kann – die Gewichte sind seit dem 3. September 2026 auf Hugging Face, und was sich zwischen dem 16. und 19. Oktober änderte, war der Papierkram drumherum: eine korrigierte Konfiguration, der Talker-Baum, Stimm-Presets, Deployment-Profile und am 19. Oktober die erste Modellkarte. Sesame Preview ist eine App, mit der man spricht, öffentlich aktualisiert, vom Unternehmen in eigenen Worten beschrieben und nie auf eine Datei reduziert. Das eine ist ungemessen, weil sein Anbieter sich entschieden hat, es nicht zu messen; das andere ist unmessbar, weil es nichts zum Ausführen gibt.

Was der Sprachpfad des winzigen Modells tatsächlich ist

Es ist ein Anhang, nicht das Modell. Der Thinker – 17,74 GB verteilt auf zwei Shards, insgesamt 9,3 Mrd. Parameter und 2,7 Mrd. aktive – liest Audio und schreibt Text. Der Talker ist ein zweiter Prozess, der den verborgenen Zustand des Thinkers in Sprache umwandelt, und die Referenzbereitstellung gibt ihm eine eigene GPU. Das Textprofil läuft auf Geräten: "0" mit Tensor-Parallelität von eins; das Vollaudio-Profil platziert den Thinker auf GPU 0 bei 0,78 der Karte und den Talker auf GPU 1 bei 0,18. Das SGLang-Profil ist text-only, und die Karte sagt das unmissverständlich.

• Stimmen — der vLLM-Omni-Standard ist eine integrierte IP-Stimme namens 灵小柔; das Repository enthält außerdem 灵楷 und US_James als vordefinierte Referenzstimmen unter voice_presets/voice_audio/, mit passenden Transkripten in voice_prompts.json.

• Klonen — eine Referenz-WAV plus ihr exaktes Transkript. Die Karte warnt davor, dass man eine integrierte Stimmauswahl nicht mit einem Referenzclip in einer einzigen Anfrage kombinieren kann.

• Sprachen — Chinesisch und Englisch, „einschließlich verschiedener Akzente und Dialekte“, wobei für den Talker keine separate Sprachliste angegeben ist. Ob er Englisch mit amerikanischem Akzent ebenso gut spricht wie liest, wird nirgends angegeben.

• Lizenz — MIT für die Gewichte; die Stimm-Presets sind der Teil, den man sorgfältig lesen sollte, denn an einem Referenzclip hängen sämtliche Rechte, die seine Sprecherin oder sein Sprecher daran hatte. Das Repository enthält keine separaten Bedingungen für die beiden mitgelieferten Stimmen.

• Belege — keine für den Sprachpfad. Die Erkennungs- und Reasoning-Zahlen sind inclusionAIs eigene; für die Synthese-Seite gibt es überhaupt keine veröffentlichte Zahl.

Die letzte Zeile ist der Grund, warum dieser Vergleich mit Urteilen geizt. Ein Anbieter, der seine ASR auf zwei Nachkommastellen genau misst und nichts über seine TTS veröffentlicht, hat Ihnen verraten, in welche Hälfte des Modells er Vertrauen hat.

Sesames Seite desselben Hauptbuchs

Sesames öffentliche Position ist das Gegenteil: eine Stimme, die so gut ist, dass Menschen annahmen, ein Mensch sei am Telefon, bereitgestellt über einen Assistenten mit Gedächtnis, Konnektoren, Browsing und – seit einem Update im Oktober 2026 – der Fähigkeit, andere Agenten zu koordinieren. Das Unternehmen beschrieb dieses Update als neues Conversational Speech Model mit besserer Ausdruckskraft und Aussprache. Es veröffentlichte dafür keinen Checkpoint, keine Modell-ID, keine Latenzwerte und keine Lizenz. Es gibt keinen Endpoint, also gibt es keine Anfrage zu stellen und keine Antwort zu bewerten.

Das eine Artefakt, das ein Entwickler in Händen halten kann, ist sesame/csm-1b auf Hugging Face: Apache-2.0, nur Englisch, rund 1,1 Milliarden Parameter, ein Backbone aus der Llama-Familie, das ein erstes Audio-Codebook vorhersagt und für den Rest einen kleineren Depth-Decoder nutzt, dekodiert über Kyutais Mimi-Codec bei 24 kHz. Es wurde im März 2025 veröffentlicht und im letzten Monat etwa 130.000-mal heruntergeladen, mit rund 2.500 Likes. Die Model Card ist offen damit, dass es sich um ein Basis-Generierungsmodell handelt – es kann vielfältige Stimmen erzeugen, ist aber nicht auf eine bestimmte Stimme abgestimmt, und die interaktive Demo ist ein Derivat und nicht der Checkpoint selbst.

Also lautet die faire Aussage: An Sesames Architektur aus dem Jahr 2025 kann man festhalten. An der Stimme, die das Unternehmen 2026 berühmt gemacht hat, kann man nicht festhalten.

A screenshot of the sesame/csm-1b model card on Hugging Face, showing the repository header with its Like and Follow counts, a tag row including text-to-speech and English, a licence line reading Apache-2.0, and card text dating the 1B CSM release to 13 March 2025 and describing a Llama backbone with a smaller audio decoder that produces Mimi audio codes.

Zwei verschiedene Tätigkeiten, die dasselbe Wort tragen

Lässt man das Wort „audio“ aus beiden Beschreibungen weg, wird der Unterschied offensichtlich. Ming-3.0-audio-tiny ist ein Zuhör-Modell, das auch sprechen kann. Seine Evaluation wird vom Sprachverständnis dominiert: MMAU 75,90, MMAR 67,70, MMSU 73,06, BigBenchAudio 99,20, chinesische ASR im Durchschnitt 3,79 Zeichenfehler, Dialekt im Durchschnitt 10,29. Das sind die Zahlen, die sein Anbieter veröffentlichen wollte, und sie drehen sich alle ums Verstehen. Sesame Preview ist ein sprechendes Produkt, das auch zuhört, und sein Ruf gründet auf Turn-Taking – Unterbrechung, Backchannel, dem Timing, das ein Gespräch wie ein Gespräch wirken lässt.

Das sind nicht dieselbe Fähigkeit, und sie stehen nicht in einem Zielkonflikt zueinander. Ein Modell kann hervorragend darin sein, „was der dritte Sprecher über die Rechnung gesagt hat“, und mittelmäßig darin, wie ein Mensch zu klingen, und das Umgekehrte ist ebenso möglich. Nichts in den Unterlagen des einen oder des anderen Anbieters ermöglicht es, sie auf einer gemeinsamen Achse zu vergleichen, weil sie nie dieselbe Achse gemessen haben.

Am härtesten zu spüren ist die Asymmetrie beim billigen Experiment. Mit Ming-3.0-audio-tiny können Sie denselben Satz fünfzig Mal synthetisieren, den Referenzclip variieren und zuhören – ein Nachmittag Arbeit, keine Erlaubnis nötig. Bei Sesame Preview besteht das entsprechende Experiment darin, die App zu öffnen und sich eine Meinung zu bilden, weil es kein zweites Sample gibt, das man heranziehen könnte.

Die einzige Sesame-Publikation, die es wert ist, ausgeliehen zu werden

Im August 2026 veröffentlichte Sesame TurnBench, einen offenen Benchmark für den Sprecherwechsel im gesprochenen Dialog: etwa 30 Stunden dreifach annotierter dyadischer Sprache, ein aus der Konversationsanalyse übernommenes Bewertungsprotokoll, eine öffentliche Rangliste und Ergebnisse für 14 Systeme, entwickelt mit Carnegie Mellon, Mundo AI und Oto. Das ist das Nützlichste am gesamten Vergleich, und es ist gerade deshalb nützlich, weil es die Qualität misst, die sowohl Word-Error- als auch Preference-Elo-Ranglisten übersehen.

Verwenden Sie es als Instrument statt als Anzeigetafel. Sesames eigene App ist nicht darauf zu finden, und Ming-3.0-audio-tiny ganz sicher auch nicht. Aber wenn Sie das Tiny-Modell für irgendetwas Konversationelles in Betracht ziehen – und sein Talker plus sein Fenster von 131.072 Tokens machen das zu einer vernünftigen Überlegung –, dann sind Unterbrechungsbehandlung und Backchannel-Timing das, was Sie bewerten sollten, und TurnBench gibt Ihnen ein Protokoll dafür, statt sich auf ein Bauchgefühl zu verlassen.

A screenshot of Sesame's research page on crossing the uncanny valley of voice, dated 27 February 2025, showing a 'Try preview now' button and the essay's opening line about how we know when someone truly understands us.

Die Konsequenz ist für beide Anbieter unangenehm. Ein Modell kann einen Sprachgenerator und einen 128K-Kontext mitbringen und trotzdem schlecht in dem sein, wofür Sesame bekannt ist, und keiner der Datensätze in diesem Vergleich würde dir das verraten.

Kosten – sobald man aufhört, Tarifkarten zu vergleichen

Sesame Preview hat keinen Preis, weil es kein Produkt gibt, das zu einem Preis verkauft werden könnte: Die App ist kostenlos, das Unternehmen sagt, es schalte keine Werbung und verkaufe keine Daten, und es gibt keine veröffentlichte Preisstufe. Ming-3.0-audio-tiny hat ebenfalls keine Preisliste, aber es hat etwas Besseres – eine arithmetische Untergrenze. Text und ASR laufen auf einer GPU. Die Sprachausgabe läuft auf zwei GPUs, weil der Talker und sein VAE ein zweites Gewichtsset mit eigenem Gerät sind. Wenn Sie immer nur die hörende Hälfte brauchen, ist die zweite Karte Geld, das Sie nicht ausgeben, und anders als ein Abonnement skaliert sie nicht mit der Anzahl der Sätze, die Sie erzeugen.

Das ist der einzige Punkt, an dem diese beiden wirklich vergleichbar sind, und es ist ein Vergleich der Formen statt der Zahlen: eine feste Hardware-Rechnung, die Sie vorhersagen können, gegen ein kostenloses Produkt, dessen Bedingungen Sie nicht prüfen und dessen Kapazität Sie nicht kaufen können.

A generated two-column comparison scoreboard for Ming-3.0-audio-tiny and Sesame Preview across six dimensions: what you can run, speech quality score, voices, licence, cost shape, and turn-taking evidence, with a footer noting that neither vendor ships a comparable speech score.

OrcaRouter steht außerhalb von beidem. Wir stellen Ming-3.0-audio-tiny nicht bereit – es ist ein Checkpoint, den Sie selbst betreiben, kein Endpunkt, den wir hosten – und es gibt von vornherein kein Sesame-Modell, das weitergeleitet werden könnte. Was ein Router tatsächlich erreicht, ist die Text-Hälfte einer Sprachpipeline: das Skript, die Übersetzung, die Zusammenfassung, der Klassifikator, der entscheidet, welche Aufnahme einen Menschen braucht. Ein Schlüssel für mehr als 200 Modelle zum Listenpreis des Anbieters ohne Aufschlag ist ein kürzerer Vertrag als drei, und automatisches Failover sorgt dafür, dass ein langer Synthese-Batch nicht abbricht, nur weil ein Anbieter einen schlechten Nachmittag hatte. Nichts davon macht eines der beiden Modelle besser darin, eine Stimme zu sein.

Was würde die Antwort ändern?

Drei Ereignisse, jedes überprüfbar. Erstens würde inclusionAI mit der Veröffentlichung einer Text-to-Speech-Bewertung für Ming-3.0-audio-tiny – Natürlichkeit, Sprecherähnlichkeit zur Referenzaufnahme, Fehlerrate bei synthetisierter Sprache – den Talker von einem ungemessenen Feature zu einem Kandidaten machen. Zweitens würde Sesame mit der Veröffentlichung des Checkpoints oder einer API für die Produktionsstimme die Reputation der App überprüfbar machen, und der Vergleich wäre endlich einer zwischen zwei lauffähigen Dingen. Drittens würde eine unabhängige Instanz, die eines der beiden Modelle auf TurnBench bewertet, die eine Qualität klären, auf die beide Anbieter anspielen und die keiner von beiden veröffentlicht.

Bis eines davon erscheint, ist die treffende Beschreibung wenig glamourös. Ming-3.0-audio-tiny ist ein 17,74 GB großes Hörmodell mit einem optionalen 3-GB-Sprachmodul, MIT-Gewichten, einer korrigierten Config, einer Model Card, die vier Tage jünger ist als die Config, die sie beschreibt, und keiner veröffentlichten Zahl für die Hälfte, die spricht. Sesame Preview ist eine Stimme, die man hören, bewundern und nicht bekommen kann. Die Wahl zwischen ihnen ist keine Wahl zwischen zwei Modellen. Sie ist eine Wahl zwischen dem Selbstmessen von etwas und dem Nicht-messen-Dürfen.

Wenn Sie sich diese Woche entscheiden müssen

Für die Transkription, das Verstehen langer Aufnahmen oder alles, bei dem die Ausgabe Text ist, den Sie parsen werden, ist Ming-3.0-audio-tiny der einzige der beiden, der überhaupt als Kandidat infrage kommt – planen Sie eine GPU ein, verwenden Sie den validierten ASR-Prompt mit seinem Tab-Trennzeichen und setzen Sie den Kontext auf die Länge, die Sie tatsächlich benötigen. Für ein Consumer-Spracherlebnis, das Sie prototypen, ist Sesame der Maßstab, an dem Sie Ihre Arbeit messen sollten, nicht eine Abhängigkeit, auf der Sie aufbauen sollten, denn es gibt keine Abhängigkeit zu installieren.

Und was die Sprachausgabe des winzigen Modells angeht: Probieren Sie sie aus, bevor Sie damit planen. Zwei GPUs, ein Referenzclip, ein Transkript, das genau zu diesem Clip passt, und eine Stunde Zuhören werden Ihnen mehr sagen als der gesamte Benchmark-Ordner – denn der Benchmark-Ordner enthält nicht eine einzige Zahl dazu.