Ming-3.0-audio-tiny läuft jetzt auf einer GPU — und seine Konfiguration nennt endlich 128K

Der Checkpoint hinter Ming-3.0-audio-tinyist seit dem 3. September 2026 herunterladbar – zwei Safetensors-Shards, 17,7 GB, neun Minuten nach der Erstellung des Repositorys selbst hochgeladen. Was bis diese Woche nicht existierte, war fast alles, was einem sagt, wie man es ausführt. Zwischen dem 16. und 19. Oktober 2026 ersetzte inclusionAI die im September ausgelieferte Konfiguration, verwandelte eine Video-Sprache-Audio-Variante mit einem Fenster von 8.192 Token in eine reine Audio-Variante, die 131.072 beansprucht, fügte den Talker hinzu, der Sprache erzeugt, fügte zwei Referenz-Sprachclips mit ihren Transkripten hinzu und schrieb – nach drei Tagen, in denen das Repository überhaupt keine Model Card hatte – eine. Der Code, auf den diese Dokumente verweisen, kam am 15. Oktober auf GitHub an, in einem Repository, das nach dem größeren Geschwister benannt ist, Ming-3.0-audio-flash, und er enthält drei Deployment-Profile für das Tiny-Modell, die das Tiny-Modell nie hatte. Niemand hat irgendetwas davon angekündigt. Die Frage, die es sich zu beantworten lohnt, ist also nicht, was neu ist – denn die Gewichte sind sieben Wochen alt und byte-identisch mit dem Tag, an dem sie landeten. Sie lautet: Was kann ein Leser jetzt ausführen, was er letzten Montag nicht ausführen konnte, und was kostet das an Genauigkeit, wenn er es tut. Die dokumentierten KI-Ausfälle und Agent-Vorfälle hinter Releases wie diesem sind gesammelt im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seine Konfidenzstufe und sein Flag für Bestrittenheit trägt.

Was wurde geändert, datiert auf den Commit

Das Commit-Log von Hugging Face ist kurz genug, um es vollständig zu lesen, und seine Form ist ungewöhnlich: drei Commits im September, drei Wochen lang nichts, dann sechs in vier Tagen.

• 3. September, 11:45 und 11:49 UTC — das Repository wird erstellt, dann landen die beiden Shards unter „Add files using upload-large-folder tool“. Die mitgelieferte README trägt den Titel „Ming Audio V3“, gibt Apache 2.0 an, versieht das Repo mit dem Tag automatic-speech-recognition und besagt, dass das Repository „derzeit den ASR-Pfad dokumentiert“.

• 17. September — der examples/-Ordner wird gelöscht. Danach besteht das Repository nur aus Gewichten, benutzerdefiniertem Modellierungscode und einer kurzen Karte, und sonst nichts.

• 16. Oktober, 08:14 bis 08:20 UTC — der folgenreiche. config.json wird neu geschrieben: max_position_embeddings im Text-Backbone steigt von 8.192 auf 131.072, transformers_version von 4.56.2 auf 5.14.1 und audio_config.model_type von bailing_moe_v3_vl_audio zu bailing_moe_v3_audio — der Video-Sprache-Audio-Typ, der das Modell nicht mehr beschreibt. Im selben Push auto_map erhält AutoModel- und AutoProcessor-Einträge, die es zuvor nicht hatte, eine processor_config.json erscheint, und der talker/-Baum kommt hinzu: ein 1,4 GB großes Sprachmodell, ein 1,6 GB großes VAE, ein CAM++-Sprecher-Encoder, Finite-State-Transducer zur Textnormalisierung für Englisch und Chinesisch. Das alte README fliegt im selben Push hinaus — in den nächsten drei Tagen hat das Repository überhaupt keine Modellkarte.

• 17. Oktober, 11:44 UTC – „Stimm-Presets hinzufügen.“ Zwei Referenz-WAVs, US_James.wav und 灵楷.wav, sowie eine JSON-Datei, die ihre exakten Transkripte enthält.

• 19. Oktober, 10:36, 11:44 und 11:49 UTC — drei Cleanup- und Upload-Commits.

• 19. Oktober, 13:19 UTC — „Ming-3.0-audio-tiny-Modellkarte hinzufügen.“ 8.514 Bytes, und das erste Dokument in der Geschichte des Repositorys, das ein Sprach- und Audiomodell statt eines ASR-Pfads beschreibt.

Die GitHub-Seite hat ihre eigene Zeitachse, und sie beginnt später. inclusionAI/Ming-3.0-audio-flash wurde am 15. Oktober um 03:50 UTC erstellt – sechs Wochen, nachdem die Gewichte existierten – und wurde am 19. Oktober um 14:53 UTC immer noch gepusht. Es hat acht Stars, eine MIT-Lizenzdatei und ein deploy/ Verzeichnis mit sechs YAML-Profilen, von denen drei namentlich für den Tiny-Checkpoint vorgesehen sind. Es gibt kein inclusionAI/Ming-3.0-audio-tiny-Repository; diese URL liefert 404, und der Code des Tiny-Modells liegt im Flash-Repository neben dem seines Geschwisters.

Die eigentliche Neuigkeit ist das Rewrite der Konfiguration.

Ein Kontextlängenfeld, das um das 16-Fache ansteigt, ist die Art von Änderung, die entweder kosmetisch oder strukturell ist, und in diesem Fall sagt der Rest des Diffs: strukturell. Im September lieferte das Repository modeling_bailing_moe_v3_audio.py und processing_bailing_moe_v3_audio.py im Verzeichnisbaum aus, doch seine Konfiguration beschrieb einen Audio-Tower vom Typ bailing_moe_v3_vl_audio – ein Überbleibsel aus einem Video-Sprache-Build – und seine Modellkarte wies dich an, das Modell mit trust_remote_code=False zu instanziieren, was nicht das ist, was benutzerdefinierte Modellierungsdateien wollen. Die Oktober-Konfiguration ist die erste, bei der der deklarierte Typ, die deklarierte Laufzeit und der Codepfad übereinstimmen.

• Backbone — 24 Schichten, Hidden Size 1.536, 16 Attention-Heads, 128 geroutete Experten mit 8 aktiven pro Token und einem gemeinsamen Experten, Intermediate Size der Experten 512, erste dichte Schicht bei Index 1, Routing-Skalierungsfaktor 2,5, Vokabular 157.184.

• Attention – MLA, mit einem 512-dimensionalen KV-Latent und einem 256-dimensionalen Query-Latent, rope_theta 6.000.000, partial_rotary_factor 0,5. Die Low-Rank-KV-Form ist der Grund, warum ein Fenster von 131.072 Token auf einer einzigen Karte überhaupt erst vertretbar ist: Der Cache speichert das Latent, nicht die Keys und Values pro Head.

• Audio-Turm — 32 Schichten, Breite 1.280, 20 Köpfe, ein Kontext von 3.000 Frames und 128 Mel-Bins, mit einem Downsampler mit Kernel [3,3,3] und Stride [2,2,2]. Audio-Token-ID 157.168.

• Größe — 9,3B Gesamtparameter, 2,7B pro Token aktiviert, durchgängig bfloat16, deklariert für Transformers 5.14.1.

Eingaben und Ausgaben – Audio plus eine Textanweisung als Eingabe; Text als Ausgabe oder Text plus synthetisierte Sprache über den optionalen Talker. Chinesisch und Englisch, einschließlich Akzenten und Dialekten, gemäß der Karte.

Was die Konfigurationsänderung nicht bewirkt, ist das Hinzufügen von Gewichten. Die vier Safetensors-Dateien im Repository – zwei Thinker-Shards, der Talker, das VAE – haben in jeder von mir geprüften Revision dieselben Größen, bis zurück zum ursprünglichen Upload. Dies war eine Dokumentations- und Packaging-Änderung an einem unveränderten Checkpoint, weshalb der Sprung von 8.192 auf 131.072 genau deshalb vertrauenswürdig ist: Niemand hat irgendetwas neu trainiert, sodass die Behauptung überprüft werden kann, indem man das Modell lädt und einen langen Kontext anfordert, statt sie für bare Münze zu nehmen.

Ein Stück Papierkram ist noch immer inkonsistent. Das oberste Hugging-Face-Pipeline-Tag des Repositorys lautet text-to-speech, während die Zusammenfassung der Karte selbst es als Audio-Sprachmodell bezeichnet, das Anweisungen entgegennimmt und Text oder Sprache zurückgibt. Das Tag ist ein Überbleibsel davon, dass der Talker die zuletzt bearbeitete Fähigkeit war, und es ist die Art von Sache, die niemandem außer der Person wichtig ist, die den Hub nach Aufgabe filtert.

Eine GPU für Text, zwei für Sprache.

Hier macht das winzige Modell seinem Namen alle Ehre, und das ist nur sichtbar, weil die Deployment-Profile jetzt öffentlich sind. Das Textprofil des Flash-Modells läuft auf devices: "0,1,2,3,4,5,6,7" mit tensor_parallel_size: 8 — acht 80-GB-Karten, was 256 GB bf16-Gewichte erzwingen, bevor irgendein Cache zugewiesen wird. Das winzige Modell hat drei eigene Profile, und zwei davon verlangen eine Karte.

• Text und ASR, vLLM-Omni — eine einzelne Stufe auf Geräten: „0“, Tensor-Parallelgröße 1, max_model_len 131.072, max_num_batched_tokens 32.768, gpu_memory_utilization 0,92, Sampling bei Temperatur 0,6 und bis zu 65.536 Ausgabetokens.

• Vollständiges Audio mit Sprachausgabe — zwei Stufen. Der Thinker auf Geräten: "0" bei 0,78 der Karte, und der Talker auf Geräten: "1" bei 0,18, wobei die Talker-Stufe auf ein Ausgabe-Token begrenzt ist und die Temperatur 0,0 beträgt, da sie keinen Text generiert.

• ASR-Reproduktion – eine Pipeline, die ausschließlich den Thinker verwendet, mit einem nachgerüsteten 10-Gramm-No-Repeat-Logit-Prozessor, Audio auf einen Clip pro Prompt beschränkt, max_model_len 131.072, Temperatur 0.0, 32.768 Ausgabe-Tokens. Das ist die Konfiguration, unter der die Erkennungswerte des Anbieters ermittelt wurden, und es lohnt sich, sie exakt zu übernehmen, wenn Sie einen Vergleich beabsichtigen.

• SGLang — eine GPU, ein sichtbares Gerät, nur Textausgabe. Die Karte stellt ausdrücklich klar, dass Sprachausgabe auf diesem Weg nicht verfügbar ist.

Diese Profile sind Dateien, kein Fließtext, und sie sind im deploy/-Verzeichnis des flash-Repositories sichtbar — sechs YAML-Profile, drei davon nach dem winzigen Checkpoint benannt.

Lies die Speicherzahlen ehrlich. 0,92 ist ein Anteil an der Karte, auf die du die Stage ausrichtest, keine Anforderung: Die Shards des Thinkers summieren sich auf 17,74 GB, sodass die Gewichte in eine 24-GB-Karte passen und ungefähr 6 GB für Cache und Aktivierungen übrig bleiben. Die 0,92-Reservierung ist für ein 131.072-Token-Fenster plus einen 32.768-Token-Batch auf einmal bemessen, und sie sinkt, wenn du max_model_len verringerst. Was du auf einer Karte nicht tun kannst, ist Sprache zu erzeugen, denn der Talker und sein VAE sind ein zweiter Prozess mit einem zweiten Gewichtssatz – 3 GB, bevor der CAM++-Encoder und die Transducer dazukommen – und das Referenzprofil weist ihnen ein eigenes Gerät zu. Text auf einer GPU, Unterhaltung laut auf zwei: Das ist die ehrliche Rechnung, und es ist eine andere Budgetlinie als die Acht des Schwestermodells.

Was ist eigentlich im Download enthalten?

Das Repository umfasst insgesamt 20,78 GB. Der Thinker ist 17,74 GB groß, aufgeteilt in zwei Shards von 9,55 GB und 8,19 GB; der Talker kommt mit 1,40 GB hinzu, sein VAE mit 1,56 GB, der Speaker-Encoder mit 28 MB, und die Tokenizer- und Normalisierer-Dateien bilden den Rest. Es gibt keine quantisierte Variante, keinen kleineren Checkpoint und keine vom Hersteller veröffentlichte GGUF-Konvertierung, daher ist der bf16-Wert die Untergrenze, es sei denn, Sie quantisieren selbst.

• Laden — AutoProcessor.from_pretrained(..., trust_remote_code=True, use_fast=False) und AutoModelForCausalLM.from_pretrained(..., dtype=torch.bfloat16, device_map="auto", trust_remote_code=True). Das eigene Snippet der Modellkarte wandelt dann audio_feats von Hand in den Modell-Datentyp um, was ein kleiner Hinweis darauf ist, dass der Prozessor-Pfad nicht die Priorität war.

• Der ASR-Vertrag – der validierte Prompt fordert das Modell auf, die gesprochene Sprache zu benennen und zwischen Sprachbezeichnung und Transkription ein Tabulatorzeichen zu setzen. Wenn Sie eine Evaluierungs-Harness bauen, ist dieses Tabulatorzeichen Ihr Parser. Eine allgemeine Anweisung wie „Transkribiere dies“ entspricht nicht der Konfiguration, die inclusionAI gemessen hat.

• Stimmen — Der vLLM-Omni-Standard ist eine integrierte Stimme namens 灵小柔, und das Modellverzeichnis enthält zwei Referenz-Presets, 灵楷 und US_James, mit Transkripten. Beim Voice Cloning benötigt man eine Referenz-WAV-Datei plus deren exaktes Transkript; die Karte warnt, dass man eine Auswahl einer integrierten Stimme nicht mit einem Referenzclip in einer Anfrage kombinieren kann.

• Lizenz — MIT in den Metadaten der Karte und in der LICENSE-Datei des GitHub-Repositories, die auf 2025 datiert ist. Beachten Sie, was fehlt: Das Hugging-Face-Repository enthält keine eigene LICENSE-Datei. Der einzige Lizenztext, der sich physisch darin befindet, gehört zu einem gebündelten Sprachidentifikationsmodell unter talker/data/. Die MIT-Angabe ist echt, aber sie liegt einen Klick entfernt, in einem Repository, das nach dem anderen Modell benannt ist.

Traction — drei Downloads und fünf Likes, Stand diese Woche. Das Flash-Modell hat 22 Downloads und acht Likes. Keine der beiden Zahlen ist ein Beleg für Qualität; beide sind ein Beleg dafür, dass ein September-Upload ohne Karte und ohne Ankündigung keine Reichweite erzielt hat.

Das Benchmark-Bild und die fehlende Spalte

Drei PNGs in assets/ enthalten die Auswertung, und alle drei stammen aus inclusionAIs eigenem Lauf. Der Anbieter kennzeichnet selbst evaluierte Einträge mit einem Sternchen und merkt an, dass Vergleichsmodelle unter seinen eigenen Prompts und Decoding-Einstellungen reproduziert wurden, sodass ihre Zahlen von den offiziellen Berichten abweichen können. Eine unabhängige Bewertung dieses Checkpoints wurde, soweit ich finden konnte, nicht veröffentlicht – kein Arena-Eintrag, keine Drittanbieter-Bewertung –, was bedeutet, dass jede unten aufgeführte Zahl von einem Anbieter stammt, der sein eigenes Modell beschreibt. Das ist kein Grund, sie zu ignorieren; es ist ein Grund, sie als Design-Briefing statt als Urteil zu lesen.

Der aussagekräftige Vergleich mit dem eigenen Geschwistermodell ist winzig, weil beide dieselbe Testumgebung durchlaufen haben. Bei der Erkennung büßt das kleinere Modell ein wenig ein, beim Reasoning über lange Audios büßt es sehr viel ein.

• Chinesischer ASR-Durchschnitt — Zeichenfehlerrate 3,79 für Ming-3.0-audio-tiny gegenüber 3,45 für Ming-3.0-audio-flash. Niedriger ist besser, daher liegt tiny um 0,34 Punkte zurück.

• Englisch-ASR-Durchschnitt — 4,36 gegenüber 3,69. Dialekt-Durchschnitt — 10,29 gegenüber 9,40.

• BigBenchAudio — 99,20 gegen 99,40. Effektiv ein Gleichstand, und die eine Zeile, in der sich der Größenunterschied nicht zeigt.

• MMAU — 75,90 gegen 82,00. MMAR — 67,70 gegen 74,40. MMSU — 73,06 gegen 78,82. MMAU-Pro — 56,42 gegen 66,41.

• Genauigkeit bei langen Audiodateien — 56,39 gegenüber 66,30. LongAudioSpan — 35,45 gegenüber 41,12. Long-Audio-Chain-Score — 10,56 gegenüber 12,31.

• Sprachinteraktion — URO-Bench-Pro 54,15 gegenüber 81,92, ein Einbruch um 27,8 Punkte. VoiceBench 74,29 gegenüber 86,74. SpeechFCEval 69,80 gegenüber 82,60.

• Tool-Aufruf — BFCL-v3 Audio 79,80 gegenüber 81,40. Musik — MuchoMusic 58,07 gegenüber 65,65.

Die Dialektzeilen sind die interessante Ausnahme, denn tiny verliert nicht einheitlich. Es schlägt sein größeres Geschwistermodell bei Anhui (5,42 gegen 5,76), Northeastern Mandarin (4,21 gegen 4,28), Jiangsu (11,44 gegen 12,15), Shaanxi (5,81 gegen 6,00), Shandong (10,17 gegen 10,69) und Yunnan (11,28 gegen 11,53) und verliert deutlich bei Hakka (24,08 gegen 16,51), Hokkien (14,15 gegen 12,84) und Shanghainese (12,49 gegen 11,15). Dass ein 2,7B-aktives Modell bei sechs von fünfzehn Dialektzeilen gegen ein 6,5B-aktives Modell vorne liegt, ist das Erfreulichste an der gesamten Auswertung, und es ist in der Mitte einer Tabelle vergraben, wo der Durchschnitt es verdeckt.

Zwei Lücken sind erwähnenswert, weil sie überprüfbar sind und die Model Card nicht auf sie hinweist. Erstens weisen fünf Zeilen in der Erkennungs-Abbildung überhaupt keinen Tiny-Wert auf – die Zeilen für Sprecherdiarisierung und verkettete Minimalpermutation für AISHELL-4, AliMeeting und AMI sind mit einem Strich abgedruckt. Was auch immer das Tiny-Modell bei „wer wann sprach“ leistet, ist unveröffentlicht. Zweitens hat die Text-Intelligence-Abbildung vier Spalten, und keine davon ist das Tiny-Modell: Ihre Spalten sind Ming-3.0-audio-flash, Qwen3.8-Omni Flash, Qwen3.5-Omni Plus und Qwen3.5-Omni Flash. Der Bewertungsabschnitt der Model Card besagt, dass die unten stehenden Zahlen Ergebnisse für beide Ming-Varianten enthalten; das gilt für die beiden Audio-Abbildungen und nicht für die Text-Abbildung. Wenn Sie wissen müssen, ob das Tiny-Backbone ein Reasoning-Gespräch führen kann, hat inclusionAI Ihnen nichts dazu gesagt.

Was die Woche dir tatsächlich gebracht hat

Vor dem 16. Oktober hatte, wer diesen Checkpoint testen wollte, einen 17,7-GB-Download, eine Konfiguration, die ein Video-Sprachmodell mit einem 8K-Fenster beschrieb, und eine Modellkarte, die dazu anwies, benutzerdefinierten Code zu laden, ohne benutzerdefinierten Code zu aktivieren. Nach dem 19. Oktober hat man eine Konfiguration, die zu ihren eigenen Modellierungsdateien passt, eine 128K-Behauptung, die sich an unveränderten Gewichten testen lässt, drei benannte Deployment-Profile, darunter eines für eine einzelne GPU, ein Sprachpaket mit Transkripten und eine Modellkarte, die sagt, wofür das Modell gedacht ist. Nichts davon ist ein neues Modell. All das ist der Unterschied zwischen einem Checkpoint auf einer Festplatte und einem Checkpoint, den jemand an einem Nachmittag evaluieren kann.

Die Kosten sind der Teil, den die Größenauswahl verschweigt. In den eigenen Tabellen des Anbieters bringt der Wechsel vom 6,5B-Aktivmodell zum 2,7B-Aktivmodell ein Achtel der GPU-Anzahl und kostet 27,8 Punkte bei URO-Bench-Pro, zehn bei VoiceBench und rund ein Fünftel des Long-Audio-Chain-Scores. Das ist ein vertretbarer Tausch für einen Transkriptionsdienst, ein schlechter für alles, was über eine Stunde Audio hinweg Schlüsse ziehen muss, und der Anbieter hat beide Spalten nebeneinander abgedruckt, damit Sie entscheiden können, welche Variante Sie bauen.

Wo ein Router seinen Platz verdient – und wo nicht

OrcaRouter bietet Ming-3.0-audio-tiny nicht an. Es ist nicht in unserem Katalog, wir können Ihnen dafür keinen Endpunkt bereitstellen, und nichts hier sollte als Angebot dafür verstanden werden. Wofür ein Router in einer Pipeline, die um einen Checkpoint wie diesen herum aufgebaut ist, gut ist, ist die Hälfte, die nicht der Checkpoint ist. Sprachsysteme sind überwiegend Textarbeit: der Prompt, der entscheidet, was vom Audio abgefragt wird, der Parser, der ein tabulatorgetrenntes Sprachlabel in strukturierte Ausgabe umwandelt, die aus dem Transkript geschriebene Zusammenfassung, die Klassifikation, die entscheidet, ob eine Audiodatei an das 2,7B-Modell oder das 126B-Modell geht. Das sind gewöhnliche Textaufrufe, und eine API für mehr als 200 Modelle ohne Aufschlag — Listenpreis des Anbieters durchgereicht, sodass eine Preissenkung eines Anbieters am selben Tag bei uns gilt — ist einfacher zu verdrahten als ein Stapel von Anbieterverträgen. Automatisches Failover ist das, was Ihnen ermöglicht, ein neu dokumentiertes Modell hinter einen Teil einer Pipeline zu setzen, ohne den gesamten Pfad darauf zu verwetten.

Die Grenze sollte man klar benennen. Ein 17,7-GB-Checkpoint, den man auf der eigenen GPU ausführt, ist Infrastruktur, kein API-Aufruf. Ein Router leitet Aufrufe weiter. Er macht aus einem Audio-Modell mit offenen Gewichten kein gehostetes Modell und aus drei Downloads keinen Produktionsnachweis.

Was zu sehen

Drei Dinge würden dieses Bild verändern, und alle drei sind überprüfbar. Erstens eine unabhängige Bewertung: Sobald eine Arena oder ein Drittanbieter-Evaluator diesen Checkpoint listet, hört die 27,8-Punkte-Lücke bei der gesprochenen Interaktion auf, eine Selbstauskunft des Anbieters zu sein, und wird zu einem Datenpunkt; bis dahin sei angemerkt, dass derselbe Anbieter auch sechs Dialektzeilen veröffentlicht hat, in denen das kleinere Modell gewinnt. Zweitens eine LICENSE-Datei im Hugging Face-Repository, die MIT von einem Link in einer Karte zu einer Tatsache in dem Artefakt machen würde, das ein Beschaffungsprozess tatsächlich liest. Drittens ein klitzekleines, konkretes GitHub-Repository: Heute liegen die Deployment-Profile, die die Single-GPU-Behauptung real machen, in einem Repository, das nach dem größeren Modell benannt ist, was so lange in Ordnung ist, bis jemand es umbenennt.

Bis eines davon eintrifft, ist die zutreffende Beschreibung wenig glamourös. Dieselben Gewichte wie vom 3. September, rund 18 GB Thinker, ein Fenster von 131.072 Token, das in einer Konfiguration statt in einem Checkpoint kam, drei Serving-Profile, die für Text auf eine Karte und für Sprache auf zwei Karten passen, MIT auf dem Papier, fünf Referenzzeilen, die es nicht veröffentlichen wollte, und eine Modellkarte, die drei Tage jünger ist als die Konfiguration, die sie beschreibt. Die Woche hat das Modell nicht besser gemacht. Sie hat es lesbar gemacht, und für einen Open-Weights-Checkpoint, den niemand angekündigt hat, ist Lesbarkeit das ganze Produkt.