Ming-3.0-audio-tiny draait nu op één GPU — en de config geeft eindelijk 128K aan

De checkpoint achter Ming-3.0-audio-tiny is sinds 3 september 2026 downloadbaar — twee safetensors-shards, 17,7 GB, negen minuten na het aanmaken van de repository zelf gepusht. Wat tot deze week niet bestond, was vrijwel alles wat aangeeft hoe je het moet draaien. Tussen 16 en 19 oktober 2026 verving inclusionAI de config die in september werd meegeleverd, waardoor een video-taal-audiovariant met een venster van 8.192 tokens veranderde in een alleen-audio-variant die 131.072 claimt; voegde de Talker toe die spraak produceert; voegde twee referentiestemclips met hun transcripties toe; en — na drie dagen waarin de repository helemaal geen modelcard had — schreef er een. De code waarnaar die documenten verwijzen, arriveerde op 15 oktober op GitHub, in een repository die vernoemd is naar het grotere broertje, Ming-3.0-audio-flash, en die bevat drie deploymentprofielen voor het tiny-model die het tiny-model nooit heeft gehad. Niemand heeft dit aangekondigd. De vraag die beantwoording verdient, is dus niet wat er nieuw is, want de gewichten zijn zeven weken oud en byte-identiek aan de dag dat ze werden geplaatst. Het is wat een lezer nu kan draaien en afgelopen maandag nog niet kon, en wat dat aan nauwkeurigheid kost wanneer die dat doet. De gedocumenteerde AI-fouten en agentincidenten achter releases zoals deze worden verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwistmarkering heeft.

Wat is er veranderd, gedateerd op de commit

De commitlog van Hugging Face is kort genoeg om in zijn geheel te lezen, en het patroon is ongewoon: drie commits in september, drie weken niets, en dan zes in vier dagen.

• 3 september, 11:45 en 11:49 UTC — de repository wordt aangemaakt, waarna de twee shards binnenkomen onder "Add files using upload-large-folder tool". De README die ermee meekomt heet "Ming Audio V3", vermeldt Apache 2.0 en voorziet de repo van de tag automatic-speech-recognition, en stelt dat de repository "momenteel het ASR-pad documenteert."

• 17 september — de examples/ map wordt verwijderd. Daarna bestaat de repository uit weights, aangepaste modelleercode en een korte kaart, en niets anders.

• 16 oktober, 08:14–08:20 UTC — de ingrijpende. config.json wordt herschreven: max_position_embeddings op de tekst-backbone gaat van 8.192 naar 131.072, transformers_version van 4.56.2 naar 5.14.1, en audio_config.model_type van bailing_moe_v3_vl_audio naar bailing_moe_v3_audio — het video-taal-audio-type dat het model niet meer beschrijft. In dezelfde push krijgt auto_map AutoModel en AutoProcessor-vermeldingen die het niet had, verschijnt een processor_config.json, en de talker/-boom arriveert: een spraakmodel van 1,4 GB, een VAE van 1,6 GB, een CAM++-sprekerencoder, finite-state transducers voor tekstnormalisatie voor Engels en Chinees. De oude README gaat er in dezelfde push uit — de komende drie dagen heeft de repository helemaal geen modelkaart.

• 17 oktober, 11:44 UTC — "Stempresets toevoegen." Twee referentie-WAV's, US_James.wav en 灵楷.wav, plus een JSON-bestand met hun exacte transcripties.

• 19 oktober, 10:36, 11:44 en 11:49 UTC — drie opschonings- en uploadcommits.

• 19 oktober, 13:19 UTC — "Modelkaart voor Ming-3.0-audio-tiny toevoegen." 8.514 bytes, en het eerste document in de geschiedenis van de repository dat een spraak- en audiomodel beschrijft in plaats van een ASR-pad.

De GitHub-kant heeft zijn eigen tijdlijn, en die begint later. inclusionAI/Ming-3.0-audio-flash is aangemaakt op 15 oktober om 03:50 UTC — zes weken nadat de gewichten bestonden — en er werd op 19 oktober om 14:53 UTC nog steeds naar gepusht. Het heeft acht sterren, een MIT-licentiebestand en een map genaamd deploy/ met zes YAML-profielen, waarvan er drie expliciet voor de tiny-checkpoint bedoeld zijn. Er is geen repository met de naam inclusionAI/Ming-3.0-audio-tiny; die URL geeft 404, en de code van het tiny-model staat in de flash-repository naast die van het andere model.

De herschrijving van de config is het echte verhaal

Een contextlengteveld dat 16× groter wordt, is het soort wijziging dat ofwel cosmetisch ofwel structureel is, en in dit geval wijst de rest van de diff op structureel. In september leverde de repository modeling_bailing_moe_v3_audio.py en processing_bailing_moe_v3_audio.py in de tree, maar de config beschreef een audiotoren van het type bailing_moe_v3_vl_audio — een overblijfsel van een video-taal-build — en de modelkaart zei dat je het model moest instantiëren met trust_remote_code=False, wat niet is wat aangepaste modelleringsbestanden willen. De configuratie van oktober is de eerste waarin het gedeclareerde type, de gedeclareerde runtime en het codepad overeenkomen.

• Backbone — 24 lagen, verborgen grootte 1.536, 16 attention-heads, 128 gerouteerde experts, waarvan 8 actief per token, en één gedeelde expert, tussenliggende grootte van experts 512, eerste dense laag op index 1, gerouteerde schaalfactor 2,5, vocabulaire 157.184.

• Attention — MLA, met een 512-brede KV-latent en een 256-brede query-latent, rope_theta 6.000.000, partial_rotary_factor 0,5. De low-rank KV-vorm is waarom een venster van 131.072 tokens überhaupt verdedigbaar is op één kaart: de cache slaat de latent op, niet de keys en values per head.

• Audiotoren — 32 lagen, breedte 1.280, 20 heads, een context van 3.000 frames en 128 mel-bins, met een downsampler met kernel [3,3,3] en stride [2,2,2]. Audio-token-id 157.168.

• Grootte — 9,3 miljard totale parameters, 2,7 miljard geactiveerd per token, volledig bfloat16, gedeclareerd voor Transformers 5.14.1.

• Invoer en uitvoer — audio plus een tekstinstructie als invoer; tekst als uitvoer, of tekst plus gesynthetiseerde spraak via de optionele Talker. Chinees en Engels, inclusief accenten en dialecten, volgens de kaart.

Wat het herschrijven van de configuratie niet doet, is gewichten toevoegen. De vier safetensors-bestanden in de repository — twee Thinker-shards, de Talker, de VAE — hebben bij elke revisie die ik heb gecontroleerd dezelfde grootte, terug tot de oorspronkelijke upload. Dit was een wijziging in documentatie en verpakking voor een ongewijzigd checkpoint, en dat is precies waarom de sprong van 8.192 naar 131.072 betrouwbaar is: niemand heeft iets opnieuw getraind, dus de bewering kan worden getest door het model te laden en om een lange context te vragen in plaats van die op geloof aan te nemen.

Eén stuk documentatie is nog steeds inconsistent. De top-level Hugging Face-pipelinetag van de repository luidt text-to-speech, terwijl de samenvatting van de kaart zelf het een audio-languagemodel noemt dat instructies accepteert en tekst of spraak retourneert. De tag is een overblijfsel van het feit dat de Talker de capaciteit is die het laatst is aangepast, en het is iets dat voor niemand van belang is, behalve voor degene die de Hub op taak filtert.

Eén GPU voor tekst, twee voor spraak.

Dit is waar het tiny-model zijn naam eer aan doet, en het is alleen zichtbaar omdat de deploymentprofielen nu openbaar zijn. Het tekstprofiel van het flash-model draait op apparaten: "0,1,2,3,4,5,6,7" met tensor_parallel_size: 8 — acht kaarten van 80 GB, wat 256 GB aan bf16-gewichten afdwingt voordat er ook maar enige cache is toegewezen. Het tiny-model heeft zelf drie profielen, en twee daarvan vragen om één kaart.

• Tekst en ASR, vLLM-Omni — één enkele fase op apparaten: "0", tensor-parallelle grootte 1, max_model_len 131,072, max_num_batched_tokens 32,768, gpu_memory_utilization 0.92, sampling bij een temperatuur van 0.6 en maximaal 65,536 outputtokens.

• Volledige audio met spraakuitvoer — twee fasen. De Thinker op apparaten: "0" op 0,78 van de kaart, en de Talker op apparaten: "1" op 0,18, waarbij de Talker-fase is beperkt tot één uitvoertoken en temperatuur 0,0, omdat er geen tekst wordt gegenereerd.

• ASR-reproductie — een pipeline met alleen een thinker, met een eraan vastgeschroefde 10-gram no-repeat-logitprocessor, audio beperkt tot één clip per prompt, max_model_len 131.072, temperatuur 0,0, 32.768 outputtokens. Dat is de configuratie waaronder de herkenningscijfers van de leverancier zijn verkregen, en het is de moeite waard die exact over te nemen als je wilt vergelijken.

• SGLang — één GPU, één zichtbaar apparaat, alleen tekstuitvoer. De kaart vermeldt expliciet dat spraakuitvoer niet beschikbaar is via dit pad.

Die profielen zijn bestanden, geen proza, en ze zijn zichtbaar in de map deploy/ van de flash-repository — zes YAML-profielen, waarvan drie vernoemd naar de kleine checkpoint.

Kijk eerlijk naar de geheugencijfers. 0,92 is een deel van welke kaart je ook voor de stage kiest, geen vereiste: de shards van de Thinker zijn samen 17,74 GB, dus de gewichten passen in een kaart van 24 GB, met ongeveer 6 GB over voor cache en activaties. De reservering van 0,92 is berekend op een venster van 131.072 tokens plus een batch van 32.768 tokens tegelijk, en die daalt bij verlaging van max_model_len. Wat je niet op één kaart kunt doen, is spraak produceren, omdat de Talker en de bijbehorende VAE een tweede proces met een tweede set gewichten vormen — 3 GB vóór de CAM++-encoder en de transducers — en het referentieprofiel geeft ze een eigen apparaat. Tekst op één GPU, conversatie hardop op twee: dat is de eerlijke rekensom, en het is een andere budgetpost dan de acht van het zustermodel.

Wat zit er eigenlijk in de download?

De repository omvat in totaal 20,78 GB. De Thinker is 17,74 GB, verdeeld over twee shards van 9,55 GB en 8,19 GB; de Talker voegt 1,40 GB toe, de VAE 1,56 GB, de speakerencoder 28 MB, en de tokenizer- en normalisatiebestanden vormen de rest. Er is geen gequantiseerde variant, geen kleinere checkpoint en geen door de leverancier gepubliceerde GGUF-conversie, dus de bf16-waarde is de ondergrens, tenzij je het zelf quantiseert.

• Laden — AutoProcessor.from_pretrained(..., trust_remote_code=True, use_fast=False) en AutoModelForCausalLM.from_pretrained(..., dtype=torch.bfloat16, device_map="auto", trust_remote_code=True). Het eigen snippet van de kaart cast audio_feats vervolgens met de hand naar het dtype van het model, wat een kleine aanwijzing is dat het processorpad niet de prioriteit was.

• Het ASR-contract — de gevalideerde prompt vraagt het model de gesproken taal te benoemen en een tab tussen het taallabel en de transcriptie te zetten. Als je een evaluatieharnas bouwt, is die tab je parser. Een generieke "transcribeer dit"-instructie is niet de configuratie die inclusionAI heeft gemeten.

• Stemmen — de vLLM-Omni-standaard is een ingebouwde stem genaamd 灵小柔, en de modelmap bevat twee referentiepresets, 灵楷 en US_James, met transcripties. Voor het klonen van een stem heb je een referentie-WAV plus de exacte transcriptie daarvan nodig; de kaart waarschuwt dat je een selectie van een ingebouwde stem niet kunt combineren met een referentieclip in één verzoek.

• Licentie — MIT in de metadata van de kaart en in de LICENSE van de GitHub-repository, die gedateerd is op 2025. Let op wat ontbreekt: de Hugging Face-repository bevat geen LICENSE-bestand van zichzelf. De enige licentietekst die er fysiek in staat, behoort tot een meegeleverd taalidentificatiemodel onder talker/data/. De MIT-claim is echt, maar bevindt zich één klik verderop, in een repository die naar het andere model is vernoemd.

• Tractie — drie downloads en vijf likes, per deze week. Het flashmodel heeft 22 downloads en acht likes. Geen van beide getallen is bewijs voor kwaliteit; beide zijn bewijs dat een upload uit september zonder kaart en zonder aankondiging niet is aangeslagen.

De benchmarkafbeelding, en de ontbrekende kolom

Drie PNG's in assets/ bevatten de evaluatie, en alle drie zijn inclusionAI's eigen run. De leverancier markeert zelfgeëvalueerde vermeldingen met een asterisk en merkt op dat vergelijkingsmodellen zijn gereproduceerd met zijn eigen prompts en decoding-instellingen, zodat hun cijfers kunnen afwijken van de officiële rapporten. Voor zover ik kon vinden, is er geen onafhankelijke evaluatie van deze checkpoint gepubliceerd — geen arena-vermelding, geen score van derden — wat betekent dat elk cijfer hieronder afkomstig is van een leverancier die zijn eigen model beschrijft. Dat is geen reden om ze te negeren; het is een reden om ze te lezen als een ontwerpopdracht in plaats van een eindoordeel.

De nuttige vergelijking valt klein uit tegenover het eigen zustermodel, omdat beide dezelfde harness gebruikten. Bij herkenning levert het kleinere model een beetje in, en bij redeneren over lange audio aanzienlijk.

• Gemiddelde Chinese ASR — karakterfoutpercentage 3,79 voor Ming-3.0-audio-tiny tegenover 3,45 voor Ming-3.0-audio-flash. Lager is beter, dus tiny ligt 0,34 punten achter.

• Gemiddelde voor Engelse ASR — 4,36 tegen 3,69. Dialectgemiddelde — 10,29 tegen 9,40.

• BigBenchAudio — 99,20 tegen 99,40. Feitelijk een gelijkspel, en de enige rij waarin het grootteverschil niet zichtbaar is.

• MMAU — 75,90 tegen 82,00. MMAR — 67,70 tegen 74,40. MMSU — 73,06 tegen 78,82. MMAU-Pro — 56,42 tegen 66,41.

• Nauwkeurigheid bij lange audio — 56,39 tegenover 66,30. LongAudioSpan — 35,45 tegenover 41,12. Chain-score voor lange audio — 10,56 tegenover 12,31.

• Gesproken interactie — URO-Bench-Pro 54,15 tegenover 81,92, een terugval van 27,8 punten. VoiceBench 74,29 tegenover 86,74. SpeechFCEval 69,80 tegenover 82,60.

• Tool-aanroepen — BFCL-v3 Audio 79,80 tegen 81,40. Muziek — MuchoMusic 58,07 tegen 65,65.

De dialectrijen zijn de interessante uitzondering, omdat tiny niet uniform verliest. Het verslaat zijn grotere broer op Anhui (5,42 tegen 5,76), Noordoost-Mandarijn (4,21 tegen 4,28), Jiangsu (11,44 tegen 12,15), Shaanxi (5,81 tegen 6,00), Shandong (10,17 tegen 10,69) en Yunnan (11,28 tegen 11,53), en verliest flink op Hakka (24,08 tegen 16,51), Hokkien (14,15 tegen 12,84) en Shanghanees (12,49 tegen 11,15). Een model met 2,7B actieve parameters dat zes van de vijftien dialectrijen overeind houdt tegen een model met 6,5B actieve parameters, is het gunstigste punt in de hele evaluatie, en het ligt begraven in het midden van een tabel waar het gemiddelde het verbergt.

Twee hiaten zijn het vermelden waard omdat ze controleerbaar zijn en de kaart ze niet benoemt. Ten eerste: vijf rijen in de herkenningsafbeelding bevatten helemaal geen tiny-waarde — de rijen voor sprekerdiarisatie en geconcateneerde minimum-permutatie voor AISHELL-4, AliMeeting en AMI staan als streepje afgedrukt. Wat het tiny-model doet op "wie sprak wanneer", is niet gepubliceerd. Ten tweede: de tekstintelligentie-afbeelding heeft vier kolommen en geen ervan is het tiny-model: de kolommen zijn Ming-3.0-audio-flash, Qwen3.8-Omni Flash, Qwen3.5-Omni Plus en Qwen3.5-Omni Flash. De evaluatiesectie van de kaart zegt dat de onderstaande cijfers resultaten voor beide Ming-varianten bevatten, wat geldt voor de twee audio-afbeeldingen en niet voor de tekstafbeelding. Als je wilt weten of de tiny-backbone een redeneergesprek aankan, heeft inclusionAI het je niet verteld.

Wat de week je daadwerkelijk heeft opgeleverd

Vóór 16 oktober had een lezer die deze checkpoint wilde testen een download van 17,7 GB, een configuratie die een video-taal model met een 8K-venster beschreef, en een kaart met de instructie om aangepaste code te laden zonder aangepaste code in te schakelen. Na 19 oktober hebben ze een configuratie die overeenkomt met de eigen modelleringsbestanden, een claim van 128K die kan worden getest tegen ongewijzigde gewichten, drie benoemde deploymentprofielen waaronder een single-GPU-profiel, een voicepack met transcripties, en een kaart die zegt waarvoor het model dient. Niets daarvan is een nieuw model. Dat alles is het verschil tussen een checkpoint op een schijf en een checkpoint dat iemand in een middag kan evalueren.

De kosten zijn het onderdeel dat de groottekeuze verbergt. In de tabellen van de leverancier zelf levert de overstap van het 6,5B-actieve model naar het 2,7B-actieve model je een achtste van het GPU-aantal op, maar kost hij je 27,8 punten op URO-Bench-Pro, tien op VoiceBench en ongeveer een vijfde van de long-audio Chain-score. Dat is een redelijke ruil voor een transcriptiedienst, een slechte voor alles wat over een uur audio moet redeneren, en de leverancier heeft beide kolommen naast elkaar afgedrukt zodat je kunt beslissen welke je bouwt.

Waar een router zijn plek verdient, en waar niet

OrcaRouter levert Ming-3.0-audio-tiny niet. Het staat niet in onze catalogus, we kunnen u er geen endpoint voor geven, en niets hier mag worden opgevat als een aanbod daartoe. Waar een router goed voor is in een pipeline rond een checkpoint als dit, is het deel dat niet het checkpoint is. Spraaksystemen zijn grotendeels tekstwerk: de prompt die bepaalt wat er aan de audio wordt gevraagd, de parser die een tabgescheiden taallabel omzet in gestructureerde uitvoer, de samenvatting die op basis van het transcript wordt geschreven, de classificatie die bepaalt of een audiobestand naar het 2.7B-model of het 126B-model gaat. Dat zijn gewone tekstaanroepen, en één API voor meer dan 200 modellen tegen 0% opslag — de lijstprijs van de provider wordt doorgegeven, zodat een prijsverlaging van een leverancier dezelfde dag nog bij ons actief is — is eenvoudiger aan te sluiten dan een stapel leverancierscontracten. Automatische failover is wat u in staat stelt een pas gedocumenteerd model achter een deel van een pipeline te zetten zonder het hele pad eraan te wagen.

De grens is het waard om ronduit te benoemen. Een checkpoint van 17,7 GB dat je op je eigen GPU draait, is infrastructuur, geen API-aanroep. Een router routeert aanroepen. Hij maakt van een audiomodel met open gewichten geen gehost model, en hij maakt van drie downloads geen productiebewijs.

Wat te kijken

Drie dingen zouden dit beeld veranderen, en alle drie zijn controleerbaar. Ten eerste, een onafhankelijke score: zodra een arena of een externe beoordelaar dit checkpoint vermeldt, is de kloof van 27,8 punten in gesproken interactie geen zelfrapportage van de leverancier meer, maar wordt het een datapunt; tot die tijd: let op dat dezelfde leverancier ook zes dialectrijen heeft gepubliceerd waarin het kleinere model wint. Ten tweede, een LICENSE-bestand in de Hugging Face-repository, waardoor MIT van een link in een kaart zou verschuiven naar een feit in het artefact dat een inkoopproces daadwerkelijk leest. Ten derde, een kleine, specifieke GitHub-repository: vandaag de dag staan de deploymentprofielen die de bewering dat het op één GPU draait waarmaken in een repository die naar het grotere model is vernoemd, wat prima is tot iemand hem hernoemt.

Totdat een van die dingen er is, is de nauwkeurige beschrijving weinig glamoureus. Dezelfde gewichten als op 3 september, ongeveer 18 GB aan Thinker, een venster van 131.072 tokens dat in een config arriveerde in plaats van in een checkpoint, drie servingprofielen die voor tekst op één kaart passen en voor spraak op twee, MIT op papier, vijf referentierijen die het weigerde te publiceren, en een modelkaart die drie dagen jonger is dan de config die hij beschrijft. De week maakte het model niet beter. Ze maakte het leesbaar, en voor een open-weights checkpoint dat niemand aankondigde, is leesbaarheid het hele product.