Ming-3.0-audio-tiny körs nu på en GPU – och dess konfiguration säger äntligen 128K

Checkpointen bakom Ming-3.0-audio-tiny har varit nedladdningsbar sedan 3 september 2026 — två safetensors-shardar, 17,7 GB, som pushades nio minuter efter att själva repot skapades. Det som inte fanns förrän den här veckan var nästan allt som berättar hur man kör den. Mellan 16 och 19 oktober 2026 ersatte inclusionAI konfigurationen som följde med i september, förvandlade en video-språk-ljud-variant med ett fönster på 8 192 token till en endast ljudbaserad variant som påstår sig ha 131 072, lade till Talker som producerar tal, lade till två referensröstklipp med tillhörande transkriptioner och — efter tre dagar då repot inte hade något modellkort alls — skrev ett. Koden som dessa dokument pekar på anlände till GitHub den 15 oktober, i ett repo uppkallat efter det större syskonet, Ming-3.0-audio-flash, och den har tre driftsättningsprofiler för tiny-modellen som tiny-modellen aldrig hade. Ingen tillkännagav något av detta. Så frågan som är värd att besvara är inte vad som är nytt, eftersom vikterna är sju veckor gamla och byte-identiska med dagen de landade. Det är vad en läsare nu kan köra som de inte kunde köra förra måndagen, och vad det kostar i noggrannhet när de gör det. De dokumenterade AI-felen och agentincidenterna bakom releaser som denna samlas i the OrcaRouter AI Incident Archive där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.

Vad ändrades, daterat till commiten

Hugging Faces commit-logg är tillräckligt kort för att läsas i sin helhet, och mönstret i den är ovanligt: tre commits i september, ingenting på tre veckor, sedan sex på fyra dagar.

• 3 september, 11:45 och 11:49 UTC — repositoryt skapas, sedan hamnar de två shardarna under "Add files using upload-large-folder tool". README-filen som följer med dem har titeln "Ming Audio V3", anger Apache 2.0, taggar repositoryt automatic-speech-recognition, och säger att repositoryt "för närvarande dokumenterar ASR-vägen."

• 17 september — examples/mappen tas bort. Efter detta består repositoryt av vikter, egen modelleringskod och ett kort modellkort, och ingenting annat.

• 16 oktober, 08:14 till 08:20 UTC — den avgörande. config.json skrivs om: max_position_embeddings på textryggraden går från 8,192 till 131,072, transformers_version från 4.56.2 till 5.14.1, och audio_config.model_type från bailing_moe_v3_vl_audio till bailing_moe_v3_audio — video-språk-ljud-typen som inte längre beskriver modellen. I samma push auto_map får AutoModel och AutoProcessor poster som den inte hade, en processor_config.json dyker upp, och trädet talker/ anländer: en 1,4 GB talmodell, en 1,6 GB VAE, en CAM++-talarkodare, ändliga tillståndstransduktorer för textnormalisering för engelska och kinesiska. Den gamla README-filen tas bort i samma push — under de följande tre dagarna har repoet inget modellkort alls.

• 17 oktober, 11:44 UTC – "Lägg till röstpresets." Två referens-WAV-filer, US_James.wav och 灵楷.wav, plus en JSON-fil som innehåller deras exakta transkriptioner.

• 19 oktober, 10:36, 11:44 och 11:49 UTC — tre commits för städning och uppladdning.

• 19 oktober, 13:19 UTC — "Lägg till modellkort för Ming-3.0-audio-tiny." 8 514 byte, och det första dokumentet i repots historik som beskriver en tal- och ljudmodell snarare än en ASR-väg.

GitHub-sidan har sin egen tidslinje, och den börjar senare. inclusionAI/Ming-3.0-audio-flash skapades den 15 oktober kl. 03:50 UTC – sex veckor efter att vikterna fanns – och pushades fortfarande den 19 oktober kl. 14:53 UTC. Den har åtta stjärnor, en MIT-licensfil och en katalog med namnet deploy/ som innehåller sex YAML-profiler, varav tre är för den lilla checkpointen vid namn. Det finns inget inclusionAI/Ming-3.0-audio-tinyrepo; den URL:en returnerar 404, och koden för den lilla modellen ligger i flash-repot tillsammans med sitt syskons.

Konfigurationsomskrivningen är den verkliga historien.

Ett kontextlängdsfält som ökar med 16× är den typ av förändring som antingen är kosmetisk eller strukturell, och i det här fallet säger resten av diffen att den är strukturell. I september levererade repot modeling_bailing_moe_v3_audio.py och processing_bailing_moe_v3_audio.py i kodträdet, men dess konfiguration beskrev ett ljudtorn av typen bailing_moe_v3_vl_audio – en kvarleva från ett video-språkbygge – och dess modellkort uppmanade dig att instansiera modellen med trust_remote_code=False, vilket inte är vad anpassade modelleringsfiler vill ha. Oktoberkonfigurationen är den första där den deklarerade typen, den deklarerade körtiden och kodvägen stämmer överens.

• Backbone — 24 lager, dold storlek 1 536, 16 attention-huvuden, 128 routade experter med 8 aktiva per token och en delad expert, expertens mellanliggande storlek 512, första täta lagret vid index 1, skalfaktor för routade experter 2,5, vokabulär 157 184.

• Attention — MLA, med en KV-latent med bredd 512 och en query-latent med bredd 256, rope_theta 6 000 000, partial_rotary_factor 0,5. Det är den lågrangiga KV-formen som gör att ett fönster på 131 072 token ens är diskutabelt på ett enda kort: cachen lagrar latenten, inte nycklar och värden per huvud.

• Ljudtorn — {{1}}32{{/1}} lager, bredd {{2}}1 280{{/2}}, {{3}}20{{/3}} huvuden, en kontext på {{4}}3 000{{/4}} ramar och {{5}}128{{/5}} mel-bin, med en nedsamplare med kärna [{{6}}3,3,3{{/6}}] och steg [{{7}}2,2,2{{/7}}]. Ljudtoken-id {{8}}157 168{{/8}}.

• Storlek – 9,3B totala parametrar, 2,7B aktiverade per token, bfloat16 genomgående, deklarerade mot Transformers 5.14.1.

• Indata och utdata – ljud plus en textinstruktion in; text ut, eller text plus syntetiserat tal via den valfria Talker. Kinesiska och engelska, inklusive accenter och dialekter, enligt kortet.

Det konfigurationsomskrivningen inte gör är att lägga till några vikter. De fyra safetensors-filerna i repot – två Thinker-shards, Talker, VAE – har samma storlekar vid varje revision jag kontrollerade, ända tillbaka till den ursprungliga uppladdningen. Detta var en dokumentations- och paketeringsändring av en oförändrad checkpoint, vilket är precis varför hoppet från 8 192 till 131 072 är trovärdigt: ingen tränade om något, så påståendet kan testas genom att ladda modellen och begära en lång kontext i stället för att tas på tro.

En dokumentationsdetalj är fortfarande inkonsekvent. Repots översta Hugging Face-pipelinetagg anger text-to-speech, medan kortets egen sammanfattning kallar den för en ljudspråkmodell som tar emot instruktioner och returnerar text eller tal. Taggen är en kvarleva från att Talker var den funktion som senast ändrades, och det är sådant som inte spelar någon roll för någon annan än den som filtrerar Hubben efter uppgift.

En GPU för text, två för tal

Det är här den lilla modellen gör skäl för sitt namn, och den syns bara eftersom driftsättningsprofilerna nu är offentliga. Flash-modellens textprofil körs på devices: "0,1,2,3,4,5,6,7" med tensor_parallel_size: 8 – åtta 80 GB-kort, vilket är vad 256 GB bf16-vikter tvingar fram innan någon cache har allokerats. Den lilla modellen har tre egna profiler, och två av dem begär ett kort.

• Text och ASR, vLLM-Omni – ett enda steg på enheter: "0", tensor-parallell storlek 1, max_model_len 131 072, max_num_batched_tokens 32 768, gpu_memory_utilization 0,92, sampling vid temperatur 0,6 och upp till 65 536 output-tokens.

• Fullständigt ljud med talutmatning — två steg. Thinker på enheter: "0" vid 0,78 av kortet, och Talker på enheter: "1" vid 0,18, där Talker-steget är begränsat till en output-token och temperaturen 0,0 eftersom det inte genererar text.

• ASR-reproduktion — en pipeline endast för thinker med en påmonterad logitprocessor för 10-gram utan upprepning, ljudet begränsat till ett klipp per prompt, max_model_len 131 072, temperatur 0.0, 32 768 utdatatokens. Det är konfigurationen som leverantörens igenkänningssiffror togs fram under, och den är värd att kopiera exakt om du avser att jämföra.

• SGLang — en GPU, en synlig enhet, endast textutdata. Kortet anger uttryckligen att talutdata inte är tillgängligt på den här vägen.

De profilerna är filer, inte prosa, och de syns i katalogen deploy/ i flash-repositoriet – sex YAML-profiler, tre av dem namngivna efter den lilla checkpointen.

Läs minnessiffrorna ärligt. 0,92 är en andel av vilket kort du än riktar scenen mot, inte ett krav: Thinkers shardar uppgår totalt till 17,74 GB, så vikterna får plats i ett 24 GB-kort med ungefär 6 GB kvar för cache och aktiveringar. Reservationen på 0,92 är dimensionerad för ett fönster på 131 072 token plus en batch på 32 768 token samtidigt, och den minskar om du sänker max_model_len. Det du inte kan göra på ett kort är att producera tal, eftersom Talker och dess VAE är en andra process med en andra uppsättning vikter – 3 GB före CAM++-kodaren och transduktorerna – och referensprofilen ger dem en egen enhet. Text på en GPU, talad konversation på två: det är den ärliga aritmetiken, och det är en annan budgetpost än syskonets åtta.

Vad finns det egentligen i nedladdningen?

Repositoriet omfattar totalt 20,78 GB. Thinker är 17,74 GB fördelat på två shards på 9,55 GB och 8,19 GB; Talker tillför 1,40 GB, dess VAE 1,56 GB, talarenkodaren 28 MB, och tokenizer- och normaliseringsfilerna utgör resten. Det finns ingen kvantiserad variant, ingen mindre checkpoint och ingen GGUF-konvertering som leverantören har publicerat, så bf16-siffran är lägstanivån om du inte kvantiserar den själv.

• Laddar — AutoProcessor.from_pretrained(..., trust_remote_code=True, use_fast=False) och AutoModelForCausalLM.from_pretrained(..., dtype=torch.bfloat16, device_map="auto", trust_remote_code=True). Modellkortets eget kodsnutt kastar sedan audio_feats till modellens dtype för hand, vilket är ett litet tecken på att processorvägen inte var prioriterad.

• ASR-kontraktet – den validerade prompten ber modellen att ange det talade språket och sätta en tabb mellan språketiketten och transkriptionen. Om du bygger en utvärderingsrigg är den tabben din parser. En generisk instruktion som "transkribera detta" är inte den konfiguration som inclusionAI mätte.

• Röster — standardrösten i vLLM-Omni är en inbyggd röst som heter 灵小柔, och modellkatalogen levereras med två referensförinställningar, 灵楷 och US_James, med transkriptioner. Röstkloning tar en referens-WAV plus dess exakta transkription; kortet varnar för att du inte kan kombinera ett val av inbyggd röst med ett referensklipp i en och samma begäran.

• Licens — MIT i kortets metadata och i GitHub-repositoriets LICENSE, som är daterad 2025. Lägg märke till vad som saknas: Hugging Face-repositoriet innehåller ingen LICENSE-fil som är dess egen. Den enda licenstexten som fysiskt finns inuti det tillhör en medföljande språkidentifieringsmodell under talker/data/. MIT-påståendet är verkligt men det ligger ett klick bort, i ett repositorium som är uppkallat efter den andra modellen.

• Genomslag — tre nedladdningar och fem gilla-markeringar den här veckan. Flashmodellen har 22 nedladdningar och åtta gilla-markeringar. Ingen av siffrorna är ett bevis på kvalitet; båda är bevis på att en uppladdning i september utan kort och utan annonsering inte fick någon spridning.

Benchmarkbilden och kolumnen som saknas

Tre PNG-filer i assets/ innehåller utvärderingen, och alla tre kommer från inclusionAI:s egen körning. Leverantören markerar självutvärderade poster med en asterisk och noterar att jämförelsemodellerna återskapades med dess egna prompter och avkodningsinställningar, så deras siffror kan skilja sig från deras officiella rapporter. Ingen oberoende utvärdering av denna checkpoint har publicerats som jag kunde hitta – ingen arena-post, ingen tredjepartspoäng – vilket innebär att varje siffra nedan är en leverantör som beskriver sin egen modell. Det är inte ett skäl att ignorera dem; det är ett skäl att läsa dem som en designbrief snarare än en dom.

Den användbara jämförelsen är minimal mot dess egen syskonmodell, eftersom båda körde samma testramverk. Vid igenkänning tappar den mindre modellen lite, och vid resonemang över långt ljud tappar den väldigt mycket.

• Genomsnitt för kinesisk ASR — teckenfelkvot 3,79 för Ming-3.0-audio-tiny jämfört med 3,45 för Ming-3.0-audio-flash. Lägre är bättre, så tiny ligger 0,34 poäng efter.

• Genomsnitt för engelsk ASR — 4,36 mot 3,69. Genomsnitt för dialekt — 10,29 mot 9,40.

{{1}}BigBenchAudio{{/1}} — 99,20 mot 99,40. I praktiken oavgjort, och den enda raden där storleksskillnaden inte syns.

• MMAU — 75,90 mot 82,00. MMAR — 67,70 mot 74,40. MMSU — 73,06 mot 78,82. MMAU-Pro — 56,42 mot 66,41.

• Långljudsnoggrannhet — 56,39 mot 66,30. LongAudioSpan — 35,45 mot 41,12. Poäng för Long-audio Chain — 10,56 mot 12,31.

• Talad interaktion – URO-Bench-Pro 54,15 mot 81,92, en minskning med 27,8 punkter. VoiceBench 74,29 mot 86,74. SpeechFCEval 69,80 mot 82,60.

• Verktygsanrop — BFCL-v3 Audio 79,80 mot 81,40. Musik — MuchoMusic 58,07 mot 65,65.

De dialektala raderna är det intressanta undantaget, eftersom tiny inte förlorar konsekvent. Den slår sin större syskonmodell på Anhui (5,42 mot 5,76), nordöstra mandarin (4,21 mot 4,28), Jiangsu (11,44 mot 12,15), Shaanxi (5,81 mot 6,00), Shandong (10,17 mot 10,69) och Yunnan (11,28 mot 11,53), och förlorar stort på hakka (24,08 mot 16,51), hokkien (14,15 mot 12,84) och shanghainesiska (12,49 mot 11,15). Att en modell med 2,7B aktiva parametrar står sig på sex av femton dialektrader mot en med 6,5B aktiva är det mest gynnsamma i hela utvärderingen, och det ligger begravt i mitten av en tabell där genomsnittet döljer det.

Två luckor är värda att nämna eftersom de går att kontrollera och kortet inte påpekar dem. För det första finns det fem rader i igenkänningsbilden som inte har något tiny-värde alls — raderna för talardiariisering och sammanfogad minimum-permutation för AISHELL-4, AliMeeting och AMI trycks som ett streck. Vad tiny-modellen än gör på "vem talade när" är opublicerat. För det andra har textintelligensbilden fyra kolumner och ingen av dem är tiny-modellen: dess kolumner är Ming-3.0-audio-flash, Qwen3.8-Omni Flash, Qwen3.5-Omni Plus och Qwen3.5-Omni Flash. Kortets utvärderingsavsnitt säger att siffrorna nedan inkluderar resultat för båda Ming-varianterna, vilket stämmer för de två ljudbilderna men inte för textbilden. Om du behöver veta om tiny-backbonen kan föra en resonerande konversation har inclusionAI inte berättat det för dig.

Vad veckan faktiskt gav dig

Före den 16 oktober hade en läsare som ville testa denna checkpoint en nedladdning på 17,7 GB, en konfiguration som beskrev en video-språkmodell med ett 8K-fönster och ett modellkort som instruerade dem att ladda anpassad kod utan att aktivera anpassad kod. Efter den 19 oktober har de en konfiguration som matchar dess egna modellfiler, ett 128K-påstående som kan testas mot oförändrade vikter, tre namngivna driftsättningsprofiler, inklusive en för en enda GPU, ett röstpaket med transkript och ett modellkort som säger vad modellen är till för. Inget av detta är en ny modell. Allt detta är skillnaden mellan en checkpoint på en disk och en checkpoint som någon kan utvärdera på en eftermiddag.

Kostnaden är den del som dimensioneringen döljer. I leverantörens egna tabeller ger bytet från den 6,5B-aktiva modellen till den 2,7B-aktiva en åttondel av GPU-antalet och kostar dig 27,8 poäng på URO-Bench-Pro, tio på VoiceBench och ungefär en femtedel av Chain-poängen för långt ljud. Det är en rimlig avvägning för en transkriptionstjänst, en dålig sådan för allt som måste resonera över en timmes ljud, och leverantören tryckte båda kolumnerna bredvid varandra så att du kan avgöra vilken du bygger.

Där en router förtjänar sin plats – och där den inte gör det

OrcaRouter tillhandahåller inte Ming-3.0-audio-tiny. Det finns inte i vår katalog, vi kan inte ge dig någon endpoint för det, och inget här bör läsas som ett erbjudande om att göra det. Vad en router är bra för i en pipeline som byggs kring en checkpoint som den här är den halva som inte är checkpointen. Talsystem är mest textarbete: prompten som avgör vad man ska fråga ljudet, parsern som gör en tabbavgränsad språketikett till strukturerad utdata, sammanfattningen som skrivs från transkriptionen, klassificeringen som avgör om en ljudfil går till 2.7B-modellen eller 126B-modellen. Det är vanliga textanrop, och ett API för fler än 200 modeller med 0 % påslag — leverantörens listpris förs vidare, så en leverantörs prissänkning är aktiv hos oss samma dag — är en enklare sak att koppla upp än en hög av leverantörsavtal. Automatisk failover är det som låter dig sätta en nyligen dokumenterad modell bakom en del av en pipeline utan att satsa hela vägen på den.

Gränsen är värd att klargöra. En checkpoint på 17,7 GB som du kör på din egen GPU är infrastruktur, inte ett API-anrop. En router dirigerar anrop. Den gör inte en ljudmodell med öppna vikter till en värdbaserad sådan, och den gör inte tre nedladdningar till produktionsbevis.

Vad du ska titta på

Tre saker skulle förändra bilden, och alla tre går att kontrollera. För det första ett oberoende poängresultat: så snart en arena eller en tredjepartsutvärderare listar denna checkpoint upphör gapet på 27,8 punkter i talad interaktion att vara leverantörens självrapportering och blir en datapunkt; fram till dess, notera att samma leverantör också publicerade sex dialektrader där den mindre modellen vinner. För det andra en LICENSE-fil i Hugging Face-repositoriet, vilket skulle flytta MIT från en länk i ett modellkort till ett faktum i den artefakt som en upphandlingsprocess faktiskt läser. För det tredje ett tiny-specifikt GitHub-repositorium: idag ligger de driftsättningsprofiler som gör påståendet om en enda GPU verkligt i ett repositorium uppkallat efter den större modellen, vilket är okej tills någon byter namn på det.

Tills ett av dem landar är den korrekta beskrivningen oglamorös. Samma vikter som 3 september, ungefär 18 GB Thinker, ett fönster på 131 072 token som kom i en config snarare än i en checkpoint, tre serving-profiler som får plats på ett kort för text och två för tal, MIT på pappret, fem referensrader som den avstod från att publicera, och ett model card som är tre dagar yngre än den config den beskriver. Veckan gjorde inte modellen bättre. Den gjorde den läsbar, och för en open-weights-checkpoint som ingen annonserade är läsbarhet hela produkten.