AuK: Tencent har i det tysta släppt en 1,5B-talmodell med öppen källkod som behandlar varje ljuduppgift som ett textkommando

Här är en mening som inget enskilt talverktyg du kan ladda ner idag klarar i ett enda steg: ta den här inspelningen, byt ut ordet "house" mot "home", höj tonhöjden med ett halvt tonsteg, ta bort andetaget före den sista frasen, skrubba bort bakgrundsljudet och läs sedan upp resultatet med en helt ny röst som bara beskrivs som "en varm medelålders man med lätt kantonesisk accent". Tencents svar på den meningen är AuK, en "grundmodell för talgenerering och redigering" med 1,5 miljarder parametrar, som släpptes som öppen källkod den här veckan utan lanseringsinlägg och utan pressmeddelande – och vars destillerade syskon AuK-Flash nu kommer med det enda som saknades i den här historien när vi först skrev om den: en teknisk rapport med siffror. "AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing" (arXiv:2609.08936, cs.SD, inlämnad 2026-09-08) citeras nu både på Hugging Face-modellkortet och i GitHub-README:n, med artikelns datum 2026-09-08 och kodförrådets egen nyhetsrad daterad 2026/09/09. Vad rapporten inte gör är att avgöra den fråga som betydde något – varje siffra i den är Tencents egen, framtagen mot jämförelsebaser som Tencent valde, och per 2026-09-10 har ingen utanför företaget återskapat en enda av dem.

Det här är en genomgång av vad vi vet hittills, reviderad en gång. Tencent har fortfarande inte tillkännagett AuK på någon av sina huvudkanaler som vi kan hitta, så läget är: Hugging Face-modellkorten och -arkiven för AuK och AuK-Flash, kodarkivet under Tencent-Hunyuan-organisationen, projektsidan på auk-project.github.io och nu även rapporten. Det senaste tillskottet förändrar vad som går att veta — arkitekturen, träningsreceptet och utvärderingssiffrorna beskrivs i detalj för första gången — utan att ändra vad som är verifierat. Betrakta allt numeriskt nedan som leverantörsrapporterat, för det är precis vad det är, och notera att rapportens jämförelser enbart görs mot andra öppna modeller, inte de stängda, värdbaserade talplattformar som AuK faktiskt skulle konkurrera med.

Vad som faktiskt släpptes, och hur tyst det gick till.

Tidslinjen är fortfarande den mest ärliga sammanfattningen av releasen, med en korrigering från vår första genomgång. Hugging Face-repositories skapades i mitten av augusti — AuK den 2026-08-18 — men var inaktiva tills denna vecka. När vi läste AuK-modellkortet den 2026-09-09 var dess enda nyhetsrad daterad 2026-09-07; en dag senare anger samma rad 2026/09/09 och hänvisar läsarna till papperet och demo-Spaces. GitHub-repositoryt, som innehåller inferens- och träningskoden, skapades den 2026-08-19 och senast uppdaterad den 2026-09-09. Med andra ord: vikter, sedan kod, sedan en teknisk rapport — tre etappvisa lanseringar på fyra dagar, och fortfarande inget tillkännagivande från Tencents huvudkanaler när detta skrivs.

• Vikterna ligger på Hugging Face under tencent-organisationen och speglas på ModelScope under Tencent-Hunyuan — två speglar, samma MIT-licens.

Varje modellrepo innehåller en enda safetensors-checkpoint samt en konfiguration och en VAE: auk_base.safetensors på 6,12 GB och vae.safetensors på 0,64 GB för AuK; samma layout gäller för AuK-Flash. Modellkortet ber dig också att ladda ner Qwen/Qwen2.5-Omni-3B, textkodaren som AuK läser in separat vid körning.

• "Ingen märkte"-narrativet har löpt ut, och det gick snabbt. Repot låg på noll stjärnor och noll forks när vi kontrollerade den 2026-09-09; den 2026-09-10 visar det 216 stjärnor, 12 forks och sin första öppna issue. AuK-kortet rapporterar omkring trettio nedladdningar den senaste månaden med 26 gillningar. Vad som inte har ändrats: diskussionsflikarna är tomma, och kortet noterar fortfarande att kontrollpunkten inte är driftsatt av någon inferensleverantör.

• Båda modellkorten, README och paper-länken, demo Spaces på Hugging Face och ModelScope. Hugging Face Space var inte offentligt tillgänglig utan inloggning när vi kontrollerade, så behandla alternativet "try it in your browser" som obekräftat för anonyma användare.

Hugging Face-kortet ovan är fortfarande hela den offentliga ytan av en installerbar utgåva: ett modellkort, en config, två safetensorsfiler och en licens. Det som har lagts till sedan dess är dokumentationslagret runt omkring — en paper, en benchmark-tabell och en citeringsblock — och inget av det förändrar det faktum att det inte finns någon changelog, ingen diskussionstråd och ingen lista över inference-leverantörer bakom det.

Pitchen: ett instruktionsgränssnitt, sexton taluppgifter.

AuK:s påstående är inte att det är den bästa text-till-tal-modellen som någonsin släppts. Det är att generering bara är en av fem familjer av taluppgifter som modellen tränades att utföra genom ett enda naturligt språkgränssnitt, där en begäran är ett chattmeddelande som kan innehålla text plus en valfri referensljudfil. Uppsatsen formaliserar exakt den taxonomi som projektsajten redan marknadsförde:

Talgenerering — zero-shot TTS (tala den här texten med rösten från referensklippet) och instruktions-TTS (generera tal utifrån enbart en röstbeskrivning, utan något referensljud alls).

• Innehållsredigering — skriv om det som sades: ersätt, infoga eller ta bort ord i en befintlig inspelning; och sångtextredigering, som skriver om sjungna texter samtidigt som melodin och rösten bevaras.

• Akustisk redigering — tonhöjd i halvtoner, talhastighetsskalning och volym i decibel.

• Paralingvistisk redigering — känsloförändringar, klangfärgsförändringar utifrån en beskrivning, avaccentuering, att lägga till eller ta bort icke-verbala ljud (andetag, skratt, hostningar) samt växling mellan normalt tal och viskning medan talaren behålls.

• Förbättring och separation — brusreducering och efterklangsreducering av tal, talseparation efter talarordning, separation av musik och sång samt extraktion av måltalare som identifieras genom vad talaren säger.

Instruction-TTS-fallet är det som skiljer detta från en typisk röstkloningsrelease: AuK läser en mening med en röst som bara existerar som en textbeskrivning — dokumentationens eget exempel specificerar en kvinna i tjugoårsåldern som talar till en partner som just kommit hem, varm, omtänksam och lätt kokett, med en mjuk och len klang och en något stigande meningsfinal ton, allt utan att något referensklipp bifogas. Det tar bort behovet av en referensinspelning, vilket är den vanliga tröskelkostnaden för kloning. Rapporten sätter en siffra på den uppgiften för första gången, och det är en av de få platser där AuK slår fältet med bred marginal snarare än att knappt vinna.

Inuti "1.5B": siffran underskattar körtiden

AuK:s parameterantal beskriver diffusionstransformatorn, inte hela pipelinen, och tidningen specificerar nu båda delarna. Ryggraden är en hybrid rectified-flow Transformer – trettio lager bestående av tio dual-stream MMDiT-block följda av tjugo enhetliga single-stream DiT-block, dold storlek 1536, 24 uppmärksamhetshuvuden med dimension 64, SwiGLU-mellanbredd 3072, vilket är var siffran "ungefär 1,5 miljarder parametrar" kommer ifrån. Runt den sitter två separat laddade komponenter: en multimodal LLM (Qwen/Qwen2.5-Omni-3B) som förvandlar instruktionen och eventuellt referensljud till semantisk konditionering, och en kausal 24 kHz ljud-VAE – konfigurationen kallar den BigVGANFlowVAE – som hanterar 64-dimensionella latenta variabler vid 50 Hz bildfrekvens, med kanalbredder i enkodern upp till 768 och i avkodaren upp till 1536. Så hela körtiden består av ~1,5B-ryggraden plus en 3B-enkoder plus VAE:n, och nedladdningsinstruktionen är tydlig med att enkodern är en separat checkpoint med egna villkor.

Träningen, enligt rapporten, genomfördes i etapper och i en skala som projektsajten bara antydde: en uppvärmning med enbart generering på 50 000 uppdateringar, därefter 600 000 gemensamma generations- och redigeringsuppdateringar, på ungefär 3,03 miljarder instruktions–ljudinstanser som representerar cirka 1,95 miljoner timmar effektiv övervakning, över 256 GPU:er, med ytterligare 1,24 miljoner uppdateringar på VAE:n. Post-träningen kombinerade preferensoptimering utifrån mänsklig feedback med belöningsbaserad förstärkningsinlärning, byggd på 818 informativa preferensgrupper och 9 080 bedömda kandidater, RL-promptpooler med 10 000 zero-shot-promptar och 5 000 instruktionsföljande promptar, 30 000 stilbedömningsprover och en belöningsmodell finjusterad från Qwen2.5-Omni-7B. Det är en rejäl post-träningsstack för en öppen 1,5B-utgåva, och det är också en påminnelse om att ”öppna vikter” beskriver artefakten, inte beräkningskraften som producerade den — en poäng värd att hålla fast vid när man väger huruvida man skulle kunna reproducera den.

Varje siffra i det specifikationsbladet är hämtad från Tencents egna kodarkiv och webbplats snarare än uppmätt av oss, och rapporten ändrade inte på det — den flyttade bara fler av dessa rader från ”påstått” till ”dokumenterat”. Det enda numret som faktiskt har testats sedan vi först publicerade är kodarkivets egen aktivitet, som gick från noll stjärnor till några hundra på en dag.

Projektsajten är fortfarande där arkitekturdiagrammet och den akademiska co-brandingen finns, och det är fortfarande det billigaste sättet att se modellens uppbyggnad: en multimodal språkmodell för semantisk konditionering, en 50 Hz VAE för akustik och en hybrid Transformer under ett flow-matching-mål. Dess benchmarksektion, som listade en utvärderingsapparat utan poäng när vi först tittade, har nu ett paper att hänvisa till.

Den tekniska rapporten landar, och siffrorna är Tencents egna.

Detta är kärnan i uppdateringen. Artikeln rapporterar resultat över sju utvärderingssviter — samma lista som projektsidan hade marknadsfört utan siffror — och på de flesta av axlarna för generering och innehållsredigering leder AuK det öppna fältet. Läs dessa som en leverantörs benchmark-tabell, eftersom det är just vad de är: Tencent körde varje jämförelse, valde varje baslinje, och har ännu inte publicerat någon kod för att återskapa testmiljön.

Zero-shot TTS på Seed-TTS-Eval: AuK uppnår i genomsnitt 2,65 i WER med 0,795 i talarlikhet, jämfört med Qwen3-TTS på 3,07 och 0,745, Seed-TTS på 3,65 och 0,778 samt VoxCPM2 på 3,65 och 0,767. AuK-Flash landar på 2,85 och 0,790. De bästa enskilda delarna är 1,02 i WER på det engelska testsetet och 5,91 på det kinesiska svåra testsetet.

• Instruktionsstyrd TTS på InstructTTSEval: AuK når 83,37 på kinesiska och 81,60 på engelsk beskrivningsföljning, jämfört med Qwen3-TTS-VD på 81,10 och 82,40 och MOSS-VoiceGenerator på 80,00 och 82,00. AuK-Flash ligger på 78,80 på kinesiska men delar fältets bästa engelska resultat med 82,40.

• Innehållsredigering på SpeechEditBench: 91.83 i noggrannhet mot Ming-UniAudios 76.46, och 71.33 i prosodi mot 26.50 – de två största skillnaderna i hela rapporten.

• Instruktionsstyrd redigering på Ming-Freeform-Audio-Edit, fullt läge: ordavvikelsen sjunker från 10.46 till 3.09 på kinesiska och från 14.28 till 3.96 på engelska jämfört med Ming-UniAudio, medan redigeringsnoggrannheten stiger från 79.62 till 91.47 och från 70.98 till 85.25. Vid akustiska redigeringar förflyttar samma jämförelse ordavvikelsen från 5.01 till 2.02 på kinesiska och från 10.75 till 3.48 på engelska.

• Paralingvistisk redigering på MMAE-Speech: instruktionsföljningsgrad 48.23 och innehållsomskrivning 88.11 jämfört med Step-Audio-EditX på 43.52 och 77.27, samt Ming-UniAudio på 34.13 och 76.01. AuK-Flash uppvisar bäst recall för editmodellen i tabellen på 13.85.

• Restaurering, där modellen är konkurrenskraftig snarare än dominerande: DNS Challenge desynkroniserat ordfel 2,66 med 0,99 talarlikhet mot RE-USE vid 3,31; CHiME-4 ordfel 7,98 mot RE-USE vid 10,71; Libri2Mix ordfel 9,12 mot MossFormer2-SS vid 9,34; och VCTKSR ordfel 3,06 med 0,97 talarlikhet.

• Själva VAE:n, utvärderad separat: AuK-VAE når 4.143 PESQ på tal, 3.833 på allmänt ljud och 3.884 på musik, mot MiniMax-H3-AudioVAE på 3.633, 2.835 och 2.801 — en total utklassning som betyder mer än den verkar, eftersom en förlustbehäftad akustisk latent sätter taket för varje uppgift som byggs ovanpå den.

Mönstret över dessa punkter är mer intressant än rubrikvinsterna. AuK ligger långt före på allt som innebär "ändra vad som sägs eller hur det låter, och behåll allt annat" — innehållsredigering, prosodi, akustiska redigeringar, rekonstruktion. Den ligger mycket närmare fältet när det gäller känslo- och paralingvistisk redigering, där dess känslonoggrannhet på SpeechEditBench ({{1}}9.94{{/1}}) knappt går att skilja från Ming-UniAudios ({{2}}3.43{{/2}}) på ett riktmärke där båda är svaga, och dess totala akustiska poäng ({{3}}37.07{{/3}}) ligger i samma intervall som baslinjerna. Så "en modell för varje taluppgift" är Tencents inramning; vad rapporten faktiskt visar är en modell som är utmärkt på flera av dem och bara närvarande för resten.

Två checkpoints: AuK och AuK-Flash

Tencent släppte två varianter under samma MIT-licens. AuK är basmodellen i full kvalitet, och rapporten anger dess samplingsinställningar till 32 funktionsutvärderingar med en klassificerarfri vägledningsskala på 2,0. AuK-Flash är den destillerade versionen: konsistensinitialisering och ett uppgiftsdirigerat Decoupled DMD-mål, som genererar i fyra fasta steg med vägledningen helt avstängd, vilket rapporten anger som en 4,5× snabbning i väggklocketid jämfört med fullmodellen under matchade förhållanden. Rapportens egna siffror håller Flash nära på de flesta genereringsuppgifterna — 2,85 i genomsnittligt ordfel och 0,790 i likhet på Seed-TTS-Eval — vilket är vad som gör hastighetspåståendet värt att testa snarare än att avfärda: fyrstegsdiffusion med nära-lärarkvalitet är vad som skulle få en 1,5B-talredigerare att kännas interaktiv på en enda GPU. Med det sagt, ”matchade förhållanden” är Tencents fras som beskriver Tencents benchmark, och en 4,5× siffra uppmätt av författarna är precis den typ av påstående som behöver en tredje part innan den ändrar något inköpsbeslut.

Vad du kan köra idag

Den praktiska ytan är bredare än ett typiskt tyst viktsläpp, eftersom koden levererades med det. Installationen riktar sig till Python 3.10 via uv eller Conda, och README erbjuder extra installationsmål som drar in Gradio, ComfyUI-noder eller fine-tuning-stacken. Kommandoradsverktyget auk-infer täcker alla uppgifter med samma meddelandeformat: --instruction krävs alltid, och --audio är valfritt beroende på uppgift. En Gradio-server (auk-gradio) exponerar modellerna med en väljare, och det finns anpassade ComfyUI-noder med ett återanvändbart arbetsflöde, även om integrationen är dokumenterad med en gräns på 30 sekunder för käll- plus målsekvens. Ett Python-API speglar CLI:et, och en lättviktspipeline för fine-tuning tränar på JSONL av instruktions- och ljudpar med samma meddelandeformat som vid inferens. README beskriver också en Prompt Enhancer som omvandlar fritextförfrågningar till färdiga att köra auk-infer-kommandon; den förväntar sig en OpenAI-kompatibel chattändpunkt och faller tillbaka på en lokal SenseVoiceSmall-modell för taligenkänning när inga molnbaserade ASR-uppgifter är konfigurerade. En aktuell begränsning är tydligt dokumenterad: Qwen3-Omni stöds ännu inte som encoderväg, så Qwen2.5-Omni-3B-checkpointen är fortfarande den som ska laddas ner.

Vad dokumentationen fortfarande inte ger dig är ett hårdvarugolv. Ingen VRAM-siffra publiceras för inferens. Konfigurationsfilerna innehåller en anteckning om gradient-checkpointing med en topp på ~91 GB som sjunker till ~75 GB, vilket beskriver träningsfasens minnesprofil snarare än ett realistiskt värde för engångsinferens, och referenskommandot som läser in AuK och AuK-Flash tillsammans fördelar dem över två GPU:er — samtidigt som det noterar att båda kan dela på en. Budgetera för själva nedladdningen: cirka 6,8 GB per variant plus Qwen2.5-Omni-3B-kodaren, mät sedan minnet på din egen GPU.

Vad som inte är bekräftat

Att vara precis om det okända är fortfarande poängen med att bevaka en modell så här tidigt, och rapporten tog bort exakt en punkt från denna lista medan resten lämnades intakt:

• Det finns ingen oberoende körning som vi kan hitta. Inga tredjepartsröstprover, ingen benchmark-replikering, inga intryck i diskussionstrådar. Repositoriets första öppna ärende är inlämnat och obesvarat, och modellkortets nedladdningsantal ligger fortfarande bara i dussintals, så gapet mellan en publicerad tabell och en reproducerad sådan är för närvarande hela historien.

• Utvärderingen är självutförd och smal på ett specifikt sätt. Varje baslinje i rapporten är en annan modell med öppna vikter — Qwen3-TTS, Seed-TTS, VoxCPM2, Ming-UniAudio, Step-Audio-EditX, MOSS-VoiceGenerator, RE-USE, MossFormer2-SS. Ingen av de slutna, värdbaserade talplattformarna som en köpare faktiskt skulle väga AuK mot förekommer, så "leder fältet" här betyder "leder det öppna fält Tencent valde".

• Namnet "AuK" expanderas fortfarande aldrig någonstans i uppsatsen, korten eller koden, och det kolliderar hårt i sökningar med sjöfågeln, American University of Kuwait och orelaterade arkiv.

Teamet är nu åtminstone synligt — artikeln har 33 författare under ledning av Ziyang Ma, med anknytningar som spänner över Tencent Hunyuan-organisationen, Shanghai Jiao Tong University, Shanghai Innovation Institution och Nanyang Technological University — men vem inom Tencent som äger modellen i det dagliga arbetet, och om det rör sig om en Hunyuan-linje eller ett separat akademiskt samarbete, förblir osagt.

• Språkstödet är fortfarande endast delvis dokumenterat: AuK-Flash-kortet anger kinesiska och engelska och kodexemplen blandar båda, men basmodellen har ingen formell språklista. Licensieringen har samma form — AuK självt är MIT, medan dess separat nedladdade Qwen-kodare har egna villkor, så "MIT-modell" och "MIT allt du behöver för att köra det" är inte samma påstående.

Varför en enhetlig talmodell med öppna vikter är viktig

Läs AuK:s uppgiftslista mot vad en byggare faktiskt gör idag, så blir satsningen tydligare än den var innan siffrorna kom. Att utföra alla dessa uppgifter med befintliga verktyg innebär att kedja ihop flera specialiserade modeller – en öppen checkpoint för kloning, en annan för förbättring, en separat separator, och manuell eller modellassisterad redigering av innehåll – eller att hyra flera stängda värdbaserade API:er, var och en prissatt per uppgift och per ljudminut, och ingen av dem redigerbar på det sätt AuK beskriver. En enda checkpoint med öppna vikter som behandlar allt detta som ett enda textstyrt genereringsproblem är ett genuint annorlunda objekt, och rapporten stöder nu en skarpare version av det påståendet än marknadsföringen gjorde: redigeringsdelen är verklig, inte framtidsvision. Röstkloning blev en vara under det senaste året, men instruktionsstyrd innehålls- och prosodiredigering är där de stängda värdbaserade plattformarna fortfarande tjänar sina marginaler, och 91.83 mot 76.46 på innehållsredigering är det första beviset på att en öppen modell kan ta den marken.

Det ärliga förbehållet är att detta är en diffusionsmodell med en 3B-språkmodell fastkopplad för konditionering, och den ärver den formens kostnader. Kvaliteten per uppgift är ojämn — utmärkt där uppgiften är ”preserve everything except the edit”, tunnare på känsla — och det finns ingen hostad slutpunkt, inget stöd för batchning och ingen publicerad latens för något annat än Flash-variantens interna jämförelse. För delarna i en röstpipeline runt omkring den — LLM:en som bestämmer vad som ska sägas, och den OpenAI-kompatibla chattslutpunkten hos Prompt Enhancer — är ett routnings-API en naturlig passform, och OrcaRouter erbjuder 200+ modeller till leverantörens listpris utan påslag, så att halva stacken behöver en nyckel och inget andra kontrakt. Ljuddelen är fortfarande en GPU du styr och en checkpoint som ingen utanför Tencent har granskat.

Vem bör titta nu, och vem bör vänta?

För talforskare, verktygsbyggare och alla vars jobb är att utvärdera nya röstmodeller är argumenten för att ladda ner AuK den här veckan starkare än de var på dag ett, och de kommer fortfarande med samma förbehåll. Du får nu en dokumenterad arkitektur, ett till synes reproducerbart recept och en komplett tabell över mål att slå – vilket är precis det som gör ett icke-reproducerat påstående värt att utmana. Kostnaden för att vara tidig är fortfarande en helg av installation och en GPU. För alla som väljer en produktionsklar röststack förändrar rapporten beslutsbilden utan att avgöra den: det finns nu siffror att argumentera med, men de är leverantörens egna, de exkluderar de stängda plattformar du faktiskt skulle benchmarka mot, och det finns fortfarande inget API, inget VRAM-golv och ingen meritlista. Håll utkik, i följande ordning: en oberoende replikering av raderna i Seed-TTS-Eval och SpeechEditBench; publicerade prover eller en tillgänglig demo Space; och en inferensleverantör eller ett hostat API som plockar upp AuK, varvid pass-through-priset på vår sida är leverantörens listpris, samma dag, eftersom det är vad 0 % påslag innebär. Den intressanta frågan är inte längre om Tencent släppte ännu en TTS-modell – utan om en enda öppen modell verkligen kan hålla alla fem uppgiftsfamiljerna samtidigt, och nu när Tencent har publicerat sitt eget svar, är det enda som återstår att någon annan kontrollerar det.