Hero-titelkaart voor het artikel 'AuK-Flash & AuK — STIL VERSCHEEPT, SEPTEMBER 2026', met een blauwe pill-vormige badge met de tekst 'STIL VERSCHEEPT — SEPT 2026', de kop 'AuK-Flash & AuK', de ondertitel 'Tencents nieuwe spraakgeneratie- & spraakbewerkingsmodel verscheen op Hugging Face met echte weights — en zonder aankondiging', drie chips met de tekst '1.5B-familie', 'MIT-licentie' en '4-staps gedistilleerd', en een ondersteunende regel met de tekst 'Repositories live ~7 sept 2026 — weights echt, code-repo 404, geen onafhankelijke evals'. Het OrcaRouter-logo is rechtsonder gecomponeerd.
Guides & Insights

AuK-Flash en AuK: Tencent heeft stilletjes een open spraakmodel uitgebracht dat audio genereert, bewerkt en scheidt.

Auteur

Elias Hawthorne

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Tencent heeft deze week twee van de belangrijkste open spraakmodellen van 2026 uitgebracht en vertelde dat aan bijna niemand. Rond 7 september maakte de Tencent-organisatie op Hugging Face AuK openbaar — volgens de eigen modelkaart "een 1,5B-fundatiemodel voor spraakgeneratie en -bewerking" — en AuK-Flash, de gedestilleerde vierstapsvariant van hetzelfde model, beide onder een MIT-licentie. Er is geen Tencent-blogpost, geen aankondiging op sociale media en geen persbericht verbonden aan een van beide repositories; samen zijn ze slechts enkele tientallen keren gedownload, de coderepository waarnaar de modelkaarten linken is niet bereikbaar, en nergens op het geïndexeerde web bestaat een onafhankelijke benchmark. Dit artikel zet uiteen wat er werkelijk te weten valt uit de twee repositories, de configuratiebestanden en de eigen projectpagina van Tencent — en wat nog altijd onbevestigd is.

De bewering verdient het om serieus genomen te worden, zelfs zonder onafhankelijke cijfers, omdat de reikwijdte ongewoon is. AuK is niet nóg een stemkloningsmodel. Via één enkele interface voor instructies in natuurlijke taal belooft het zero-shot en op instructies gebaseerde tekst-naar-spraak, bewerking die reikt tot in wat er wordt gezegd, hoe het wordt gezegd en de non-verbale klanken eromheen, plus spraakverbetering, spraakscheiding en muziekscheiding. Het vakgebied heeft historisch gezien voor elk van die taken een ander gespecialiseerd model gebouwd. De gok van Tencent, in één generatieve backbone, is dat één model ze allemaal kan — en dat AuK-Flash dat snel genoeg kan voor realtime-achtig gebruik.

Twee checkpoints, één release

De Hugging Face API-tijdstempels vertellen het verhaal van een repository die privé stond voordat hij werd uitgebracht. De basisrepository tencent/AuK werd op 18 augustus 2026 aangemaakt en tencent/AuK-Flash op 21 augustus; beide werden voor het laatst gewijzigd op 8 september, en de modelkaart bevat een nieuwsbericht gedateerd 7 september — “[2026/09/07] AuK is nu open-source. Code en modelgewichten zijn openbaar beschikbaar.” De voor de hand liggende lezing is dat Tencent de repositories half tot eind augustus heeft opgezet, ze rond 7 september openbaar heeft gemaakt en de kaart op 8 september opnieuw heeft aangepast. Er is nergens op het geïndexeerde web iets over het model te vinden, en de downloadtellers staan op tientallen — dus “stille release” is geen retorische keuze, het is de letterlijke situatie.

A screenshot of the Hugging Face repository page for tencent/AuK-Flash, showing the model name under the Tencent organization with the tags Text-to-Speech, Chinese, English, speech, zero-shot-tts, voice-cloning, speech-generation, speech-editing, speech-enhancement, source-separation, speech-separation, instruction-guided, diffusion, distillation and few-step-inference, License mit; the model card headed 'AuK-Flash: Fast 4-Step Speech Generation and Editing' with a news line dated [2026/09/07] reading 'AuK is now open-source. Code and model weights are publicly available. Try it on the Demo Space or the ModelScope Space'; a Contents list covering News, Introduction, Model Architecture, Supported Tasks, Download the weights, Citation and License; a right rail showing the base model tencent/AuK in the model tree and an Inference Providers panel; and the Introduction opening 'AuK is a 1.5B foundation model for speech generation and editing. Trained on millions of hours of diverse audio data, AuK supports zero-shot and instruction-based TTS.'

De twee checkpoints zijn dezelfde architectuur op verschillende momenten in hun levensduur. AuK is de leraar: een basismodel gericht op hoogwaardige generatie. AuK-Flash is de student: gedestilleerd voor snelle inferentie in vier stappen, wat het juist het interessantere inzetbare doelwit maakt en de reden dat het hier de titel voert. Op Tencent's projectpagina wordt de modelfamilie gepresenteerd met ongeveer 1,5 miljard parameters, getraind op wat de kaart alleen omschrijft als "miljoenen uren aan uiteenlopende audiodata" en wat de projectpagina specificeert als ongeveer 1,95 miljoen uur aan effectieve supervisie verspreid over circa 3,03 miljard instructie–audio-instanties. De projectpagina draagt ook de vermeldingen van Shanghai Jiao Tong University en Tencent Hunyuan, waarmee AuK binnen Tencent Hunyuan's onderzoekslijn van open modellen wordt geplaatst, in plaats van in een commerciële productfamilie. Training is niet het enige dat na de pre-training gebeurde: Tencent beschrijft een post-trainingfase die menselijke-feedback-preferentie-optimalisatie voor open-ended bewerking combineert met op beloningen gebaseerde reinforcement learning voor spraakgeneratie.

De variantentabel in de modelkaart is ondubbelzinnig over welke welke is: AuK is "het basismodel voor hoogwaardige generatie", AuK-Flash is "het gedestilleerde model voor snelle 4-staps inferentie". Beide zijn downloadbaar van Hugging Face en van ModelScope onder de Tencent-Hunyuan-naamruimte, en beide dragen de MIT-licentie — een van de meest permissieve licenties die een open-weights-release kan hebben, wat ertoe doet voor iedereen die er een product op wil bouwen.

Wat een instructiegestuurd model daadwerkelijk doet

De interface van AuK is één promptbox: je geeft het model een instructie in natuurlijke taal en, wanneer een taak erom vraagt, een audioreferentie, en het levert audio op. Gegroepeerd volgens de eigen taxonomie van de kaart, zijn de vijf taakfamilies:

• Spraakgeneratie — zero-shot-TTS die een stem kloont uit een referentieclip, en 'instruct TTS' die spraak synthetiseert op basis van alleen een stemomschrijving ('een warme vrouwelijke stem, iets langzamer'), zonder enige referentieaudio.

• Contentbewerking — het herschrijven van wat er gezegd wordt: het vervangen, invoegen of verwijderen van woorden in een bestaande opname, en songtekstbewerking die de woorden van een zangclip herschrijft terwijl de melodie en de stem van de zanger behouden blijven.

• Akoestische bewerking — toonhoogte in halve tonen, spraaksnelheid en volume in decibels, elk aanpasbaar op een bestaande clip terwijl de identiteit en inhoud behouden blijven.

— Paralinguïstische bewerking: emotie, timbre (aan een beschrijving), de-accentuering, het toevoegen of verwijderen van niet-verbale geluiden zoals ademhalingen, lachjes en hoestjes, en het omzetten tussen normale spraak en gefluister.

• Verbetering en scheiding — spraakverbetering (ruisonderdrukking en dereverberatie), spraakscheiding op basis van spreekvolgorde, muziekscheiding die de zangstem uit een mix isoleert, en doelspreker-extractie op basis van wat de spreker zegt.

Die lijst is de daadwerkelijke onderscheidende factor. De meest capabele open spraaksystemen in 2026 zijn sterk in een of twee van deze — stemklonen en TTS zijn de drukke hoek — en zwak of afwezig op de rest. AuK's gok is breedte: dezelfde gewichten, hetzelfde instructieformaat, voor generatie, bewerking en scheiding, wat het soort reikwijdte is dat normaal gesproken alleen wordt uitgebracht als een verzameling fijnafgestemde specialistische modellen.

Hoe het is opgebouwd

Door de repositories en de projectpagina samen te lezen, ontstaat een consistent beeld van de architectuur. AuK is geen autoregressief audio-taalmodel van het soort dat tekst leest en tokens genereert. Het is een flow-matching-diffusiesysteem in de trant van beeldmodellen, met drie onderdelen:

• Een multimodaal groot taalmodel — Qwen/Qwen2.5-Omni-3B, afzonderlijk gedownload — leest de instructie en eventuele referentie-audio en produceert de semantische conditionering.

• Een audio-VAE die gezamenlijk is getraind op spraak, algemene audio en muziek encodeert en decodeert op 24 kHz via akoestische latenten van 50 Hz. De configuratie van de repository identificeert deze als een BigVGANFlowVAE met een latente dimensie van 64 en een 480-voudige downsample; de repository levert deze als een apart vae.safetensors-bestand.

• De generatieve kern is een hybride rectified-flow-Transformer: dual-stream MMDiT-blokken die tekst- en audioconditionering apart houden, gevolgd door unified single-stream DiT-blokken die ze mengen, getraind met flow matching als doelstelling. De gepubliceerde configuratie toont een model met een breedte van 1.536, 24 heads, 10 dual-stream lagen en 20 single-stream lagen.

AuK-Flash is diezelfde transformer na distillatie. Tencent beschrijft een tweetrapsproces: eerst een consistentie-initialisatie op trajectniveau, daarna een "task-routing decoupled" DMD-doelstelling, afgerond met regressiesupervisie op basis van schone voorspellingen. Volgens de projectpagina levert dit een generatiekwaliteit op die vrijwel gelijk is aan die van de teacher, in vier samplingstappen, zonder classifier-free guidance tijdens inferentie en met een snelheidswinst van circa 4,5× in wandkloktijd ten opzichte van het volledige model onder gelijke omstandigheden. Dat zijn beweringen van de leverancier, niet onafhankelijk gereproduceerd, maar ze vormen wel de concrete reden dat AuK-Flash de variant is waar een ontwikkelaar naar grijpt.

Wat Tencent beweert, en wat een lezer kan controleren.

De projectpagina doet sterke kwalitatieve uitspraken — AuK zou 'toonaangevend' zijn op het gebied van generatie en bewerking en 'concurrerend' op hersteltaken op signaalniveau, zoals verbetering en scheiding — en somt de benchmarksuites op die hieraan ten grondslag liggen: Seed-TTS-Eval en InstructTTSEval voor generatie, MMAE-Speech, SpeechEditBench en Ming-Freeform-Audio-Edit voor bewerking, DNSMOS en UTMOS voor perceptuele kwaliteit, en DNS Challenge, CHiME-4 en Libri2Mix voor verbetering en scheiding. Er worden geen numerieke scores op de pagina gepubliceerd, er is geen onderliggend paper en geen enkele derde partij heeft iets ervan gereproduceerd. Elk van deze beweringen is afkomstig van de leverancier en moet in dat licht worden gelezen totdat er een onafhankelijke run bestaat.

A screenshot of the AuK project page (auk-project.github.io) headed 'AuK: An Open-Source Foundational Model for Speech Generation and Editing' with GitHub, Hugging Face and ModelScope buttons and an AuK / AuK-Flash selector; a subtitle reading 'One model for every speech task'; the intro line 'AuK is a 1.5B-parameter foundational model that answers a natural-language instruction with edited or generated audio. A multimodal language model reads the instruction alongside optional reference audio; a 50 Hz VAE supplies acoustic latents; a hybrid transformer fuses both streams under a flow-matching objective'; an Abstract that begins 'We introduce AuK, an open-source foundational model that unifies speech generation and editing through a common interface of natural-language instructions and audio context' and describes roughly 3.03 billion instruction-audio instances and 1.95 million hours of supervision across five task families plus a 4.5x wall-clock speedup claim for AuK-Flash; and a figure titled 'Performance comparison with SOTA models across speech generation, editing, enhancement and separation' referencing Seed-TTS-Eval, InstructTTSEval, MMAE-Speech, SpeechEditBench, Ming-Freeform-Audio-Edit, DNS Challenge, CHiME-4 and Libri2Mix.

Twee andere beweringen moeten worden aangemerkt omdat ze een directe controle op 9 september 2026 niet hebben doorstaan. Ten eerste stelt de kaart dat code openbaar beschikbaar is en linkt deze voor installatie-, Gradio-, ComfyUI- en fine-tuninginstructies naar github.com/Tencent-Hunyuan/AuK — maar die repository geeft op dit moment een HTTP 404 terug en staat niet in de openbare repositories van de Tencent-Hunyuan-organisatie. Het kan zijn dat de code gewoon nog wordt uitgerold; hoe dan ook is "code is beschikbaar" momenteel een bewering op de kaart, niet iets waar een lezer mee aan de slag kan. Ten tweede verwijst de kaart naar demo Spaces op Hugging Face en ModelScope: de ModelScope-studio reageert, maar de Hugging Face Space gaf bij controle een autorisatiemuur, dus de demo's zijn op zijn best gedeeltelijk openbaar.

Wat is er, wat ontbreekt

De balans opmaken op 9 september 2026 onderscheidt een echte release van een complete.

• Heden — twee downloadbare gewichtssets onder een MIT-licentie: tencent/AuK voor het basismodel en tencent/AuK-Flash voor de gedestilleerde vierstapsvariant, elk ongeveer 6,1 GB voor de diffusietransformator plus een gebundelde VAE, gespiegeld op Hugging Face en ModelScope.

• Present — een ongewoon breed taakgebied onder één instructie-interface: generatie, bewerking van inhoud en van akoestische en paralinguïstische aspecten, verbetering en scheiding, allemaal binnen één modelfamilie.

• Heden — een concreet “snel” verhaal: AuK-Flash wordt gedestilleerd tot vier stappen, zonder classifier-vrije sturing, met een door de leverancier geclaimde 4,5× versnelling in doorlooptijd.

• Ontbrekend — een aankondiging. Nog geen enkele Tencent-blogpost, social-mediapost, persbericht of Hunyuan-kanaalpost verwijst naar een van beide repositories.

• Ontbreekt — een paper of technisch rapport. Het citatieblok op de projectpagina is een placeholder zonder auteurs en zonder arXiv-identificatie, en er zijn geen gepubliceerde cijfers achter de benchmarkclaims.

Ontbreekt: toegankelijke code. De GitHub-repository en Cookbook waarnaar de kaart linkt, geven bij de statuscontrole een 404 terug, dus vandaag is het enige uitvoerbare artefact de gewichten plus wat de community eromheen opbouwt.

• Ontbrekend — serving en onafhankelijke evaluatie. Geen enkele inferentieprovider host AuK, er is geen gehoste API, en met slechts tientallen downloads heeft nog niemand een reproductie gepubliceerd.

An infographic titled 'AuK-Flash — the state of play', with six rows reading 'Release: Sept 7, 2026 — quiet, no announcement', 'Weights: ~6.1 GB transformer + VAE, MIT (HF + ModelScope)', 'Family: 1.5B speech foundation — AuK base + AuK-Flash distilled', 'Inference: AuK-Flash 4 steps, no CFG — ~4.5x faster (vendor)', 'Encoder: Qwen2.5-Omni-3B, downloaded separately', 'Independent evals: none yet', and a footer reading 'Specs from the AuK model card, config and project site, Sept 2026 — all vendor-reported.' The OrcaRouter logo is composited in the bottom-right corner.

Vandaag AuK-Flash draaien, of wachten?

Als je AuK-Flash zelf wilt draaien, is het downloadpad expliciet, ook al is de code dat niet: pull tencent/AuK-Flash en tencent/AuK (de base is optioneel, tenzij je de teacher wilt), en pull ook Qwen/Qwen2.5-Omni-3B, want het checkpoint bevat alleen de diffusion-transformer- en layer-fusion-gewichten. De multimodale encoder en de VAE worden tijdens runtime vanuit aparte bestanden geladen, en op de modelkaart staat dat het normaal is dat er tijdens het laden text_encoder-keys ontbreken. De hardware is de echte beperking. Dit is een diffusion-transformer van ~1.5B waarvan het checkpoint alleen al ~6.1 GB groot is, die draait naast een multimodale encoder van ~3B en een VAE. Een GPU met 24 GB is dus het verstandige startpunt, geen laptopmodel. De geheugenopmerkingen in de config — waarin staat dat gradient checkpointing de trainingspieken van ruwweg 91 GB terugbrengt naar 75 GB — gaan over training en moeten niet worden gelezen als vereisten voor inferentie. Qua software staat de config standaard op de flash-attention-backend, maar de inferentie-CLI kan terugvallen op een gewone torch-attention-backend, waardoor de flash-attn-buildstap bij een eerste run vervalt.

Of dat vandaag de moeite waard is, hangt af van wat je bouwt. De eerlijke stand van zaken is dat dit een model is om in de gaten te houden en in een sandbox te testen, maar nog niet een om aan een productiepipeline te koppelen — zonder paper, zonder toegankelijke code en zonder onafhankelijke evaluatie rusten de claims over de mogelijkheden volledig op het woord van Tencent. Voor een team dat vandaag spraakgeneratie, -bewerking of -scheiding via een API wil, is een model dat daadwerkelijk wordt geserveerd de pragmatische keuze; dat is precies de rol die OrcaRouter speelt voor de modellen die wél endpoints hebben: één API voor 200+ modellen, met de lijstprijzen van providers zonder opslag doorberekend, dus de prijs van een leverancier is vanaf dag één ook jouw prijs, en automatische failover zodat een onbewezen nieuwkomer kan worden uitgeprobeerd op een deel van het echte verkeer zonder de hele pipeline op het spel te zetten. Niets daarvan geldt vooralsnog voor AuK of AuK-Flash, omdat niemand ze serveert. Zodra een provider AuK host, wordt de routereconomie de goedkope manier om het te evalueren; tot die tijd is de keuze: de weights zelf hosten of wachten.

Veelgestelde vragen

Is AuK of AuK-Flash beschikbaar via een API?

Nee. Beide zijn uitsluitend gewichtenreleases. Geen enkele inferentieprovider host ze en er bestaat geen gehoste API, dus er is vandaag niets om aan te roepen — de enige manier om ze te gebruiken is door de gewichten te downloaden en ze zelf uit te voeren.

Wat is het verschil tussen AuK en AuK-Flash?

Dezelfde modelfamilie in twee fasen. {{1}}AuK is het basismodel, gericht op generatie van hoge kwaliteit;{{/1}} {{2}}AuK-Flash is de gedistilleerde variant, afgestemd op snelle inferentie in vier stappen zonder classifier-free guidance. Volgens Tencent draait dit model onder identieke omstandigheden ongeveer 4,5× sneller dan het basismodel.{{/2}} Die versnellingsfactor is door de leverancier opgegeven en niet onafhankelijk gemeten.

Kan AuK-Flash commercieel worden gebruikt?

De gewichten worden uitgebracht onder de MIT-licentie, die commercieel gebruik met behoud van de licentievermelding toestaat — de minst restrictieve gangbare open-weights-licentie. De afzonderlijke coderepository waarnaar de kaart linkt, is op 9 september 2026 niet bereikbaar, dus de praktische vraag over codehergebruik blijft open totdat de repository beschikbaar is.

Wat te kijken

• De coderepository — github.com/Tencent-Hunyuan/AuK — is veruit het waardevolste ontbrekende onderdeel. Zodra die beschikbaar is, veranderen de instructiesjablonen van het Cookbook de bovenstaande takenlijst van marketing in iets uitvoerbaars.

• Een onafhankelijke run — de eerste reproductie door een derde partij zal uitwijzen of de claims over "toonaangevende" generatie en bewerking standhouden bij echt audio, en of vierstaps AuK-Flash echt het basismodel benadert.

• Een paper — de citatie op de projectpagina is een placeholder, wat meestal betekent dat er een arXiv-inzending aankomt; de trainingsreceptuur, de benchmarkcijfers en het distillatiedetail staan daar allemaal in.

• Een serving listing — de eerste inferentieprovider die AuK host, verandert het van een directory van gewichten in een aanroepbaar model met een prijs, en dat is het moment waarop het via een router uitprobeerbaar wordt in plaats van als self-hostingproject.

AuK en AuK-Flash zijn echt maar onafgewerkt, zoals de interessantste open releases meestal zijn: de gewichten zijn eerlijk, en het verhaal eromheen is nog niet geschreven. Zet tencent/AuK-Flash in je bladwijzers, behandel elke claim over mogelijkheden als een leveranciersclaim totdat er een paper of een onafhankelijke benchmark verschijnt, en kijk of de komende dagen de code zullen brengen die dit van een veelbelovend artefact in iets bouwbaars verandert.