Ling-3.0-flash-base: Ant Groups stille checkpoint-release, nu officieel

Het inclusionAI-lab van Ant Group uploadde Ling-3.0-flash-base en vijf zustercheckpoints naar Hugging Face op 11 augustus 2026, zonder enige aankondiging, en een hele week lang stonden alle zes repositories op nul downloads — niemand buiten het lab leek het te hebben opgemerkt. Vervolgens stelde het officiële account van het lab op 19 augustus de collectie publiekelijk voor, en elke modelkaart erin werd binnen enkele minuten bijgewerkt. Dit is een 'wat we tot nu toe weten'-stuk over die release. De korte versie vooraf: Ling-3.0-flash-base is geen chatmodel en is ook niet als zodanig bedoeld. Het is het ruwe, pre-alignment basischeckpoint van Ling-3.0-flash, het Mixture-of-Experts-model met 124B parameters en 5.1B actieve parameters, uitgebracht onder de MIT-licentie voor mensen die het verder willen trainen in plaats van het aan te roepen.

De tijdlijn: een week stilte, dan een aankondiging.

De volgorde is belangrijk, omdat die je vertelt hoe je al het andere in dit stuk moet lezen. De zes repositories zijn allemaal op 11 augustus aangemaakt, en de gewichten voor Ling-3.0-flash-base — de samengevoegde checkpoint, degene waarnaar dit artikel is vernoemd — kwamen op 12 augustus binnen met een "initial model release"-commit. Geen blogpost, geen social thread, geen aankondiging ging ermee gepaard. Ten tijde van het onderzoek, een week later, vertoonden alle zes repositories nog steeds nul downloads.

Die stilte eindigde op 19 augustus. Het officiële Ant Ling-account kondigde de checkpointcollectie publiek aan, en de Hugging Face-kaarten voor alle zes repositories werden binnen enkele minuten van elkaar bijgewerkt — de tijdstempels komen bijna exact overeen. Dus de eerlijke framing is: de gewichten werden stil verscheept, de aankondiging kwam een week te laat, en alles wat momenteel bekend is over de release komt van de modelkaarten zelf plus een korte training-cookbook-repository. Er is nog niets anders onafhankelijk geverifieerd.

Wat er daadwerkelijk is uitgebracht: zes checkpoints, drie trainingsfasen.

InclusionAI beschrijft de release als "een verzameling checkpoints tijdens het trainingsproces" voor de Ling-3.0-serie, zijn meest efficiënte familie van fundamentele taalmodellen tot nu toe. Voor elk van de twee kleinste groottes — Ling-3.0-tiny en Ling-3.0-flash — publiceerde het lab drie checkpoints, één per trainingsfase:

• Voorgetraind — Ling-3.0-flash-base-30T en Ling-3.0-tiny-base-30T: hebben grootschalige pre-training voltooid; geen mid-training, geen merging, geen post-training.

• Midden-getraind — Ling-3.0-flash-base-midtrain en Ling-3.0-tiny-base-midtrain: de mid-trainingfase voltooid; geen checkpoint-samenvoeging en geen post-training.

• Samengevoegd — Ling-3.0-flash-base en Ling-3.0-tiny-base: de WSM-samengevoegde basischeckpoints, geproduceerd uit de tussentijds getrainde gewichten en die de uiteindelijke basistoestand vóór de post-training vertegenwoordigen.

Alle zes zijn basis-checkpoints. Geen enkele heeft de alignment-fase doorlopen — gesuperviseerde fine-tuning, preferentie-optimalisatie, RL — die van een basismodel iets maakt dat je rechtstreeks aan gebruikers kunt aanbieden. De modelkaart vermeldt dit in duidelijke bewoordingen: niet aanbevolen voor directe chatimplementatie voor eindgebruikers, veiligheidskritieke toepassingen zonder aanvullende alignment en evaluatie, of productiegebruik zonder post-training en taakspecifieke validatie.

Wat een basis-checkpoint is — en waarom de WSM-twist ertoe doet

Als je modellen alleen maar via een API hebt verbruikt, kan een "base checkpoint" klinken als een kleinere of oudere versie van een model dat je al kent. Dat is het niet. Een base checkpoint is het niet-afgestemde neurale-netwerkgewichtsbestand dat voortkomt uit de pre-training; het instructie-volgende en tool-aanroepende gedrag dat je daadwerkelijk gebruikt, wordt er daarna bovenop gelegd. Het vrijgeven van base checkpoints is hoe een lab de onderzoeksgemeenschap het ruwe materiaal in handen geeft om zelf verder te pre-trainen, fine-tunen, destilleren en RL toe te passen.

Wat deze release interessanter maakt dan een typische dump van basisgewichten is het trainingsrecept dat erachter zit. InclusionAI gebruikt een techniek die het noemt Warmup-Stable and Merge (WSM), en het vervangt de conventionele afname van de leersnelheid aan het einde van de training door gewogen checkpoint-samenvoeging. Simpel gezegd: in plaats van de leersnelheid te laten afnemen om de run af te ronden, traint het lab met een constante leersnelheid, slaat het checkpoints op in het laatste stuk en voegt het ze samen met geleerde gewichten. De door de leverancier genoemde motivaties, uit de modelkaart:

• Omdat er geen afbouwfase is om de uiteindelijke datamix "in te bakken", is het resulterende basismodel beter geschikt voor voortgezette pre-training en dynamische data-uitbreiding.

• Omdat het merge-recept offline kan worden verkend, kan een team verschillende vervalprofielen vergelijken zonder de dure trainingsrun opnieuw uit te voeren voor elk daarvan.

Dat tweede punt is het punt dat de release tot een onderzoeksartefact maakt in plaats van een curiositeit: het hele doel van deze checkpoints is dat ze bedoeld zijn om verder op getraind te worden, en het recept is ontworpen om dat te kunnen verdragen.

Wat zit er in Ling-3.0-flash-base

De architectuur is identiek aan de post-getrainde Ling-3.0-flash, die al bekend zou moeten zijn uit de bredere berichtgeving over dat model. Uit de modelkaart en config.json:

• Grootte — 124B totale parameters volgens de leverancier (de volledige checkpoint op schijf, inclusief embeddings, telt ongeveer 127B op Hugging Face), met 5.1B geactiveerd per token.

• Sparsiteit — een 1/64 sparse MoE: 512 gerouteerde experts, waarbij voor elk token 8 gerouteerde experts en 1 gedeelde expert worden geactiveerd.

• Aandacht — een native hybride-lineair ontwerp: 35 Kimi Delta Attention (KDA)-lagen en 7 Gated MLA-lagen in een herhalingspatroon van 5:1 over 42 transformerlagen.

• Context — de configuratie bevat een positionele embedding van 256K tokens (262.144), dezelfde native context als het post-getrainde zustermodel.

• Gewichten — BF16, geleverd als 28 safetensors-shards (~255 GB op schijf), met de aangepaste bailing_hybrid modelcode gebundeld in de repository.

• Licentie — MIT, zonder aanvullende bepalingen voor acceptabel gebruik.

Een eerlijke kanttekening bij het omvangcijfer: de modelkaart van de leverancier vermeldt "Total 124B," en dat is het getal dat overal circuleert — maar het totale aantal safetensors-parameters in de repository is ongeveer 127,5B wanneer de embeddinglaag wordt meegerekend. Het getal 124B is het totaal exclusief embedding, en de twee getallen spreken elkaar niet tegen; het is de moeite waard om te weten naar welke je kijkt wanneer je "127B" ziet in een zijbalk of een downloader.

Waarvoor het dient, en waarvoor het niet dient

De aanbevolen gebruiksscenario's van de modelkaart zijn ondubbelzinnig:

• Voortgezette pre-training

• Midden in de training

• Supervised fine-tuning voor domeinadaptatie

• Voorkeursoptimalisatie en RL-posttraining

• Destillatieonderzoek

• Onderzoek naar long-context- en MoE-systemen

En de lijst van "niet aanbevolen zoals het is" is net zo expliciet: directe chatimplementatie voor eindgebruikers, veiligheidskritieke toepassingen zonder alignment, productiegebruik zonder post-training. Met andere woorden, dit is ruw materiaal voor mensen die modellen trainen, niet een model dat mensen inzetten. Als je niet van plan bent om iets te fine-tunen of te pre-trainen, valt er hier niets voor je te downloaden — en daar is niets mis mee.

De andere helft van het verhaal is het naadloos schalende ontwerp. InclusionAI stelt dat Ling-3.0-tiny-base en Ling-3.0-flash-base dezelfde trainingsprocedure delen, zodat de community eerst een strategie voor voortgezette pretraining of fine-tuning kan valideren op het tiny-checkpoint — dat veel minder GPU-geheugen vereist — en vervolgens dezelfde gevalideerde procedure kan opschalen naar het grotere flash-checkpoint. Dat is een bewuste workflowkeuze, geen toeval in de release-logistiek, en het is de meest bruikbare eigenschap van de collectie voor iedereen die daadwerkelijk wil experimenteren.

Hardware-realiteit, en de route die de meeste mensen eigenlijk willen.

Er valt niet om de omvang van de flash-basisgewichten heen te komen. BF16 bij ~255 GB betekent een serieuze multi-GPU-node (of een geheugen-geoptimaliseerde trainingsopstelling) voordat je ook maar begint; er is geen officiële FP8- of FP4-kwantificatie van de basischeckpoint — de gekwantificeerde varianten die in de catalogus van de organisatie bestaan, zijn voor het na-getrainde model. De fine-tuning-voorbeelden staan in de inclusionAI/ling-cookbook GitHub-repository, die expliciet een work in progress is. Als voortgezette pre-training niet de focus van je team is, zijn de basischeckpoints niet je instappunt.

De meeste mensen die over de Ling-3.0-familie lezen, willen helemaal geen basis-checkpoint — ze willen het model dat praat. Dat is het post-getrainde Ling-3.0-flash, beschikbaar via de eigen API van de leverancier en verschillende platforms van derden. Wanneer zo'n snel, nieuw uitgebracht open-weights-model verschijnt, is de goedkoopste manier om het te beoordelen ten opzichte van je huidige stack om het naast wat je al gebruikt te draaien — en dat is precies waar een router voor dient: één API, één sleutel, en automatische failover zodat een hapering bij de provider de proef niet laat mislukken. OrcaRouter verbindt op deze manier met 200+ modellen en geeft de lijstprijzen van providers direct door zonder opslag, dus de prijs die je ziet is de eigen prijs van de provider, en een provisie van de leverancier wordt dezelfde dag aan onze kant bijgeschreven.

Wat is nog niet bevestigd?

Omdat deze release in aankondigingstermen een dag oud is, is de onbevestigde lijst lang en moet deze worden gelezen als een takenlijst, niet als kritiek:

• Geen onafhankelijke benchmarks van het base-checkpoint.De modelkaart bevat een benchmarkgrafiek van de leverancier waarin Ling-3.0-flash-base wordt vergeleken met voorgetrainde peers op het gebied van wiskunde, coderen, redeneren, meertaligheid en long-context-suites — maar het is de eigen evaluatie van de leverancier, gehost op een interne imageserver, zonder methodologieparagraaf en zonder reproductie door derden.

• Nog geen community-reproducties. Op het moment van onderzoek vertoonden alle zes repositories nul downloads en vrijwel geen betrokkenheid. De release is te vers om al een onafhankelijke fine-tune of continued-pretraining-run op basis van deze gewichten gepubliceerd te hebben.

• Tooling is nog pril. De bailing_hybrid architectuur wordt geleverd met aangepaste modelcode, dus je bent afhankelijk van trust_remote_code of van een framework dat ondersteuning heeft toegevoegd. Het kookboek voor fine-tuning is expliciet werk in uitvoering.

• De aankondiging zelf is mager. De publieke introductie kwam als een X-thread en de modelkaarten; er is geen op zichzelf staand lanceringdocument dat de trainingsdata, de rekenkracht, of het exacte merge-recept beschrijft, naast wat de kaarten vermelden.

Daarentegen heeft het nagetrainde zusje wel een onafhankelijke staat van dienst: Ling-3.0-flash wordt door Artificial Analysis bijgehouden met een Intelligence Index van 38 — een cijfer dat afkomstig is van het leaderboard, niet van de leverancier. Niets daarvan bestaat nog voor Ling-3.0-flash-base; een basis-checkpoint wordt nergens aangeboden, dus staat het op geen enkel leaderboard. De twee artefacten bevinden zich in totaal verschillende stadia van verificatie, en het helpt om ze niet door elkaar te halen.

Wie moet nu handelen

Drie groepen zouden dit anders moeten lezen:

• Onderzoekers die bezig zijn met voortgezette pre-training, domein-SFT of distillatie — dit is de release voor jou. De WSM-merged base checkpoint is speciaal gebouwd om er verder op te trainen, en het tiny-then-flash-recept biedt je een goedkope manier om een aanpak te valideren voordat je opschaalt. Begin met Ling-3.0-tiny-base, bewijs het recept en ga dan over naar Ling-3.0-flash-base.

• Ingenieurs die een werkend model willen — je wilt de post-getrainde Ling-3.0-flash, niet deze release. De basis-checkpoints zullen geen instructies opvolgen en worden nergens aangeboden; richt geen API-client erop.

• Alle anderen — de nuttige zet is om toe te kijken. De interessante signalen in de komende weken zijn een eerste onafhankelijke fine-tune op basis van deze gewichten, een community-reproductie van de benchmarkgrafiek van de leverancier, en of een externe trainingsstack eersteklas ondersteuning biedt voor de bailing_hybrid architectuur.

Veelgestelde vragen

Wat is het verschil tussen Ling-3.0-flash-base en Ling-3.0-flash?

Ling-3.0-flash is het post-getrainde model — afgestemd via supervised fine-tuning en RL, volgt instructies op, voert tool-aanroepen uit en wordt via API's aangeboden. Ling-3.0-flash-base is dezelfde architectuur in een eerder stadium: het is het laatste samengevoegde basis-checkpoint vóór enige post-training, en het zal zich niet gedragen als een chatmodel. De basis bestaat zodat onderzoekers hun eigen voortgezette pre-training, fine-tuning of distillatie kunnen doen in plaats van vanaf nul te beginnen.

Waarom zou een lab checkpoints uitbrengen die niet post-getraind zijn?

Omdat post-training precies is wat de meeste onderzoekers zelf willen doen, en een basis-checkpoint het juiste startpunt daarvoor is. Het afzonderlijk uitbrengen van de voorgetrainde, middentrainde en samengevoegde checkpoints betekent dat een team het stadium kan kiezen dat bij hun werk past: doorgaan met vooraf trainen vanuit het voorgetrainde gewicht, of fine-tunen en RL vanuit de samengevoegde basis — en, dankzij WSM, zonder de learning-rate-decay-beperkingen die een basismodel kwetsbaar maken wanneer je het verder traint.

Kan ik Ling-3.0-flash-base draaien op consumentenhardware?

Niet praktisch. De BF16-gewichten zijn ongeveer 255 GB verdeeld over 28 shards, zonder officiële gekwantiseerde variant van de basis-checkpoint. Het kleinere zusje, Ling-3.0-tiny-base, is degene die bedoeld is voor experimenten op bescheidener hardware — en het deelt het trainingsrecept van de flash-checkpoint, dus gevalideerde experimenten schalen op.

Is Ling-3.0-flash-base gratis te gebruiken voor commerciële doeleinden?

Ja — het is vrijgegeven onder de MIT-licentie zonder een clausule over aanvaardbaar gebruik. Dat dekt zowel onderzoeksgebruik als, in principe, commercieel gebruik van de gewichten en van eventuele fine-tunes die daaruit zijn voortgebouwd. Het is een basis-checkpoint, dus 'gebruik' betekent hier trainen op het model; de licentie zegt niets over een gehoste API, omdat die niet bestaat voor het basismodel.

Kortom

Voor de meeste lezers, Ling-3.0-flash-base is een verwijzing, geen product: het vertelt je waar de Ling-3.0-familie naartoe gaat en hoe het lab bedoelt dat de community erop voortbouwt, maar er is hier niets om via een API aan te roepen. Voor de kleinere groep die zich daadwerkelijk bezighoudt met pre-training, fine-tuning of distillatie, is het een echt nuttige release — zes checkpoints, onder MIT-licentie, doelbewust ontworpen om verder op te trainen, met een tiny-first-pad dat experimenten betaalbaar maakt. Wat het van "nuttige release" naar "bewezen recept" zou brengen, is precies wat vandaag ontbreekt: een onafhankelijke reproductie, door iemand buiten het lab, van wat WSM-checkpoints kunnen doen wanneer iemand ze blijft trainen.