Ling-3.0-flash-base: Ant Groups tyst checkpoint-släpp, nu officiellt

Ant Groups inclusionAI-labb laddade upp Ling-3.0-flash-base och fem systercheckpoints till Hugging Face den 11 augusti 2026 utan något tillkännagivande, och under en hel vecka låg alla sex repositories på noll nedladdningar — ingen utanför labbet verkade ha märkt det. Sedan, den 19 augusti, presenterade labbets officiella konto samlingen offentligt, och varje modellkort i den uppdaterades inom minuter. Detta är en "vad vi vet hittills"-artikel om den releasen. Kortversionen först: Ling-3.0-flash-base är inte en chattmodell och är inte tänkt att vara det. Det är den råa pre-alignment-bascheckpointen för Ling-3.0-flash, Mixture-of-Experts-modellen med 124 miljarder parametrar och 5,1 miljarder aktiva parametrar, släppt under MIT för personer som vill fortsätta träna den snarare än att anropa den.

Tidslinjen: en vecka av tystnad, sedan ett tillkännagivande.

Sekvensen spelar roll, eftersom den talar om hur du ska läsa allt annat i den här texten. De sex arkiven skapades alla den 11 augusti, och vikterna för Ling-3.0-flash-base — den sammanslagna checkpointen, den som den här texten är uppkallad efter — landade med en commit märkt ”initial model release” den 12 augusti. Inget blogginlägg, ingen social tråd, inget tillkännagivande åtföljde det. Vid undersökningstillfället, en vecka senare, visade vart och ett av de sex arkiven fortfarande noll nedladdningar.

Den tystnaden bröts den 19 augusti. Det officiella Ant Ling-kontot tillkännagav checkpoint-samlingen offentligt, och Hugging Face-korten för alla sex repositories uppdaterades inom några minuter från varandra — tidsstämplarna stämmer nästan exakt. Så den ärliga beskrivningen är: vikterna släpptes tyst, tillkännagivandet kom en vecka för sent, och allt som för närvarande går att veta om releasen kommer från modellkorten själva plus ett kort training-cookbook-repository. Inget annat har ännu oberoende verifierats.

Vad som faktiskt levererades: sex checkpoints, tre träningssteg

InclusionAI beskriver releasen som ”en samling kontrollpunkter under träningsprocessen” för Ling-3.0-serien, dess mest effektiva språkmodellsfamilj hittills. För var och en av de två minsta storlekarna — Ling-3.0-tiny och Ling-3.0-flash — publicerade labbet tre kontrollpunkter, en per träningssteg:

• Förtränade — Ling-3.0-flash-base-30T och Ling-3.0-tiny-base-30T: slutförde storskalig förträning; ingen mellanförträning, ingen sammanslagning, ingen efterträning.

• Mellantränad — Ling-3.0-flash-base-midtrain och Ling-3.0-tiny-base-midtrain: slutförde mellan-träningsfasen; ingen kontrollpunktsammanslagning och ingen efterträning.

• Sammanslagna — Ling-3.0-flash-base och Ling-3.0-tiny-base: de WSM-sammanslagna bascheckpunkterna, producerade från de mitttränade vikterna och som representerar det slutliga bastillståndet före efterträningen.

Alla sex är bascheckpoints. Ingen har genomgått align-steget — övervakad finjustering, preferensoptimering, RL — som förvandlar en basmodell till något du kan sätta framför användare. Model card säger det i klartext: inte rekommenderad för direkt chattdistribution till slutanvändare, säkerhetskritiska applikationer utan ytterligare alignment och utvärdering, eller produktionsanvändning utan post-träning och uppgiftsspecifik validering.

Vad en bascheckpoint är — och varför WSM-twisten spelar roll

Om du bara någonsin har konsumerat modeller via ett API kan en "base checkpoint" låta som en mindre eller äldre version av en modell du redan känner. Det är varken eller. En base checkpoint är den ojusterade neurala nätverksviktsfilen som kommer från förträning; det instruktionsföljande och verktygsanropande beteendet du faktiskt använder läggs ovanpå den efteråt. Att släppa base checkpoints är hur ett labb ger forskningssamhället råmaterialet för att själva göra fortsatt förträning, finjustering, destillering och RL.

Det som gör den här releasen mer intressant än en typisk basviktsdump är träningsreceptet bakom den. InclusionAI använder en teknik som de kallar Warmup-Stable and Merge (WSM), och den ersätter den konventionella nedtrappningen av inlärningstakten i slutet av träningen med viktad sammanslagning av checkpoints. Enkelt uttryckt: i stället för att låta inlärningstakten klinga av för att avsluta körningen, tränar labbet i en stabil takt, sparar checkpoints längs den sista sträckan och slår samman dem med inlärda vikter. Leverantörens angivna motiv, från modellkortet:

• Eftersom det inte finns någon avklingningsfas för att "baka in" den slutliga datamixen, är den resulterande basmodellen bättre lämpad för fortsatt förträning och dynamisk dataexpansion.

• Eftersom sammanslagningsreceptet kan utforskas offline, kan ett team jämföra olika avklingningsprofiler utan att köra om den dyra träningskörningen för varje profil.

Den andra punkten är den som gör releasen till en forskningsartefakt snarare än en kuriositet: hela poängen med dessa checkpoints är att de är avsedda att tränas vidare på, och receptet är utformat för att tolerera det.

Vad finns inuti Ling-3.0-flash-base

Arkitekturen är identisk med den posttränade Ling-3.0-flash, som borde vara bekant från den bredare bevakningen av den modellen. Från modellkortet och config.json:

• Storlek — 124B totala parametrar enligt leverantören (hela checkpoint-filen på disk, inklusive embeddings, uppgår till ungefär 127B på Hugging Face), med 5.1B aktiverade per token.

• Sparsity — en MoE med 1/64 sparsitet: 512 routade experter, med 8 routade experter och 1 delad expert aktiverade för varje token.

• Attention — en inbyggd hybridlinjär design: 35 Kimi Delta Attention-lager (KDA) och 7 Gated MLA-lager i ett 5:1-upprepningsmönster över 42 transformerlager.

• Kontext — konfigurationen har en positionsinbäddning för 256K-token (262,144), samma inbyggda kontext som den posttränade syskonmodellen.

• Vikter — BF16, levererade som 28 safetensors-shards (~255 GB på disk), med den specialanpassade bailing_hybrid modelleringskoden som medföljer i repositoryt.

• Licens — MIT, utan villkor om tillåten användning.

En ärlig brasklapp om storlekssiffran: leverantörens modellkort säger "Total 124B," och det är den siffra som cirkulerar överallt — men det totala antalet safetensors-parametrar i arkivet är cirka 127,5B när inbäddningslagret är inkluderat. Siffran 124B är totalen utan inbäddning, och de två siffrorna står inte i konflikt med varandra; det är värt att veta vilken du tittar på när du ser "127B" i en sidofält eller en nedladdare.

Vad det är till för, och vad det inte är

Modellkortets rekommenderade användningsområden är otvetydiga:

• Fortsatt förträning

• Mellanträning

• Övervakad finjustering för domänanpassning

• Preferensoptimering och RL-efterträning

• Destillationsforskning

• Forskning om långa kontexter och MoE-system

Och dess lista över "inte rekommenderat som det är" är minst lika tydlig: direkt utplacering för slutanvändarchatt, säkerhetskritiska applikationer utan anpassning, produktionsanvändning utan efterträning. Med andra ord är detta råmaterial för människor som tränar modeller, inte en modell som människor distribuerar. Om du inte har några planer på att finjustera eller förträna något, finns det ingenting för dig att ladda ner här – och det är inget fel med det.

Den andra halvan av historien är den sömlöst skalbara designen. InclusionAI uppger att Ling-3.0-tiny-base och Ling-3.0-flash-base delar samma träningsrecept, så att communityn kan validera en strategi för fortsättningsförträning eller finjustering på den lilla checkpointen först — vilket ryms i betydligt mindre GPU-minne — och sedan skala samma validerade recept till den större flash-checkpointen. Det är ett medvetet arbetsflödesval, inte en tillfällighet i releaselogistiken, och det är den mest användbara egenskapen i samlingen för alla som faktiskt vill experimentera.

Hårdvarans verklighet, och den väg de flesta faktiskt vill ha

Det finns ingen väg runt storleken på basmodellernas vikter. BF16 på ~255 GB innebär en seriös multi-GPU-nod (eller en minnesoptimerad träningsuppsättning) innan du ens börjar; det finns ingen officiell FP8- eller FP4-kvantisering av bascheckpointen — de kvantiserade varianterna som finns i organisationens katalog är för den eftertränade modellen. Finjusteringsexemplen finns i inclusionAI/ling-cookbook GitHub-repot, som uttryckligen är ett pågående arbete. Om fortsatt förträning inte är ditt teams fokus, är bascheckpointarna inte din ingångspunkt.

De flesta som läser om Ling-3.0-familjen vill inte ha en bascheckpoint alls — de vill ha modellen som pratar. Det är den post-tränade Ling-3.0-flash, tillgänglig via leverantörens eget API och flera tredjepartsplattformar. När en sådan snabb, nyligen släppt modell med öppna vikter dyker upp är det billigaste sättet att utvärdera den mot din nuvarande stack att köra den sida vid sida med det du redan använder — och det är precis vad en router är till för: ett API, en nyckel och automatisk redundans så att en störning hos en leverantör inte avslutar testet. OrcaRouter ansluter till 200+ modeller på detta sätt och förmedlar leverantörernas listpriser direkt med 0 % påslag, så priset du ser är leverantörens eget pris, och en andel från leverantören hamnar hos oss samma dag.

Vad som ännu inte är bekräftat

Eftersom releasen är en dag gammal, räknat från tillkännagivandet, är den obekräftade listan lång och bör läsas som en att-göra-lista, inte som kritik:

• Inga oberoende benchmarks av bascheckpoint.Modellkortet innehåller ett leverantörsbenchmarkdiagram som jämför Ling-3.0-flash-base med förtränade motsvarigheter inom matematik, kodning, resonemang, flerspråkighet och långkontextsviter — men det är leverantörens egen utvärdering, hostad på en intern bildserver, utan metodavsnitt och utan tredjepartsreproduktion.

• Inga community-reproduktioner ännu. Vid forskningstillfället visade alla sex repositories noll nedladdningar och i princip inget engagemang. Släppet är för färskt för att någon ska ha publicerat en oberoende finjustering eller fortsatt förträningskörning ovanpå dessa vikter.

• Verktygsstödet är tidigt. Den bailing_hybrid arkitekturen levereras med specialskriven modelleringskod, så du är beroende av trust_remote_code eller på ett ramverk som har lagt till stöd. Finjusteringskokboken är uttryckligen under arbete.

• Själva tillkännagivandet är tunt. Den offentliga introduktionen kom som en X-tråd och modellkorten; det finns inget fristående lanseringsdokument som beskriver träningsdata, beräkningsresurserna eller det exakta sammanslagningsreceptet utöver vad korten anger.

Däremot har den posttränade syskonmodellen en oberoende meritlista: Ling-3.0-flash spåras av Artificial Analysis med ett intelligensindex på 38 — en siffra som kommer från leaderboarden, inte från leverantören. Inget av det finns ännu för Ling-3.0-flash-base; en bascheckpoint tillhandahålls ingenstans, så den finns inte på någon leaderboard. De två artefakterna befinner sig i helt olika verifieringsstadier, och det hjälper att inte blanda ihop dem.

Vem bör agera nu

Tre grupper bör läsa detta på olika sätt:

• Forskare som gör fortsatt förträning, domän-SFT eller destillering — det här är releasen för dig. WSM-merged-bascheckpointen är specifikt byggd för att tränas vidare, och tiny-then-flash-receptet ger dig ett billigt sätt att validera en metod innan du skalar upp den. Börja med Ling-3.0-tiny-base, verifiera receptet och gå sedan vidare till Ling-3.0-flash-base.

• Ingenjörer som vill ha en fungerande modell — du vill ha den posttränade Ling-3.0-flash, inte den här versionen. Bascheckpointarna följer inte instruktioner och serveras inte någonstans; peka inte en API-klient mot dem.

• Alla andra — det användbara draget är att titta. De intressanta signalerna under de kommande veckorna är en första oberoende finjustering byggd på dessa vikter, en community-reproduktion av leverantörens benchmarkdiagram, och huruvida en tredjeparts träningsstack ger förstklassigt stöd för bailing_hybrid arkitekturen.

Vanliga frågor

Vad är skillnaden mellan Ling-3.0-flash-base och Ling-3.0-flash?

Ling-3.0-flash är den post-tränade modellen — anpassad med övervakad finjustering och RL, följer instruktioner, utför verktygsanrop och serveras via API:er. Ling-3.0-flash-base är samma arkitektur i ett tidigare skede: det är den slutliga sammanslagna bascheckpointen innan någon post-träning, och den kommer inte att bete sig som en chattmodell. Basen finns så att forskare kan göra sin egen fortsatta förträning, finjustering eller destillering istället för att börja från grunden.

Varför skulle ett labb släppa checkpoints som inte har post-tränats?

Eftersom post-training är precis vad de flesta forskare vill göra själva, och en bascheckpoint är rätt utgångspunkt för det. Att släppa de förtränade, mellantränade och sammanslagna checkpointsen separat gör att ett team kan välja det stadium som matchar deras arbete: fortsatt förträning från den förtränade vikten, eller finjustering och RL från den sammanslagna basen — och, tack vare WSM, utan de begränsningar som nedtrappningen av inlärningshastigheten innebär och som gör en basmodell skör när du tränar den vidare.

Kan jag köra Ling-3.0-flash-base på konsumenthårdvara?

Inte i praktiken. BF16-vikterna är ungefär 255 GB fördelade över 28 shards, utan någon officiell kvantiserad variant av bascheckpointen. Den mindre syskonmodellen, Ling-3.0-tiny-base, är den som är avsedd för experiment på mer blygsam hårdvara — och den delar flash-checkpointens träningsrecept, så validerade experiment skalar upp.

Är Ling-3.0-flash-base gratis att använda kommersiellt?

Ja — den släpps under MIT-licensen utan något villkor om tillåten användning. Det täcker både forskningsanvändning och i princip kommersiell användning av vikterna och av eventuella finjusteringar som byggts från dem. Det är en basmodell, så "användning" här innebär träning på den; licensen säger inget om en hostad API, eftersom det inte finns någon för basmodellen.

Slutsats

För de flesta läsare, Ling-3.0-flash-base är en pekare, inte en produkt: den talar om vart Ling-3.0-familjen är på väg och hur labbet tänker sig att communityn ska bygga vidare på den, men det finns ingenting här att anropa via ett API. För den mindre grupp som faktiskt håller på med fortsatt förträning, finjustering eller destillering är det en verkligt användbar release — sex checkpoints, MIT-licensierade, avsiktligt utformade för att tränas vidare på, med en tiny-first-väg som gör experimenterande överkomligt. Det som skulle flytta den från "användbar release" till "beprövat recept" är precis det som saknas idag: en oberoende reproduktion, av någon utanför labbet, av vad WSM-checkpoints kan göra när någon fortsätter att träna dem.