Ling-3.0-flash-base: Ant Groups unauffälliges Checkpoint-Release, jetzt offiziell

Das inclusionAI-Labor von Ant Group hat Ling-3.0-flash-base und fünf Schwester-Checkpoints am 11. August 2026 ohne Ankündigung auf Hugging Face hochgeladen, und eine ganze Woche lang wiesen alle sechs Repositories null Downloads auf — niemand außerhalb des Labors schien es bemerkt zu haben. Am 19. August stellte dann das offizielle Konto des Labors die Sammlung öffentlich vor, und jede Modellkarte darin wurde innerhalb von Minuten aktualisiert. Dies ist ein Artikel darüber, was wir bisher über diese Veröffentlichung wissen. Die Kurzfassung vorweg: Ling-3.0-flash-base ist kein Chat-Modell und soll keines sein. Es ist der rohe, vor dem Alignment stehende Basis-Checkpoint von Ling-3.0-flash, dem Mixture-of-Experts-Modell mit 124 Mrd. Parametern und 5,1 Mrd. aktiven Parametern, das unter MIT-Lizenz für Leute veröffentlicht wurde, die es weiter trainieren möchten, statt es abzurufen.

Der Zeitplan: eine Woche Stille, dann eine Ankündigung

Die Reihenfolge ist wichtig, denn sie zeigt, wie alles andere in diesem Artikel zu lesen ist. Die sechs Repositories wurden alle am 11. August erstellt, und die Gewichte für Ling-3.0-flash-base — den zusammengeführten Checkpoint, den Namensgeber dieses Artikels — wurden am 12. August mit einem „initial model release“-Commit eingespielt. Kein Blogbeitrag, kein Social-Media-Thread, keine Ankündigung begleitete die Veröffentlichung. Zum Zeitpunkt der Recherche, eine Woche später, zeigten alle sechs Repos immer noch null Downloads.

Diese Stille endete am 19. August. Das offizielle Ant-Ling-Konto kündigte die Checkpoint-Sammlung öffentlich an, und die Hugging-Face-Karten für alle sechs Repos wurden innerhalb weniger Minuten nacheinander aktualisiert – die Zeitstempel stimmen fast genau überein. Die ehrliche Einordnung lautet also: Die Gewichte wurden still ausgeliefert, die Ankündigung kam eine Woche zu spät, und alles, was derzeit über das Release bekannt ist, stammt von den Modellkarten selbst sowie einem kurzen Training-Cookbook-Repository. Nichts anderes wurde bisher unabhängig verifiziert.

Was tatsächlich ausgeliefert wurde: sechs Checkpoints, drei Trainingsstufen

InclusionAI beschreibt die Veröffentlichung als „eine Sammlung von Checkpoints während des Trainingsprozesses“ für die Ling-3.0-Serie, ihre bisher effizienteste Familie von Sprachgrundlagenmodellen. Für jede der beiden kleinsten Größen – Ling-3.0-tiny und Ling-3.0-flash – veröffentlichte das Labor drei Checkpoints, einen pro Trainingsstufe:

• Vortrainiert — Ling-3.0-flash-base-30T und Ling-3.0-tiny-base-30T: abgeschlossenes groß angelegtes Pre-Training; kein Mid-Training, kein Merging, kein Post-Training.

• Mitteltrainiert — Ling-3.0-flash-base-midtrain und Ling-3.0-tiny-base-midtrain: haben die Mid-Training-Phase abgeschlossen; kein Checkpoint-Merging und kein Post-Training.

• Zusammengeführt — Ling-3.0-flash-base und Ling-3.0-tiny-base: die WSM-zusammengeführten Basis-Checkpoints, die aus den Mid-Training-Gewichten erzeugt wurden und den endgültigen Basis-Zustand vor dem Post-Training darstellen.

Alle sechs sind Basis-Checkpoints. Keiner hat die Alignment-Phase durchlaufen — Supervised Fine-Tuning, Präferenzoptimierung, RL —, die ein Basismodell in etwas verwandelt, das man Nutzern direkt zur Verfügung stellen kann. Die Model Card sagt es unmissverständlich: nicht empfohlen für den direkten Chat-Einsatz durch Endnutzer, sicherheitskritische Anwendungen ohne zusätzliches Alignment und Evaluierung oder Produktionseinsatz ohne Post-Training und aufgabenspezifische Validierung.

Was ein Basis-Checkpoint ist — und warum die WSM-Wendung wichtig ist

Wenn man Modelle bisher nur über eine API konsumiert hat, klingt ein „Base-Checkpoint“ vielleicht wie eine kleinere oder ältere Version eines Modells, das man bereits kennt. Das ist er nicht. Ein Base-Checkpoint ist die nicht ausgerichtete Gewichtsdatei des neuronalen Netzes, die aus dem Pre-Training stammt; das Befolgen von Anweisungen und das Aufrufen von Tools, das man tatsächlich nutzt, wird anschließend darauf aufgesetzt. Mit der Veröffentlichung von Base-Checkpoints gibt ein Labor der Forschungsgemeinschaft das Rohmaterial an die Hand, um eigenes weiteres Pre-Training, Fine-Tuning, Distillation und RL durchzuführen.

Was diese Veröffentlichung interessanter macht als ein typischer Base-Weight-Dump, ist das Trainingsrezept dahinter. InclusionAI verwendet eine Technik namens Warmup-Stable and Merge (WSM), die den herkömmlichen Lernratenabfall am Ende des Trainings durch gewichtetes Checkpoint-Merging ersetzt. Einfach ausgedrückt: Anstatt die Lernrate zum Abschluss des Laufs ausklingen zu lassen, trainiert das Labor mit einer stabilen Rate, speichert Checkpoints auf der letzten Strecke und führt sie mit gelernten Gewichten zusammen. Die vom Anbieter angegebenen Beweggründe aus der Modellkarte:

• Da es keine Abklingphase gibt, um die endgültige Datenmischung "einzubacken", ist das resultierende Basismodell besser geeignet für fortgesetztes Pre-Training und dynamische Datenerweiterung.

• Da das Merge-Rezept offline erkundet werden kann, kann ein Team verschiedene Abklingprofile vergleichen, ohne den teuren Trainingslauf erneut auszuführen, für jedes einzelne.

Dieser zweite Punkt ist derjenige, der die Veröffentlichung eher zu einem Forschungsartefakt als zu einer Kuriosität macht: Der ganze Sinn dieser Checkpoints ist, dass sie weiter trainiert werden sollen, und das Rezept ist darauf ausgelegt, dies zu tolerieren.

Was steckt in Ling-3.0-flash-base?

Die Architektur ist identisch mit dem post-trainierten Ling-3.0-flash, der aus der breiteren Berichterstattung über dieses Modell bereits bekannt sein dürfte. Aus der Modellkarte und config.json:

• Größe — 124B Gesamtparameter laut Anbieter (der vollständige Checkpoint auf der Festplatte, einschließlich Embeddings, beträgt auf Hugging Face ungefähr 127B), mit 5.1B pro Token aktivierten Parametern.

• Sparsity — ein 1/64-dünnbesetztes MoE: 512 geroutete Experten, wobei pro Token 8 geroutete Experten und 1 gemeinsamer Experte aktiviert werden.

• Aufmerksamkeit — ein natives hybrid-lineares Design: 35 Kimi-Delta-Attention-Schichten (KDA) und 7 Gated-MLA-Schichten in einem 5:1-Wiederholungsmuster über 42 Transformer-Schichten.

• Kontext — die Konfiguration enthält ein Positions-Embedding mit 256K Token (262.144), denselben nativen Kontext wie das nachtrainierte Geschwistermodell.

• Gewichte — BF16, ausgeliefert als 28 Safetensors-Shards (~255 GB auf der Festplatte), mit dem benutzerdefinierten bailing_hybridModellierungscode im Repository gebündelt.

• Lizenz — MIT, ohne Zusatzklausel zur akzeptablen Nutzung.

Eine ehrliche Anmerkung zur Größenangabe: Die Modellkarte des Anbieters sagt „Total 124B“, und das ist die Zahl, die überall kursiert – aber die Gesamtzahl der safetensors-Parameter im Repository liegt bei etwa 127,5B, sobald die Embedding-Schicht eingerechnet wird. Die 124B-Angabe ist die Summe ohne Embeddings, und die beiden Zahlen widersprechen sich nicht; es lohnt sich zu wissen, auf welche man blickt, wenn man „127B“ in einer Seitenleiste oder in einem Downloader sieht.

Wofür es gedacht ist und wofür nicht

Die empfohlenen Anwendungsfälle der Modellkarte sind eindeutig:

• Fortgesetztes Pre-Training

• Mitten im Training

Überwachtes Feintuning für die Domänenanpassung

• Präferenzoptimierung und RL-Post-Training

• Destillationsforschung

• Langkontext- und MoE-Systemforschung

And its "not recommended as-is" list is just as explicit: {{1}}die direkte Bereitstellung für den Endnutzer-Chat, {{/1}}{{2}}sicherheitskritische Anwendungen ohne Alignment, {{/2}}{{3}}Produktionseinsatz ohne Post-Training. {{/3}}{{4}}Mit anderen Worten: Dies ist Rohmaterial für Menschen, die Modelle trainieren, nicht ein Modell, das Menschen bereitstellen. {{/4}}{{5}}Wenn Sie nicht vorhaben, etwas zu fine-tunen oder vorzutrainieren, gibt es hier für Sie nichts herunterzuladen – und das ist auch völlig in Ordnung.{{/5}}

Die andere Hälfte der Geschichte ist das nahtlos skalierbare Design. InclusionAI gibt an, dass Ling-3.0-tiny-base und Ling-3.0-flash-base dasselbe Trainingsrezept verwenden, sodass die Community zunächst am Tiny-Checkpoint – der deutlich weniger GPU-Speicher benötigt – eine Strategie für fortgesetztes Vortraining oder Feintuning validieren und dann dasselbe validierte Rezept auf den größeren Flash-Checkpoint skalieren kann. Das ist eine bewusste Workflow-Entscheidung, kein Zufall der Release-Logistik, und es ist die nützlichste Eigenschaft der Sammlung für alle, die tatsächlich experimentieren möchten.

Hardware-Realität und der Weg, den die meisten Menschen tatsächlich wollen

Es führt kein Weg an der Größe der Flash-Basisgewichte vorbei. BF16 mit ~255 GB bedeutet einen ernsthaften Multi-GPU-Knoten (oder ein speicheroptimiertes Trainings-Setup), bevor man überhaupt beginnt; es gibt keine offizielle FP8- oder FP4-Quantisierung des Basischeckpoints – die im Katalog der Organisation vorhandenen quantisierten Varianten sind für das nachtrainierte Modell gedacht. Die Fine-Tuning-Beispiele befinden sich im inclusionAI/ling-cookbook GitHub-Repository, das ausdrücklich noch in Arbeit ist. Wenn fortgesetztes Pre-Training nicht der Fokus Ihres Teams ist, sind die Basischeckpoints nicht Ihr Einstiegspunkt.

Die meisten Menschen, die über die Ling-3.0-Familie lesen, wollen überhaupt keinen Basis-Checkpoint — sie wollen das Modell, das spricht. Das ist das post-trainierte Ling-3.0-flash, verfügbar über die eigene API des Anbieters und mehrere Drittanbieter-Plattformen. Wenn ein schnelles, neu veröffentlichtes Open-Weights-Modell wie dieses erscheint, ist der günstigste Weg, es gegen Ihren aktuellen Stack zu bewerten, es Seite an Seite mit dem laufen zu lassen, was Sie bereits verwenden — und genau dafür ist ein Router da: eine API, ein Schlüssel und automatisches Failover, sodass ein Anbieter-Aussetzer den Test nicht beendet. OrcaRouter bietet auf diese Weise Zugriff auf über 200 Modelle und reicht die Listenpreise der Anbieter direkt mit 0% Aufschlag weiter, sodass der Preis, den Sie sehen, der eigene Preis des Anbieters ist und ein Anbieteranteil noch am selben Tag auf unserer Seite landet.

Was noch nicht bestätigt ist

Da diese Version erst vor einem Tag angekündigt wurde, ist die unbestätigte Liste lang und sollte als To-do-Liste und nicht als Kritik aufgefasst werden:

• Keine unabhängigen Benchmarks des Basischeckpoints. Die Modellkarte enthält ein Benchmark-Diagramm des Anbieters, das Ling-3.0-flash-base mit vortrainierten Vergleichsmodellen in den Bereichen Mathematik, Programmierung, logischem Denken, Mehrsprachigkeit und Long-Context-Suiten vergleicht — aber es handelt sich um die eigene Bewertung des Anbieters, die auf einem internen Bildserver gehostet wird, ohne Methodikabschnitt und ohne Reproduktion durch Dritte.

• Noch keine Community-Reproduktionen. Zum Zeitpunkt der Recherche zeigten alle sechs Repos null Downloads und praktisch kein Engagement. Die Veröffentlichung ist zu frisch, als dass jemand bereits ein unabhängiges Fine-Tuning oder fortgesetztes Pre-Training auf der Grundlage dieser Gewichte veröffentlicht hätte.

• Das Tooling steckt noch in den Anfängen. Die bailing_hybrid-Architektur wird mit benutzerdefiniertem Modellierungscode ausgeliefert, daher sind Sie abhängig von trust_remote_code oder auf ein Framework, das Unterstützung hinzugefügt hat. Das Fine-Tuning-Kochbuch ist ausdrücklich noch in Arbeit.

• Die Ankündigung selbst ist dürftig. Die öffentliche Vorstellung erfolgte als X-Thread und über die Modellkarten; es gibt kein eigenständiges Einführungsdokument, das die Trainingsdaten, die Rechenleistung oder das genaue Merge-Rezept über das hinaus beschreibt, was die Karten angeben.

Im Gegensatz dazu hat das nachtrainierte Schwestermodell eine unabhängige Erfolgsbilanz: Ling-3.0-flash wird von Artificial Analysis mit einem Intelligence Index von 38 erfasst – eine Zahl, die vom Leaderboard stammt, nicht vom Anbieter. Nichts davon existiert bisher für Ling-3.0-flash-base; ein Basis-Checkpoint wird nirgendwo bereitgestellt, daher steht er auf keiner Bestenliste. Die beiden Artefakte befinden sich in völlig unterschiedlichen Stadien der Verifizierung, und es hilft, sie nicht zu vermischen.

Wer sollte jetzt handeln?

Drei Gruppen sollten dies unterschiedlich lesen:

• Forschende, die fortlaufendes Pre-Training, domänenspezifisches SFT oder Destillation durchführen — das ist das Release für Sie. Der WSM-merged-Basis-Checkpoint ist speziell dafür gebaut, weiter trainiert zu werden, und das tiny-then-flash-Rezept bietet Ihnen eine kostengünstige Möglichkeit, einen Ansatz zu validieren, bevor Sie ihn skalieren. Beginnen Sie mit Ling-3.0-tiny-base, verifizieren Sie das Rezept, und wechseln Sie dann zu Ling-3.0-flash-base.

• Ingenieure, die ein funktionierendes Modell wollen — Sie möchten das nachtrainierte Ling-3.0-flash, nicht diese Version. Die Basis-Checkpoints befolgen keine Anweisungen und werden nirgendwo bereitgestellt; richten Sie keinen API-Client an sie.

• Alle anderen — der sinnvolle Schritt ist, zu beobachten. Die interessanten Signale in den nächsten Wochen sind ein erstes unabhängiges Fine-Tuning auf Basis dieser Gewichte, eine Community-Reproduktion der Benchmark-Tabelle des Anbieters und die Frage, ob ein Trainings-Stack eines Drittanbieters erstklassige Unterstützung für die bailing_hybrid-Architektur.

FAQ

Was ist der Unterschied zwischen Ling-3.0-flash-base und Ling-3.0-flash?

Ling-3.0-flash ist das nachtrainierte Modell — mit überwachtem Feintuning und RL abgestimmt, befolgt Anweisungen, führt Tool-Aufrufe aus und wird über APIs bereitgestellt.Ling-3.0-flash-base ist dieselbe Architektur in einem früheren Stadium: Es ist der endgültige zusammengeführte Basis-Checkpoint vor jeglichem Nachtraining und verhält sich nicht wie ein Chat-Modell. Die Basis existiert, damit Forscher ihr eigenes fortgesetztes Vortraining, Feintuning oder ihre eigene Destillation durchführen können, anstatt bei Null anzufangen.

Warum sollte ein Labor Checkpoints veröffentlichen, die nicht nachtrainiert wurden?

Denn Post-Training ist genau das, was die meisten Forscher selbst durchführen möchten, und ein Basis-Checkpoint ist der richtige Ausgangspunkt dafür. Die getrennte Veröffentlichung der vorab trainierten, mittel trainierten und zusammengeführten Checkpoints bedeutet, dass ein Team die Stufe wählen kann, die zu seiner Arbeit passt: fortgesetztes Pre-Training von den vorab trainierten Gewichten aus oder Fine-Tuning und RL von der zusammengeführten Basis aus – und dank WSM ohne die Einschränkungen durch den Lernratenabfall, die ein Basismodell anfällig machen, wenn man es weiter trainiert.

Kann ich Ling-3.0-flash-base auf Consumer-Hardware ausführen?

Praktisch nicht. Die BF16-Gewichte umfassen etwa 255 GB über 28 Shards, ohne offizielle quantisierte Variante des Basischeckpoints. Das kleinere Gegenstück, Ling-3.0-tiny-base, ist für Experimente auf bescheidenerer Hardware gedacht – und es teilt das Trainingsrezept des Flash-Checkpoints, sodass validierte Experimente skalieren.

Ist Ling-3.0-flash-base kostenlos für die kommerzielle Nutzung?

Ja – es ist unter der MIT-Lizenz veröffentlicht, ohne eine Zusatzklausel zur zulässigen Nutzung. Das deckt sowohl Forschungszwecke als auch grundsätzlich kommerzielle Nutzung der Gewichte und aller darauf basierenden Feinabstimmungen ab. Es ist ein Basis-Checkpoint, daher bedeutet „Nutzung“ hier Training darauf; die Lizenz sagt nichts über eine gehostete API, weil es für das Basismodell keine gibt.

Fazit

Für die meisten Leser: Ling-3.0-flash-base ist ein Hinweis, kein Produkt: Es zeigt einem, wohin sich die Ling-3.0-Familie entwickelt und wie das Labor beabsichtigt, dass die Community darauf aufbaut, aber es gibt hier nichts, was man über eine API aufrufen könnte. Für die kleinere Gruppe, die tatsächlich weiteres Pre-Training, Fine-Tuning oder Destillation betreibt, ist es eine wirklich nützliche Veröffentlichung – sechs Checkpoints, MIT-lizenziert, bewusst darauf ausgelegt, weiter trainiert zu werden, mit einem Tiny-First-Pfad, der Experimente erschwinglich macht. Was es von einer „nützlichen Veröffentlichung“ zu einem „bewährten Rezept“ machen würde, ist genau das, was heute fehlt: eine unabhängige Reproduktion, durch jemanden außerhalb des Labors, von dem, was WSM-Checkpoints leisten können, wenn jemand sie weiter trainiert.