Ling-3.0-flash-base: Ant Groupの静かなチェックポイントリリース、正式に公開

Ant GroupのinclusionAIラボはLing-3.0-flash-baseと5つの姉妹チェックポイントを、2026年8月11日に何の発表もなしにHugging Faceへアップロードしました。丸一週間、6つのリポジトリすべてのダウンロード数はゼロのままで、ラボの外では誰も気づいていないようでした。その後、8月19日にラボの公式アカウントがこのコレクションを公に紹介し、その中のすべてのモデルカードが数分以内に更新されました。これは、そのリリースについて現在わかっていることをまとめた記事です。最初に要点を短く述べると：Ling-3.0-flash-baseはチャットモデルではなく、チャットモデルとして意図されたものでもありません。これは、5.1Bのアクティブパラメータを持つ124BパラメータのMixture-of-ExpertsモデルLing-3.0-flashの、アライメント前の生のベースチェックポイントです。呼び出すためではなく、トレーニングを続けたい人々のためにMITライセンスで公開されています。

タイムライン：一週間の沈黙、そして発表

順序が重要です。なぜなら、それがこの記事の他のすべてをどう読むべきかを示しているからです。6つのリポジトリはすべて8月11日に作成され、重みが追加されたのはLing-3.0-flash-base――この記事のタイトルにもなっているマージ済みチェックポイント――で、8月12日の「initial model release」コミットで追加されました。それに伴うブログ投稿も、ソーシャルスレッドも、アナウンスもありませんでした。調査時点（1週間後）では、6つのリポジトリのすべてがまだダウンロード0回のままでした。

その沈黙が破られたのは8月19日だった。公式のAnt Lingアカウントがチェックポイントコレクションを公に発表し、6つのリポジトリすべてのHugging Faceカードも数分以内に相次いで更新された——タイムスタンプはほぼ正確に一致している。したがって、正直な見方をすれば、ウェイトは静かにリリースされ、発表は1週間遅れ、今回のリリースについて現在知り得るすべての情報は、モデルカード自体と短いトレーニングクックブックのリポジトリから得られるものだけだ。それ以外のことはまだ独立に検証されていない。

実際に出荷された内容：6つのチェックポイント、3つのトレーニングステージ

InclusionAIは、このリリースを、これまでで最も効率的な言語基盤モデルファミリーであるLing-3.0シリーズの「トレーニングプロセス中のチェックポイントのコレクション」と説明しています。2つの最小サイズのそれぞれについて、 — Ling-3.0-tinyおよびLing-3.0-flash — 同社は、トレーニングステージごとに1つずつ、合計3つのチェックポイントを公開しました。

• 事前学習済み — Ling-3.0-flash-base-30TおよびLing-3.0-tiny-base-30T：大規模な事前学習を完了済み。中間学習なし、マージなし、事後学習なし。

• 中途トレーニング済み — Ling-3.0-flash-base-midtrainおよびLing-3.0-tiny-base-midtrain：中途トレーニングフェーズを完了しました；チェックポイントのマージはなく、ポストトレーニングもありません。

• マージ済み — Ling-3.0-flash-baseとLing-3.0-tiny-base: WSMマージされたベースチェックポイントであり、中間トレーニング済みの重みから生成され、ポストトレーニング前の最終ベース状態を表します。

{{1}}6つすべてがベースチェックポイントです。{{/1}}{{2}}いずれもアライメント段階を経ていません{{/2}} — {{3}}教師付きファインチューニング、選好最適化、RL{{/3}} — {{4}}ベースモデルをユーザーの前に出せるものへと変える段階です。{{/4}}{{5}}モデルカードにはその旨が明確に記載されています:{{/5}}{{6}}追加のアライメントと評価なしでの直接的なエンドユーザー向けチャット展開、安全性重視アプリケーション、またはポストトレーニングとタスク固有の検証なしでの本番利用には推奨されません。{{/6}}

ベースチェックポイントとは何か、そしてWSMのひねりがなぜ重要なのか

APIを通じてのみモデルを利用してきた場合、「base checkpoint」という言葉は、既に知っているモデルの小さな版や古い版のように聞こえるかもしれません。しかし、それはどちらでもありません。base checkpointとは、事前学習から得られる、未調整のニューラルネットワークの重みファイルです。実際に使用する指示追従やツール呼び出しの動作は、その後でその上に重ねられます。base checkpointを公開することは、研究室が研究コミュニティに対して、独自の継続事前学習、ファインチューニング、蒸留、RLを行うための原材料を渡す方法なのです。

このリリースが典型的なベースウェイト公開よりも興味深いのは、その背後にあるトレーニングレシピです。InclusionAIは、ある手法を使用しています。それはWarmup-Stable and Merge (WSM)と呼ばれるもので、トレーニング終了時の従来の学習率減衰を重み付きチェックポイントマージに置き換えます。簡単に言うと、学習率を漸減させて実行を終了させる代わりに、安定した学習率でトレーニングし、最終段階のチェックポイントを保存して、学習済みの重みとマージします。ベンダーがモデルカードで述べている動機は次のとおりです:

• 最終データミックスを「焼き込む」ための減衰フェーズがないため、結果として得られるベースモデルは、継続的事前学習と動的データ拡張により適しています。

• マージレシピはオフラインで探索できるため、チームは異なる減衰プロファイルを高コストなトレーニング実行を再実行することなくそれぞれについて比較できます。

その2つ目の点こそが、このリリースを単なる好奇心の対象ではなく研究の成果物にしているのです。これらのチェックポイントの要点は、さらなる学習を続けることを前提としているということであり、そのレシピはそれを許容できるように設計されています。

Ling-3.0-flash-base の中身は何ですか？

アーキテクチャは、ポストトレーニング済みの Ling-3.0-flash と同一であり、そのモデルの広範な解説からすでに馴染みがあるはずです。モデルカードと config.json:

• サイズ — ベンダーによると合計124Bパラメータ（ディスク上の完全なチェックポイントは、埋め込みを含めて、Hugging Face上ではおよそ127Bになる）であり、トークンごとに5.1Bが活性化される。

• スパース性 — 1/64スパースなMoE：512のルーティングエキスパートを備え、各トークンに対して8つのルーティングエキスパートと1つの共有エキスパートがアクティブになります。

• Attention — ネイティブなハイブリッド線形設計: 42 のトランスフォーマー層にわたって、35 の Kimi Delta Attention (KDA) 層と 7 の Gated MLA 層が 5:1 の繰り返しパターンで配置されています。

• コンテキスト — この構成は、256Kトークンの位置埋め込み（262,144）を備えており、これはポストトレーニング済みの兄弟モデルと同じネイティブコンテキストです。

• 重み — BF16、28個のsafetensorsシャードとして配布（ディスク上で約255 GB）、カスタムのbailing_hybridモデリングコードがリポジトリに同梱されています。

• ライセンス — MIT、許容される利用に関する追加条項なし。

サイズ数値について正直に注意しておくと、ベンダーのモデルカードには「Total 124B」と記載されており、それがどこでも広まっている数字です。しかし、リポジトリ上の safetensors のパラメータ総数は、埋め込み層を含めると約127.5Bになります。124Bというのは非埋め込み層の合計であり、この2つの数字は矛盾していません。「127B」という表記をサイドバーやダウンローダーで見かけたとき、どちらの数字を指しているのかを知っておく価値があります。

それが何のためのものか、そして何のためのものではないか

モデルカードの推奨されるユースケースは明確です：

• 継続的事前学習

• トレーニング中

ドメイン適応のための教師ありファインチューニング

選好最適化とRLポストトレーニング

• 蒸留研究

• 長コンテキストおよびMoEシステムの研究

そして、その「そのままでは推奨しない」リストも同様に明確です。エンドユーザー向けチャットへの直接デプロイ、アライメントなしの安全重要アプリケーション、ポストトレーニングなしの本番利用。言い換えれば、これはモデルを訓練する人々のための原材料であり、人々がデプロイするモデルではありません。ファインチューニングやプリトレーニングの予定が何もないなら、ここでダウンロードできるものは何もありません——そしてそれは何も悪いことではありません。

物語のもう半分は、シームレスにスケールするという設計です。InclusionAIは、Ling-3.0-tiny-baseとLing-3.0-flash-baseが同じトレーニングレシピを共有していると述べています。これにより、コミュニティはまずtinyチェックポイントで継続事前学習やファインチューニングの戦略を検証でき（GPUメモリの消費がはるかに少ない）、その後、検証済みの同じレシピをより大きなflashチェックポイントにスケールアップできます。これは意図的なワークフローの選択であり、リリースの都合による偶然ではありません。実際に実験したい人にとって、これはこのコレクションの最も有用な特性です。

ハードウェアの現実、そして大多数の人々が実際に望む道

flashベースウェイトのサイズを避けて通ることはできません。BF16で約255GBということは、開始する前に本格的なマルチGPUノード（またはメモリ最適化されたトレーニング環境）が必要であることを意味します。ベースチェックポイントに対する公式のFP8またはFP4量子化は存在せず、組織のカタログにある量子化版はすべて学習後モデル用です。ファインチューニングの例は、「inclusionAI/ling-cookbook」GitHubリポジトリにあります。このリポジトリは明示的に進行中（work in progress）です。継続事前学習がチームの焦点でない場合、ベースチェックポイントは入り口ではありません。

Ling-3.0ファミリーについて読んでいるほとんどの人は、ベースチェックポイントをまったく望んでおらず、会話ができるモデルを求めています。それがポストトレーニング済みのLing-3.0-flashであり、ベンダー自身のAPIや複数のサードパーティプラットフォームで利用できます。そのような高速で新しくリリースされたオープンウェイトのモデルが登場したとき、現在のスタックに対してそれを評価する最も手軽な方法は、すでに使っているものと並行して実行することです。そしてそれはまさにルーターの役割です。1つのAPI、1つのキー、そして自動フェイルオーバーにより、プロバイダーの一時的な障害で試用が終わらないようにします。OrcaRouterはこの方法で200以上のモデルに接続し、プロバイダーのリスト価格を0%マークアップでそのまま渡します。つまり、表示される価格はプロバイダー自身の価格であり、ベンダー分は同日中に当社側に入金されます。

まだ確認されていないもの

このリリースは発表からまだ1日しか経っていないため、未確認のリストは長く、それは批判ではなく「やるべきことリスト」として読むべきだ：

• ベースチェックポイントの独立したベンチマークはない。モデルカードには、ベンダーのベンチマークチャートが埋め込まれており、それはLing-3.0-flash-baseを、数学、コーディング、推論、多言語、長文コンテキストのスイートにわたって事前学習済みのピアモデルと比較している。しかし、これはベンダー自身の評価であり、内部の画像サーバー上でホストされ、方法論のセクションがなく、第三者による再現もない。

• コミュニティによる再現はまだありません。調査時点では、6つのリポジトリすべてでダウンロード数はゼロで、実質的なエンゲージメントもありませんでした。リリースから間もないため、これらのウェイトに基づいた独立したファインチューニングや継続事前学習の実行結果を公開した人はまだいません。

• ツール環境はまだ初期段階です。この bailing_hybridアーキテクチャにはカスタムモデリングコードが同梱されているため、trust_remote_code または、サポートを追加したフレームワークに依存することになります。ファインチューニングのクックブックは明示的に作業中です。

• アナウンス自体は内容が薄い。公開時の紹介はX（旧Twitter）のスレッドとモデルカードのみで、トレーニングデータ、計算資源、正確なマージ手法について、カードに記載されている以外の詳細を説明する独立した発表文書は存在しない。

対照的に、ポストトレーニング済みの姉妹モデルには独立した実績があります：Ling-3.0-flashは、Artificial Analysis によって Intelligence Index 38 として追跡されています。これはベンダーではなくリーダーボードに由来する数値です。しかし、そのようなものはLing-3.0-flash-baseにはまだ存在しません。ベースチェックポイントはどこにも提供されていないため、どのリーダーボードにも載っていません。この2つの成果物は検証の段階がまったく異なり、混同しないことが重要です。

誰が今行動すべきか

3つのグループは、これをそれぞれ異なるように読むべきです：

• 継続事前学習、ドメインSFT、または蒸留を行う研究者にとって、これはあなたのためのリリースです。WSM-mergedベースチェックポイントはさらなる学習用に特別に構築されており、tiny-then-flashレシピを使えば、スケールする前にアプローチを低コストで検証できます。まずはLing-3.0-tiny-baseから始めて、レシピを検証し、その後Ling-3.0-flash-baseに移行してください。

• 動作するモデルを必要とするエンジニア — 必要なのはポストトレーニング済みのLing-3.0-flashであり、このリリースではありません。ベースのチェックポイントは指示に従わず、どこにも提供されていません。それらにAPIクライアントを向けないでください。

• 他のみんな — 有効な動きは見守ることだ。今後数週間で注目すべきシグナルは、これらの重みに基づいて構築された最初の独立したファインチューニング、ベンダーのベンチマークチャートのコミュニティによる再現、そしてサードパーティのトレーニングスタックが、bailing_hybrid アーキテクチャへのファーストクラスサポートを追加するかどうかだ。

よくある質問

Ling-3.0-flash-baseとLing-3.0-flashの違いは何ですか？

Ling-3.0-flashはポストトレーニング済みモデルです — 教師ありファインチューニングとRLで調整され、指示に従い、ツール呼び出しを行い、APIを通じて提供されます。Ling-3.0-flash-baseは、より初期段階の同じアーキテクチャです。ポストトレーニング前の最終的なマージ済みベースチェックポイントであり、チャットモデルのように動作しません。このベースは、研究者がゼロから始めるのではなく、独自の継続事前トレーニング、ファインチューニング、または蒸留を行えるようにするために存在します。

なぜラボはポストトレーニングされていないチェックポイントをリリースするのでしょうか？

ポストトレーニングこそ、ほとんどの研究者が自ら行いたいと考える作業であり、そのための正しい出発点となるのがベースチェックポイントです。事前学習済み、途中学習済み、マージ済みの各チェックポイントを個別に公開することで、チームは自らの作業内容に合った段階を選べます。{{1}}事前学習済みの重みからの継続事前学習、あるいはマージ済みベースからのファインチューニングやRLといった具合です。{{/1}}そして{{2}}WSMのおかげで、ベースモデルをさらに学習させる際に脆弱になる原因となる学習率減衰の制約を受けずに済みます。{{/2}}

Ling-3.0-flash-baseはコンシューマー向けハードウェアで実行できますか？

現実的にはできません。BF16ウェイトは28シャード全体で約255GBあり、ベースチェックポイントの公式量子化版は提供されていません。小型の姉妹モデルであるLing-3.0-tiny-baseは、より控えめなハードウェアでの実験を想定したモデルで、フラッシュチェックポイントのトレーニングレシピを共有しているため、検証済みの実験はそのままスケールアップできます。

Ling-3.0-flash-baseは商用利用無料ですか？

はい — これはMITライセンスでリリースされており、利用条件の追加条項はありません。これは研究利用と、原則としてウェイトおよびそこから構築されたファインチューン・モデルの商用利用の両方を対象としています。これはベースチェックポイントであるため、ここでの「利用」とはそれに対するトレーニングを意味します。ライセンスはホスト型APIについては何も述べていません。ベースモデルにはそのようなAPIが存在しないからです。

結論

ほとんどの読者にとって、Ling-3.0-flash-baseはポインタであり、製品ではありません。Ling-3.0ファミリーがどこへ向かっているのか、そしてラボがコミュニティにどのようにそれを基盤に構築していくことを意図しているのかを示していますが、ここにはAPIを通じて呼び出せるものは何もありません。実際に継続事前学習、ファインチューニング、または蒸留を行っている少数のグループにとっては、これは本当に有用なリリースです——6つのチェックポイント、MITライセンス、さらなる訓練を意図的に設計され、実験を手頃な価格で可能にするtiny-firstパスを備えています。それを「有用なリリース」から「実証されたレシピ」へと変えるものは、まさに今日欠けているものです。すなわち、ラボの外部の誰かによる、WSMチェックポイントを訓練し続けたときに何ができるかについての独立した再現です。