Ling-3.1-flash-1019 がオープンソース化：574 GB、MIT、そして256Kの現実チェック

10月27日05:46 UTC、Ant GroupのLingチームはLing-3.1-flash-1019というHugging Faceリポジトリを作成し、MITライセンスの下、合計573.8 GBとなる54個のsafetensorsシャードをそこに格納した。その隣にはLing-3.1-flash-base、すなわちさらなる学習を目的とした1.14 TBのBF16チェックポイントが置かれ、その両者の背後にはLing-3.1-flash、つまりこのビルドがポストトレーニングによる改訂版であるモデルがある。5日前、Antはスコアのみを公開していた。Artificial Analysis Intelligence Index v4.3.2で44、41からの上昇であり、重みとAPIは約束されていた。今日、その約束にはファイル一覧が伴った。これにより、Antの評価パイプラインの外にいる誰もが、数字を読むのではなく確認できる最初の日となった。

そのギャップこそが物語であり、しかも両刃の剣だ。成果物をリリースする前にベンチマークを発表するラボは、信頼して受け取ってほしいと求めているようなものだ。その後、5日後に574 GBで寛容なライセンスの下に成果物をリリースするラボは、少なくとも異議を唱える手段を渡している。興味深い問いは、もはやスコアについてではない。ダウンロードの中身、提供にかかるコスト、そしてモデルカードにある1Mトークンのコンテキストが、実際に得られるコンテキストなのかどうかについてだ。

リポジトリには実際に何が含まれているのか

1019 リポジトリは薄いアダプターでも差分でもありません。完全なチェックポイントです。各約 10.7 GB の重みファイル 54 個、トークナイザー、チャットテンプレート、そしてカスタムモデリングコード（BailingMoeV3ForCausalLM）は trust_remote_code を必要とします。同梱の設定では、Ling ラインが 3.1 以降使用してきたハイブリッド線形 MoE アーキテクチャに加えて、FP8 量子化スキーム（E4M3、128×128 ブロックスケーリング）が宣言されています：

• 総パラメータ数とアクティブパラメータ数 — 合計560B、トークンあたり25Bのアクティブ、Ling-3.1-flashと同じ数値です。

• レイヤー — 合計72層：KDA線形アテンションレイヤー63層と、ゲート付きMLAレイヤー9層を7:1の比率で、さらに4つのDenseレイヤー。

• エキスパート — 512 がルーティングされ、トークンごとに 8 がアクティブ化、1 が共有。

• 語彙 — 157,184トークン、隠れサイズ 4,096。

• フットプリント — 54 シャードにまたがる 573.8 GB の safetensors（10月27日時点のリポジトリのファイル一覧に基づく当社の集計による）

ベースモデルは別種の成果物です。Ling-3.1-flash-baseは10月25日に作成され、121個のファイルと1.14 TBのBF16重みを保持しています。FP8に量子化されていないため、アラインメント済みチェックポイントのおよそ2倍のサイズです。そのカードでは、Ling-3.1-flashのベースチェックポイントであり、継続事前学習、ドメイン適応、事後学習研究向けであると説明されており、アラインメントなしで直接チャットや安全クリティカルな用途に使用することを意図していないと明記されています。どちらのリポジトリにもMITタグが付いています。

44、そしてAntが測定しなかった部分

Artificial AnalysisはLing-3.1-flash-1019Intelligence Indexで44と記載しており、本日確認したページでは122モデル中4位にランクされています。また、そのモデルページには、評価はArtificial Analysisによって独立して測定されたと明記されています。これはこの数値がこれまでに取った最も強い形であり、ローンチ表の他の部分とは切り離して考える価値があります。

各ベンチマークの差分は、独立した再実行によるものではなく、Ant自身のモデルカードに由来している。AA-Briefcaseは約1,400から1,524 Eloへ上昇し、AutomationBench-AAは62%から68%、CritPtは18%から26%、SciCodeは54%から57%へ上昇している。これらのベンチマークのうち2つ—AA-BriefcaseとAutomationBench-AA—はArtificial Analysis指数の構成要素であるため、指数の数値とベンダーの表は互いに独立した証拠ではない。それらは同じ主張を2つの解像度で示したものだ。誰かがハーネスとシードを公開するまでは、44はAAによって測定されたものとして、前後のペアはベンダー報告として扱え。

第二の非対称性がある。測定時点で、Artificial Analysisは1019ビルドについて公開利用可能なAPIを記録しておらず、このモデルの出力速度フィールドは今も空欄だ。したがって、今日このベンチマークを再現できるのは、574 GBをダウンロードして自分で実行する場合だけである。これはリリースへの不満ではない。「オープン」が何を変えるのかについての説明だ。今日より前は、誰もそのスコアを再現できなかった。今日以降は、ハードウェアを持つ誰もが再現できる。

3つのポイントはトークンで購入されます。

このインデックスは品質の尺度であり、効率の尺度ではない。そして、今回のリリースで効率面は最も見栄えのしない部分だ。Artificial Analysisは、1019 runで3億5000万出力トークン、Ling-3.1-flashで2億2000万トークンと計測した——同じスイートを完了するのに生成トークンが約59%多い——そして新しいビルドを冗長性で48モデル中48位にランク付けした。中央値のモデルは1億4000万トークンだ。このインデックスの実行コストは1タスクあたり1.49ドルで、前世代モデルは1.01ドルだった。

その一部はAnt自身の料金表から計算できる算数です。100万出力トークンあたり$0.90では、3億5000万トークンは出力$315で、2億2000万トークンなら$198——入力トークンやキャッシュ読み取りを1つも数える前で$117の差です。トークン単位ではなくタスク単位で予算を組むチームにとって、「無料」のチェックポイントアップグレードは、インデックス3ポイントの向上に対して請求額が47%増えるに近いものです。そのトレードオフが良いかどうかは、失敗したタスクにいくらのコストがかかるか次第であり、それはどのリーダーボードも答えてくれない問いです。

設定ではコンテキストウィンドウは256Kです

モデルカードには100万トークンのコンテキストと書かれています。しかし、実際に提供されている設定は別の内容を示しています。3つのリポジトリすべて — 1019、Ling-3.1-flash、およびベース — で、config.json は max_position_embeddings を 262,144 に、rope_scaling を null に設定し、RoPE theta は 6,000,000 です。したがって、これらの重みを標準の SGLang または vLLM でロードすると、リポジトリに含まれていないスケーリング設定をオペレーターが提供しない限り、100万ではなく256Kの位置を扱うことになります。

これは公開されている設定ファイルに対する当社の解釈であり、Ant が発表した声明ではありません。ホスト型 Ling API がサーバー側でスケーリング方式を適用し、実際に 1M を提供している可能性はありますが、オープンウェイトにはそれが同梱されていません。これは新しい不一致でもありません — 10 月 15 日の Ling-3.1-flash リリースも、同じ 262,144 設定に対して同じ 1M の主張をしていました。100万トークンのワークロードを前提にハードウェアをサイジングする人は、確定する前に自分のスタックで上限をテストすべきです。重要なのはサーバーが受け入れる数値であり、導入文に書かれている数値ではないからです。

それを提供する：H200s 8台、GB300s 4台、そして1つのコピー＆ペーストの罠

AntはSGLangを推奨し、day-0イメージ lmsysorg/sglang:dev-ling-3.1-flash を公開しています。これにはMTP投機的デコーディングとHopper向けデコード最適化が含まれます。文書化された参照構成はH200 GPU 8基でTP8＋EP8です。4台のGB300では、カードに --tp 4 --ep 4 を使用するよう記載されています。vLLMレシピも含まれており、テンソル並列度8、エキスパート並列、プレフィックスキャッシュ、3つの投機トークンを備えています。2つの環境フラグ SGLANG_ENABLE_FP8_BLOCK_GEMV と SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT は、Hopperでバッチ1デコードを約10%高速化すると主張されています。

フットプリントはハードウェア構成を説明している。FP8の重みが573.8 GBあるため、チェックポイントは8台のH200（HBM 1,128 GB）で約550 GB、4台のGB300（1,152 GB）で約578 GBの余裕を残す。これは重みとワーキングKVキャッシュには十分だが、長いコンテキストを扱う際に油断できるほどではない。

Quickstartには、誰かが一日を無駄にするだけに指摘する価値のある罠もあります。1019モデルカード自体のSGLangコマンドは--model-path inclusionAI/Ling-3.1-flashを渡し、そのクライアント例は"model": "Ling-3.1-flash"を送信します。そのまま従うと、このレシピは44点のビルドではなく、41点の前モデルを読み込みます。パスをinclusionAI/Ling-3.1-flash-1019に明示的に設定し、サービングされるモデル名を固定してください。さもないと、「1019」の最初のベンチマークは旧チェックポイントのベンチマークになります。

Ling-3.1-flash-baseは何に向いているのか — そして何ではないのか

ベースリリースは、モデルを呼び出すのではなく訓練する人にとって、この2つのうちより重要なものだ。MITライセンス下の1.14 TB BF16チェックポイントは、同じ560B/25Bアーキテクチャを備えており、研究機関に対して、継続事前訓練、ドメイン適応、教師ありファインチューニング、選好最適化、蒸留実験、長文脈MoE研究の正当な出発点を与える。しかも、拒否挙動を取り消さなければならないチャット向けにアラインメントされたモデルから始める必要はない。

それが与えてくれないのは、44 を出すためのレシピだ。モデルカードは、ベースを Ling-3.1-flash のベースチェックポイントと説明しており、1019 ビルドのポストトレーニング前スナップショットではない。また、どちらのリポジトリにも、ポストトレーニング用データ、選好セット、RL 設定は同梱されていない。計測済みのモデルが欲しいなら、計測済みのモデルをダウンロードすればよい。自分で構築したいなら、ベースを使えば事前学習のコストは省けるが、アラインメントの作業は省けない — そして、十分にチューニングされたベースとベンダー最良のポストトレーニング済みチェックポイントとの差は、通常、インデックスの3ポイント差が示唆するよりも大きい。

574 GB を選ぶべきですか？

• すでに H200 を 8 台、または GB300 を 4 台運用していて、ワークロードがエージェント型またはマルチステップであり、MIT ライセンスによって実際に抱えている法的障害が取り除かれる場合は、ダウンロードしてください。

• 44を自分で再現する必要があるなら、ダウンロードしてください — それは今では可能であり、10月22日にはできませんでした。

• すぐに使える1Mコンテキストを当てにしているなら、これはスキップしてください。まず256Kの設定をテストしてください。

• タスクごとのコスト効率を重視し、レイテンシーに敏感な場合はスキップしてください。59%のトークン増加は実際のスループットコストであり、1019について独立した出力速度の数値はまだありません。

• ポストトレーニングのパイプラインがある場合に限り、ベースから始めてください。それは土台であり、近道ではありません。

ここでのOrcaRouterの役割を正直に位置づけると、当社はLing-3.1-flash-1019を提供していません。当社が販売するのは、その判断のもう一方の側面です——1つのキーで200以上のホスト型モデルをプロバイダー定価・0%マークアップで利用できること。これにより、「1019は今使っているものに勝るか」という問いに、ベースラインごとに別々の契約を結ぶことなく答えられます。自動フェイルオーバーとルーティングDSLは、勝者を選んだ後には重要ですが、選ぶこと自体には役立ちません。

次に見るもの

このリリースが長く評価され続けるかは、3つの点で決まる。1つ目は独立系のスループットだ。Artificial Analysisは1019の出力速度の数値を出しておらず、1秒あたりのトークン数を最初に公表する第三者プロバイダーは、もう1つの指標値よりも本番適性について多くを語ってくれる。2つ目は、1Mコンテキストのスケーリング設定がリポジトリ内またはSGLang cookbookに現れるかどうかだ。それが実現するまで、モデルカードの見出し数値は、背後に256K実装を伴う主張にすぎない。3つ目は、コミュニティがベースモデルをどう使うかだ。狭い領域で44を上回るファインチューンが現れれば、この重みを公開したことがリリース時のスコア以上の価値があったことを示す最強の証拠になる。