Ling 3.0 Flash DSParkのヒーロータイトルカード。サブタイトルは「Ling 3.0 Flashのために静かにリリースされた1.36Bドラフター」。小さなドラフターカード(「Drafter 1.36B」と表示)がトークンチップの列を大きなカード(「Ling 3.0 Flash 124B」と表示)に渡しており、承認されたチップにはチェックマークが付き、2枚のカードの間には早送り矢印がある。右下隅にはOrcaRouterのロゴがある。
Engineering & Research

Ling 3.0 Flash DSPark: Ling 3.0 Flash向けに静かに出荷された1.36Bドラフター

著者

Elias Hawthorne

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Ling 3.0 Flash DSParkは、Ant GroupのinclusionAIラボが8月9日にHugging Faceへアップロードした13.6億パラメータのドラフトモデルです。プレスリリースもブログ投稿もローンチスレッドもなく、本稿執筆時点ではダウンロード数7、いいね数1というリポジトリです。これはLing 3.0 Flashの新バージョンではなく、直接呼び出すタイプのモデルでもありません。投機的復号(スペキュラティブ・デコーディング)用のコンポーネントであり、Ling 3.0 Flashの前にロードすると、大規模モデルが検証すべきトークンを提案します。これにより、124B/5.1B MoEは1回のフォワードパスにつき1つではなく複数のトークンを生成できます。以下に記載されている内容のうち、リポジトリ自体から明らかに確認できるもの以外は、すべて未確認と表示されています。ベンダーが何も発表していないためです。

アント・グループは7月27日にLing 3.0 Flashを発表し、8月7日にその重みをMITライセンスでオープンソース化した。DSParkリポジトリは、別の、より静かな船である。8月9日に作成され、チェックポイントを「a DSpark speculator for Ling3」と特定するモデルカードでのみ説明され、8月21日にはconfig.jsonの更新で再び触れられた。発表もなければ、ドキュメントページも、ベンチマークのブログ投稿もない。この記事は、リポジトリが実際に述べていることを収集し、残りを未解決の疑問として記す。

「DSparkスペキュレーター」とは何か、専門用語なしで

投機的デコードは、実際のモデルに先立って小型で軽量なモデルを実行する。小型モデル(ドラフター)が次の数個のトークンを推測し、大型モデル(ターゲット)がバッチ全体を1回のフォワードパスで検証して、自分が同意した推測を保持する。ドラフターが正しい場合、ターゲットの1回のフォワードパスで複数のトークンが得られるため、ターゲットの重みに触れることなくスループットが向上する。

DSparkは、DeepSeekの研究者によるそのアイデアの一バージョンであり、2026年7月に導入され、すでにDeepSeek-V4内に配備されている。これは、SGLangがDSPARKと呼ぶアルゴリズムである。通常のドラフターとは2つの点で異なる。第一に、並列ドラフト方式であるDFlashを、ターゲットモデル自体から引き出した補助特徴量で拡張し、ドラフターが大規模モデルの動作に関する情報を得られるようにする。第二に、提案された各トークンをスコアリングする信頼度ヘッドを備え、サフィックスが検証を生き残りそうにないと見られる場合にブロックを早期停止する。これにより、まもなく破棄されるトークンに検証パスを費やすことがない。

A flow diagram titled 'How DSpark speeds up Ling 3.0 Flash' showing a card labeled 'Drafter 1.36B proposes 8 tokens' with a row of eight token chips flowing into a card labeled 'Target verifies in one pass' with a checkmark over the accepted chips, a note reading 'Confidence head trims low-confidence suffixes', and a footer 'A cheap model proposes, a strong model verifies — output is unchanged', with the OrcaRouter logo in the bottom-right corner.

Ling-3.0-flash-dspark チェックポイントは、まさにそれを実装しています。すなわち、SpecForge でトレーニングされたスペキュレーターであり、8つのドラフトトークンのブロックを提案するサイズで、ターゲットのボーナストークンを数えた後には、9トークンの検証幅を持ちます。

リポジトリに正確に書かれていること

モデルカードは簡素ながら具体的です。Ling 3.0 Flash DSParkは、約13.6億パラメータのドラフトモデル(1,363,707,905パラメータ、BF16)で、隠れサイズ2,560の5層のフルアテンショントランスフォーマー層と、32のクエリヘッドおよび32のキー/バリューヘッドを持つマルチヘッドアテンションを備えています。ターゲットの5つの層(カードには層1、11、23、29、35と記載)から補助特徴量を読み取り、「バニラマルコフヘッド、ランク256」と説明される信頼度ヘッドと組み合わせています。その位置埋め込みは262,144まで対応しており、これはターゲットが持つ256Kコンテキストと同じです。

• パラメータ — 1,363,707,905(約1.36B)、BF16、重みは約2.7 GB。

· アーキテクチャ — 5つのフルアテンション層、隠れサイズ2,560、32のクエリヘッドと32のキー/バリューヘッドを持つMHA。qwen3としてタグ付け。

• ターゲットフック — Ling 3.0 Flash のレイヤー1、11、23、29、35からの補助的な特徴。

• Confidence head — バニラのマルコフヘッド、ランク256。

• ブロック — ドラフトトークン8個。ターゲットボーナストークンを含む幅9を確認。

• コンテキスト — 262,144個の位置埋め込み。ターゲットの256Kネイティブウィンドウに一致。

A one-column scoreboard for Ling 3.0 Flash DSPark listing: role DSpark speculator (draft model), draft params 1.36B (1,363,707,905) BF16, block 8 draft tokens (verify width 9), mean acceptance 5.29 of 9 (vendor), context 262,144, license other — not yet stated, with a footer 'All figures vendor-reported; no independent scores yet', and the OrcaRouter logo in the bottom-right corner.

最後の行はデプロイ計画にとって重要です。ドラフターはターゲットと同じ長コンテキスト処理プロファイル用に構築されているため、推測に使用できるコンテキストを縮小することはありません。

受理番号をよくお読みください。

カードは一組の性能指標を報告している。平均受理長(mean acceptance length)は、「投機的検証ステップごとに受理されるトークンの平均数(ターゲットボーナストークンを含む)」と定義される。9つのワークロード全体でのマクロ平均は5.29であり、これは検証ステップごとに9つの位置のうちおよそ5つが受理されることを意味し、スピードアップを牽引する数値である。ワークロードごとのばらつきは、ドラフターが強い箇所を示している。

• コードと数学 — GSM8K 6.40、MATH-500 6.29、HumanEval 6.57、MBPP 6.34、LiveCodeBench 5.33。

• 推論 — AIME 2025 5.56.

• 会話型 — MT-Bench 3.92、Alpaca 3.51、Arena-Hard-v2 3.72。

{{1}}これらの数値には三つの注意点が伴う。{{/1}} {{2}}第一に、それらは受理長(アクセプタンス・レングス)であって、エンドツーエンドの高速化率ではない。このカードは毎秒トークン数を公表していないため、「5.29 accepted tokens」はまだこのモデルの「x倍高速」という主張に換算されていない。第二に、それらはベンダー報告によるものであり、第三者による再現は行われていない。inclusionAIの外部で測定値を公表した者は誰もいない。{{/2}} {{3}}そして第三に、それらは文脈依存である。受理長はワークロード、サンプリング温度、正確なターゲットチェックポイントによって変動するため、コード&数学の列を有力なケースとして扱い、チャットの列を現実的な低めの値とみなすべきである。{{/3}}

確認されていることと、確認されていないこと

公開リポジトリで確認されたところによると、チェックポイントは存在し、ダウンロード可能です。これは Ling 3.0 Flash 用の DSpark スペキュレーターであり、SpecForge でトレーニングされ、SGLang の DSPARK アルゴリズムを通じて提供されています。また、8月9日に作成され、8月21日に最新の更新が行われています。

未確認であり、正確に述べる価値がある点:ライセンスについてだ。カードのフロントマターには「license: other」とあり、ライセンスの本文は添付されていない。つまり、MITライセンスのLing 3.0 Flashウェイトとは異なり、DSParkスペキュレーターの利用条件は現時点では明示されていない。 他にも未確認な点がある:受理長が他のハードウェアでも再現するかどうか、それがエンドツーエンドの秒間トークン数にどのような含意を持つか、いずれかの推論プロバイダーがこのドラフターを提供しているか(それを示すものは何もない)、そして公式発表が予定されているかどうか。 これらはいずれも非難ではない。リリースされてから2週間も経っていないのだ。これらが、有望なコンポーネントと検証済みのコンポーネントを分ける違いなのである。

それを実行する

実際には、DSPARK サポートを備えた SGLang ビルドが必要です。このアルゴリズムは7月に SGLang v0.5.16 で導入され、DeepSeek-V4 主導の DSpark 統合に関連しています。ターゲットモデルに対してサーバーを起動し、ドラフターを指定してください:

sglang serve --trust-remote-code --model-path <LING3_MODEL_PATH> --tp-size <TP_SIZE> --speculative-algorithm DSPARK --speculative-draft-model-path <LING3_DSPARK_MODEL_PATH>

コマンドはモデルカード自体に記載されており、ブロックサイズはドラフターの設定から読み取られます。llama.cppのパスはまだ存在しません。ハイブリッドKDA + MLAアーキテクチャは、メインモデルであってもカスタムフォークが必要なため、スペキュレーターは現時点ではSGLangでの対応となります。

A screenshot of the Hugging Face model page for inclusionAI/Ling-3.0-flash-dspark, showing the model card 'Ling3-DSpark — A DSpark speculator for Ling3', the tags (text-generation, transformers, safetensors, qwen3, speculative-decoding, dspark, dflash, specforge, sglang), the draft model specifications (1,363,707,905 params, BF16, hidden size 2,560, 5 full-attention layers, MHA 32 query and 32 key/value heads, target auxiliary feature layers 1/11/23/29/35, confidence head vanilla Markov head rank 256, DSpark block size 8 draft tokens, maximum position embeddings 262,144), the acceptance-length section, license other, model size 1B params, and downloads last month 7 (captured August 22, 2026).

実行する価値があるかどうか

Ling 3.0 Flash DSPark は、自分で Ling 3.0 Flash をサーブしている場合にのみ機能します。これはローカルコンポーネントです。すなわち、124B ターゲットに加えて約 2.7 GB の追加 BF16 重み、そのアルゴリズムをサポートする SGLang ビルド、そして余裕のあるメモリを備えたハードウェアが必要です。その見返りは、典型的な小型ドラフターよりも高い受理長です。その代わりにメモリと可動部品を消費します。すでに対象モデルを自社の GPU 上でインタラクティブでレイテンシ制約のある負荷で運用しているチームにとって、ドラフターの測定は簡単です。2 つのフラグ、グリーディーデコーディング、1 秒あたりのトークン数の差分を確認するだけです。ホスト型 API 経由で Ling 3.0 Flash を呼び出している人にとっては、これは無関係です。他人のサーブスタックにローカルドラフターを接続することはできないからです。

モデルカードの正直さのギャップが、見積もりを立てる際に主に考慮すべき点だ。平均受理長5.29は強い数字である — DeepSeek-V4のDSparkスペキュレーターはLMSYSの記事によると受理長が3.2〜3.6の範囲であり、Liquid AIのLFM2.5-2.6Bドラフターは平均4.83を記録した — だが、受理長は高速化そのものではない。誰かがこの正確な組み合わせでのエンドツーエンドのスループットを公表するまでは、効果の大きさは推定値にすぎない。

そして、ここでセルフホストとホステッドの組み合わせが本当の決断ポイントになります。ドラフターは、APIとしても利用可能なモデルの前に置く、もうひとつのセルフホスト部品です——そして、この2つの選択肢を同等に保つことが、まさにルーティング層の役割です。200以上のモデルにわたる単一のAPI、プロバイダーが劣化したときの自動フェイルオーバー、そしてプロバイダーの定価を0%マークアップでそのまま通すことで、レイテンシー重視の経路には自前のLing-3.0-flashサーバーを実行しながら、残りのトラフィックはホステッドエンドポイントにルーティングし、書き換えではなく設定によって切り替えることができます。DSParkドラフターは、Ling 3.0 Flashがどこで実行されるかを変えるのではありません。それがあなたのハードウェア上にあるときに、どれだけ速く実行されるかを変えるのです。

注視すべき未解決の論点

4つの点に注目してください。公式発表やブログ投稿があれば、リリースをめぐる欠けた文脈が補われるでしょう。inclusionAI または他の誰かによる、公開されたトークン毎秒の数値があれば、5.29というアクセプタンス数が実際の高速化に変わります。ライセンスが other から名前付きライセンスに変更されれば、本番利用における最大の障害が解消されるでしょう。そして、あるプロバイダーがスペキュレーションを有効にして Ling 3.0 Flash を提供し始めれば、まったくセルフホストしない人々の計算が変わるでしょう。

それまで、Ling 3.0 Flash DSPark は、そのリポジトリが謳う通りのものだ。すなわち、Ling 3.0 Flash 向けの実在するダウンロード可能な 1.36B DSpark スペキュレータであり、派手な発表もなくリリースされ、強力だが未検証の受理数と、公開された高速化データがない状態である。これは実験として実行可能な基盤であり、そして、まだ誰も独自に測定していないコンポーネントの正直な説明でもある。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新