Flint v1.0 対 Qwen3.8 27B：モデル「Recursive」が自らを比較対象にベンチマークした

Recursiveは、自社のRecursive Flint v1.0のローンチ資料の中で、ほとんどの報道が飛ばした一文を掲載した。同社自身の6テスト平均では、Qwen3.8 27BだけがFlintを上回った。これはベンダーが発売日にわざわざ書くには異例のことだ。また、このリリースで最も有用な一文でもある。なぜなら、どの比較を確認すべきかを教えてくれるからだ。Qwen3.8 27Bは、2026年8月14日にApache 2.0で公開されたオープンウェイトのDenseモデルであり、Recursiveが自ら構築した比較セットの中で、その集計値においてFlintを上回った唯一のモデルである。したがって、興味深い問いはFlintが優れているかどうかではない。Qwen3.8 27Bが具体的にどこで優れているのか、そしてその差が関係するハーネスの精査に耐えるのかどうかである。

スコアを読む前に、クラスの主張を読んでください。

Flintの見出しの主張は慎重に範囲を限定されている。SWE-bench Pro v2、Terminal-Bench 2.1、SWE-bench Verifiedにおいて、総パラメータ数500億未満のmixture-of-expertsモデルを上回るというものだ。Qwen3.8 27Bはmixture-of-expertsモデルではない。これはdenseモデルであり、270億パラメータで、そのすべてがトークンごとにアクティブになり、視覚エンコーダーを含めると280億、隠れサイズ5,120で64層である。したがって、それは構造上Flintの比較クラスの外に位置し、Recursiveはそれを主張から完全に除外しても差し支えなかった。

「dense」が何を犠牲にし、何を得られるのかは、正確に押さえておく価値がある。Qwenの270億パラメータはすべてがすべてのトークンに関与する。そのためBF16で約55.6 GBと実際のGPUが必要になり、アクティベーションのフットプリントもFlintの約11倍になる。denseな27Bが精度で2.5Bアクティブのsparseモデルを上回れるのも同じ理由だ。トークンあたりにより多くの演算を行っており、その分のコストをあなたに請求している。

Terminal-Bench 2.1：18ポイントの差

これは利用可能な中で最も明確な比較だ。なぜなら、両ラボが同じベンチマークバージョンを報告しており、その差は十分に大きいため、ハーネスのノイズだけで全体を説明できる可能性は低いからだ。

• Flint — Terminal-Bench 2.1 で 54.9%。Terminus 2 ハーネス上でインターネットを有効にして実行したが、Web 検索で得られた解法は失敗としてカウントした。

• Qwen3.8 27B — Alibabaのモデルカードによると、Terminal-Bench 2.1で73.0%。

それはQwenに有利な18.1ポイントの差であり、エージェント型のターミナル作業に最も近いベンチマークにおけるものだ——そしてそれはまさに、両モデルが売り込まれている用途である。2つの注意点は相反する方向に作用し、どちらも明言する必要がある。

最初のものはFlintに有利だ。Recursiveは、同業他社が適用しなかったかもしれないハンデを課した。エージェントがウェブで答えを見つけた場合、Recursiveはそれを不正解と採点した。検索して引用することが許されたモデルなら、同じハーネスでより高いスコアを出すだろう。どれだけ高いかは不明であり、Recursiveはハンデなしの数値を公表していない。

2つ目は、どんなすっきりした解釈にも水を差す。第三者機関のPrismMLは、Qwen3.8 27BをTerminal-Bench 2.1でアリババの73.0ではなく69.7と採点した。同じモデルと同じベンチマークで3.3ポイントの不一致があることは有用なキャリブレーションになる。つまり、この表の数ポイントの差はノイズであり、18ポイントの差はおそらくノイズではないと教えてくれる。

仮に低い方のQwenの数値を取っても、69.7対54.9で14.8ポイントの差が残る。方向性は疑いようがない。

LiveCodeBench v6：よりクリーンなベンチマーク上での第2のギャップ

競技プログラミングは、両ラボが報告するベンチマークの中で最もハーネスに左右されにくい。モデルが問題を受け取ってコードを生成し、ジャッジがそれを実行するからだ。違いが生じるようなエージェントループは存在しない。

• Flint — LiveCodeBench v6 で 80.3%。

• Qwen3.8 27B — LiveCodeBench v6 で 90.3%。

それは10ポイントの差であり、私が最も重く見る差だ。まさに、説明でごまかすのが最も難しいからだ。Flintの80.3は、25億パラメータを活性化するモデルとしては立派な数字だ。Qwenの90.3は、270億パラメータを活性化するモデルとしては強い数字だ。どちらも驚くには当たらない。要点は、Flintが売り込んでいる効率上の優位性は無料では手に入らないということであり、このベンチマークはその代償が見えるところだ。

フリントの勝利のように見えて、実際はそうではないベンチマーク

ここが、ほとんどの比較ページが間違えてしまうところであり、少し立ち止まって考える価値があります。

FlintはSWE-bench Pro v2で89.7%を報告している。Qwen3.8 27BはSWE-bench Proで61.7%を報告している。ざっと読むと、Flintの28ポイント差での勝利に見える。しかしこれはまったく比較になっていない。「v2」はAlibabaが報告しているものとは別のベンチマークであり、タスクセットも評価プロトコルも異なるため、この2つの数値を引き算することはできない。この2つを隣り合う列に並べて勝者を宣言しているページは、モデルについてではなく、その書き手について何かを語っているのだ。

同じ罠が一つ下の行にもあります。Flint は SWE-bench Verified で 74.2% を報告しています。Qwen3.8 27B は SWE-bench Verified のスコアを公開していません。Alibaba のモデルカードが報告しているのは SWE-bench Pro、QwenSWEBench が 79.0、DeepSWE 1.1 が 42.2、Terminal-Bench 2.1 が 73.0、LiveCodeBench v6 が 90.3、NL2Repo-Bench が 42.3 です。比較できる Verified の数値はありません。Qwen3.8 27B について Verified で出回っている数値は、このファミリーの以前のモデルから引き継がれたものか、他の複数のベンチマークで同時にモデルカードと矛盾する二次情報源から取られたもののいずれかです。これらは未検証として扱ってください。

アリババ側にはもう一つ留保が必要だ。同社のSWE-bench ProとQwenSWEBenchの実行は、素のモデルではなく外部エージェントハーネスを使っていたため、他ラボのSWE-bench Proの数値との比較でさえ怪しい。これはアリババに固有のことではない。エージェント型コーディングベンチマーク全般の現状であり、だからこそここではSWE-benchの行よりもTerminal-BenchとLiveCodeBenchの行の方が重みを持つのである。

Flintが勝る点、そしてそれは大差だ

精度は唯一の軸ではなく、他の軸では順序が大きく逆転する。

• メモリ — Flint は約24 GBで動作し、ディスク上には22.86 GBのNVFP4ビルドがあります。Qwen3.8 27BはBF16で約55.6 GBを必要とします。一方はハイエンドノートPCや単一のコンシューマー向けカードに収まりますが、もう一方は本格的なGPU割り当てが必要です。

• トークンあたりの有効計算量 — Flintは約25億パラメータをアクティブ化します。Qwenは270億すべてをアクティブ化します。この比率こそが速度差が存在する理由であり、Flintが大規模運用時に安価に提供できる理由です。

• 速度 — Recursiveは、M4 Pro MacBook Proで毎秒125以上のトークン、短いコンテキストでは64 GB RTX Sparkで150超のトークンを主張している。同じノートPC上の高密度27Bモデルはその範囲には入らない。Qwen3.8 27Bもローカルでは遅く、異常にトークン消費が多いと報告されている——Artificial Analysisはインデックステスト全体で約1億6,000万出力トークンを計測しており、これはどのエージェントループでもコスト倍増要因となる。

• コンテキスト — 両者ともネイティブで262,144トークンを扱え、QwenはYaRNスケーリングで1,000,000まで拡張する。Flintの発表では最大512Kとされている。理論上はネイティブウィンドウでは互角だが、実際には長いコンテキストでのFlintのスループットは弱い部分であり、独立系テストでは115,000トークン付近で毎秒約9トークンまで低下すると報告されている。

• マルチモーダル対応 — Qwen3.8 27B はテキストに加えて画像と動画も受け付けます。48 層の Gated DeltaNet 線形アテンション層と 16 層のフルアテンション層を 3:1 の比率で組み合わせたハイブリッドアテンション構成を採用しており、これにより 262K のウィンドウを低コストで提供できます。Flint はテキストのみです。

あなたが実際に選んでいるもの

• 最大限のコーディング精度を目指し、必要なハードウェアがあるなら、Qwen3.8 27B は、両者を明確に比較できるすべてのベンチマークでより優れたモデルです。これは Recursive 自身の6テスト平均が示していることでもあります。

• モデルをラップトップ上で実行する必要がある場合、オフラインのままにしておく必要がある場合、ソースコードをマシン内に保持する必要がある場合、またはアクティブパラメータが請求額の大部分を占めるほどの処理量をさばく必要がある場合、導入形態を決める軸ではFlintが優位に立つ。毎秒125トークンの2.5Bアクティブモデルは、GPUノードを必要とする27Bのdenseモデルとは別物の製品だ。

• 両方を求めるなら、組み合わせはうまく機能します。定例的で機密性の高い作業にはローカルモデル、難度の高いタスクにはホスト型モデルです。この分担こそ、ほとんどのチームが行き着く形であり、ルーティング層が単なる些細な事柄ではなくなるのはまさにこの点です。

Qwen3.8 27Bは、この比較の中でOrcaRouterが直接提供する唯一のモデルです——識別子はqwen/qwen3.8-27bで、ライブのモデル一覧にあり、テキスト、画像、動画を262,144ポジションのフルウィンドウで受け付けます。プロバイダーの定価はマークアップなしでそのまま反映されるため、Alibaba側の価格変更は次回更新時ではなく当日に当社側でも反映されます。OrcaRouterはFlintを提供していません。それはダウンロードです。したがって上記のハイブリッドは真にハイブリッドです。ホストされたフロンティア級モデルへの1つの経路と、マシンから出してはならないすべてのもののためのローカルファイルです。

誰も実施したことのない実験

この記事のすべての数値は、各ラボが自社のモデルを自ら測定したものであり、ただ一つの例外を除く——Terminal-BenchにおけるPrismMLとAlibabaの3.3ポイントの食い違いだ。これは、別の誰かがストップウォッチを握ったときにこれらの数字がどれだけ動くかを示す、唯一の手がかりである。

これを決着させる方法は単純明快で、まだ実現していない。両モデルを同じハーネス、同じタスクセット、同じマシンで動かし、トレースを公開することだ。それまでは、擁護できる立場は限定的なものになる。両ラボが正直に報告しているベンチマーク上では、Qwen3.8 27B の方がより正確なコーダーだ。モデルがそもそも動かせるかどうかを決めるデプロイ軸では、Flint の方がより効率的だ。Recursive が自社のローンチ記事で最初にそう述べており、それがリリース全体で最も信頼できる点だ。