Nanbeige4.3-33B 対 Qwen3.8 27B：20件中18件という主張を検証する

Nanbeige4.3-33Bは、20のベンチマークのうち18でQwen3.8-27Bを上回る。今週インターネット上で広がっている主張であり、モデルカードに書かれていることでも技術的には事実だ。しかしこれは分母のある文であり、興味深いのはその分母の方だ。20行のうち19は点数で評価され、1つはドル金額だ。18の勝利のうち4つは1点未満の差で、少なくとも3つのQwenの数値はNanbeigeが再実行したものではなく、Qwen自身が公表した結果からコピーしたように見える。だからといって、その主張が虚偽になるわけではない。ただ、聞こえるより狭い話になるだけだ。

NanbeigeがQwen3.8-27Bをスパーリングパートナーに選んだため、この対戦カードは異例だ。Qwen3.8-27Bは2026年8月中旬にリリースされ、277.8億パラメータのdenseモデルで、Apache 2.0ライセンス、入力がマルチモーダルであり、さらにNanbeige4.3-33Bとは異なり、独立したArtificial Analysis Intelligence Indexスコア34を持つ。つまり、このバッチ内で、相手には検証済みのスコアがあり、評価対象にはない唯一の比較だ。この非対称性は、表を監査するための最良の手段である。

誰がその主張を書いたのか、そして分母には何が含まれているのか

この表はNanbeigeのものだ。2026年10月24日に作成されたリポジトリ内で、Nanbeige4.3-33BのHugging Faceモデルカードに公開された。付随するブログ記事も、ローンチイベントも、第三者による再現もない。Qwen列のすべての数値、およびNanbeige列のすべての数値は、比較を行ったラボによって作成または選択された。

20行は3つのグループをカバーしています：エージェント型コーディング（Terminal-Bench 2.1と4.0、DeepSWE、SWE-Bench Pro、SWE-Atlas-QnA、NL2Repo、Scicode、SkillsBench）、エージェント型コワーキング（Automation Bench、JobBench、GDPval、Claw-Eval、Toolathlon-Verified、DeepPlanning、EnterpriseOps-Gym、YC-bench、Tau3-Bench）、および推論（GPQA Diamond、AIME 2026、AA-LCR）。ハーネスは、大半のベンダーカードよりも注意深く開示されています。Terminal-Bench 2.1にはTerminus 2、Terminal-Bench 4.0、DeepSWE、SWE-Atlas-QnAにはmini-swe-agent v2.4.6、NL2RepoとJobBenchにはClaude Code、SWE-Atlas-QnAの判定役にはGPT-6 Solが使われています。この開示はNanbeigeの功績と言えます。また、このことが、単一の勝利数よりも比較を読み取りにくくしている理由でもあります。

Nanbeigeが失う2行

• SWE-Bench Pro — Qwen3.8-27B が 61.7 に対し、Nanbeige4.3-33B が 60.3。Qwen が 1.4 ポイントのリード。

• GDPval — Qwen3.8-27B が 86.4 に対し Nanbeige4.3-33B が 84.8。Qwen が 1.6 ポイントリード。

「20項目中18」という見出しがひっそりと切り捨てているのがこの2行であり、しかも両者は一貫した方向を示している。どちらもプロフェッショナルで経済的価値のある仕事のベンチマークだ。SWE-Bench Proはより難易度の高いソフトウェアエンジニアリング向けの変種であり、GDPvalは実際の職業的タスクにおける出力品質を測る。Qwenはどちらでも勝利しており、その差は絶対値で見れば小さいものの、二つの異なるタスクファミリーにわたって安定している。リーダーボードのためではなくプロフェッショナルな作業のためにこれらのモデルを選ぶのであれば、まさに最も重視すべき行がこの2行であり、そして評価対象が負けているのもこの2行なのだ。

Nanbeigeのモデルカードは、負けについて説明していない。その必要はない——ベンダーには、自分が勝つ表を公開する権利がある。しかし読者は、負けが「プロの専門家ならこの出力を受け入れるか」という基準にベンチマークが最も近いところにちょうど集中し、勝ちが「エージェントはループを完了したか」という基準に最も近いところに集中していることに気づくべきだ。

丸め誤差にすぎない勝利

18勝のうち4勝は1点未満の差で決まっている。

• Tau3-Bench — 48.8 対 48.5。わずか 0.3 ポイントの差。

• GPQA Diamond — 89.5 対 89.2。0.3の差。

• AIME 2026 — 95.2 対 94.5。0.7 ポイント差。

• EnterpriseOps-Gym — 41.0 対 40.2。0.8ポイント。

さらに2つは約2ポイント差以内にある。Toolathlon-Verifiedは70.4対68.5、AA-LCRは84.0対82.0だ。この規模と分散のベンチマークでは、1ポイント未満の差は優位性の証拠にはならない。それは2つのモデルが同じ帯域にある証拠だ。見出しを公平に言い換えるなら「Nanbeigeは20のうち12で明確にリードし、6で並び、2で劣る」となる——これでも十分に強い結果であり、より有用な結果だ。

大きな勝利がどこにあるかこそ、本当の論点がある場所だ。DeepSWE の 65.5 対 42.5 は 23 ポイント差。Terminal-Bench 4.0 の 23.8 対 6.3 は 17.5。Automation Bench の 54.2 対 38.3 は 15.9。DeepPlanning の 63.3 対 49.2 は 14.1。ドル建てタスクである YC-bench は $1,025,437 対 $641,290 を報告している。これらは丸め誤差ではない。Nanbeige が長期ホライズンで多段階の実行に優れていることを示している——モデルが数十回のツール呼び出しにわたって計画を維持しなければならない類の作業で。これは一貫したストーリーであり、同モデルの 512K ネイティブコンテキストおよびエージェント指向の推奨設定とも整合している。

列は同じ実験ではない可能性があります

全体の表を複雑にする観察がある。Qwenの3つの数値は、Qwen自身が公開している数値と正確に一致している。Terminal-Bench 2.1は73.0、SWE-Bench Proは61.7、GPQA Diamondは89.2だ。Qwenはこの3つすべてを公開している。一方、Qwenが公開していない行——DeepSWE、SWE-Atlas-QnA、NL2Repo、JobBench、Automation Bench、DeepPlanning、YC-bench、Tau3、EnterpriseOps-Gym、Claw-Eval——こそが、Nanbeigeの差が最も大きくなる行である。

そのパターンは、1つの表の中で2つの異なる手法が混在していることと整合する。相手がすでに公表していたベンチマークには数値をコピーし、公表していなかったベンチマークには新規に実行した結果を使う、というものだ。これは推測であり、開示された事実ではない。Nanbeigeのモデルカードには、すべてのモデルが同一の推論パラメータとハーネスを用いて最高の思考努力で評価されたとあり、これはコピーに反する根拠となる。しかし、3つの独立した数値が完全一致しているのは指摘する価値のある偶然であり、もしQwenの列が混成であるなら、「18 of 20」は一部の行ではNanbeigeの実行結果をQwenの実行結果と比較し、別の行ではNanbeigeの実行結果をNanbeigeの実行結果と比較していることになる。

2つ目は、より微妙な問題です。Nanbeige自身のモデルは、そのカードが推奨するハーネスで実行されています。XMLツール呼び出し、preserve_thinking=true、エージェント作業向けのtemperature 1.0です。カードには、Qwen3.8-27Bにそれ自身の推奨設定が与えられたのか、それともNanbeigeの設定に放り込まれたのかが書かれていません。後者なら、23ポイントのDeepSWEギャップの一部は能力差ではなく設定差です。これはあらゆるベンダー比較に当てはまる同じ注意点であり、結果を切り捨てる理由ではありません。むしろ、それを確定済みとして扱う前に中立的な再実行を必須とすべき理由です。

唯一のモデルだけが持つ独立したスコア

Artificial Analysisは、Qwen3.8-27BのIntelligence Indexスコアを34と評価しており、これはxhigh推論設定で測定されたもので、出力速度は毎秒45.2トークンです。レイテンシはプロバイダーによって異なります。当社のページでは、最初のトークンまでの時間（p50）を2.95秒と報告していますが、Artificial Analysisがサンプリングしたエンドポイントで測定した値は3.8秒でした。このインデックスは10種類の評価の複合指標であり、Terminal-Bench 4.0、SciCode、AA-LCR、GDPval-AA、AutomationBench-AAを含みます。これらのうちいくつかは、Nanbeigeが自社で報告しているベンチマークファミリーと同じものです。

Nanbeige4.3-33BにはArtificial Analysisのエントリがない。それはスキャンダルではない。モデルはまだ公開から2日しか経っていない。だが、それはこの比較の両者が認識論的に同等ではないことを意味する。Qwenの34は、他の誰かが測定した数値だ。Terminal-Bench 2.1でのNanbeigeの80.9は、Nanbeigeが測定した数値だ。両方が正確であれば、Nanbeigeは同じ総合指標で34を大きく上回る可能性が高い——Terminal-Bench 4.0の23.8とSciCodeの52.6は強い項目だ。要点は、「可能性が高い」がその役割を担っており、独立した評価者がこのモデルを実行するまで、それは役割を担い続けるということだ。

これは、20回中18回という主張を出発点の主張として扱う実用的な理由でもある。この主張は、具体的かつ低コストな方法で反証可能だ。Nanbeige4.3-33Bを独立した評価者に提出し、総合スコアを比較すればよい。それが実現するまでは、最も強く誠実に言えるのは、Nanbeigeは長期的なエージェント作業で優位に立つと主張し、プロ向け出力の品質ではわずかに劣るということ、そしてこの2つのモデルのうち、製作者以外の誰かによって検証されているのは1つだけだということだ。

トークンあたりではなく、タスクあたりのコスト

Qwen3.8-27Bは、この2つのうち今日利用できる唯一のモデルです。OrcaRouterでは、入力トークン100万あたり$0.33、出力トークン100万あたり$2.40で、Artificial AnalysisがAlibabaのファーストパーティエンドポイントについて掲載している$0.50と$3.00を下回ります。これはプロバイダーの定価で再販されるのではなく、当社独自のインフラ上で提供されているため、ファーストパーティ価格を下回るのです。当社がパススルーするモデルでは、0%マークアップのルールにより、プロバイダーの定価がお支払い額となります。いずれにせよ、トークン単価はルートによって十分に変動するため、ファーストパーティエンドポイントが自動的に安いとは限りません。このモデルはテキストに加えて画像と動画も受け付け、262,144トークンのウィンドウを備えています。

しかし、この比較ではトークン単価は適切な単位ではない。レビュアーによれば、Qwen3.8-27Bは異常なほどトークン消費が多く、同等のタスクでQwen3.6-27Bの約3倍のトークン数になるといい、Artificial Analysisはxhigh設定でIntelligence Indexのタスクあたり約1.01ドルと見積もっている。トークン単価では勝っていても、タスクあたりのトークン数で負けるモデルは、それでもより高コストな選択肢になり得る。Nanbeige4.3-33Bにはトークン単価がそもそも存在しない。重みは無料で、推論プロバイダーはどれもこれをデプロイしておらず、実行するには4基のGPUによるテンソル並列デプロイを、トラフィックが来ても来なくても常時稼働させておく必要がある。

そこがルーティング層の出番だ。Qwen3.8-27B は本日、当社のキーで利用可能だ。Nanbeige は利用可能ではなく、そうであるふりはしない。できるのは、Qwen を本番経路として維持しつつ、実トラフィックの一部をセルフホストの Nanbeige エンドポイントにルーティングして、表を信じるのではなくタスク完了率と消費トークンを測定することだ。ここでは自動フェイルオーバーが重要だ。実行途中で落ちる実験用エンドポイントは、エージェントを巻き込んで停止させるのではなく、現行の経路に縮退すべきである。そうすれば判断は、自社の「完了タスクあたりコスト」に基づくことになる。これは両モデルのトークン消費の挙動を正直に組み合わせた唯一の数値だ。

何がこれを反証するのか

3つの結果があればこの問いに決着がつくだろうし、そのどれも新しいモデルを必要としない。

• Nanbeige4.3-33B に関する Artificial Analysis のエントリー。34 付近またはそれを上回れば、ベンダー表の方向性は確認され、その大きさは議論の余地があるものになる。大きく下回るなら、18-of-20 という主張には、ハーネスの選択よりもはるかに優れた説明が必要だ。

• DeepSWE と Terminal-Bench 4.0 を、両モデルそれぞれの推奨構成で中立的に再実行すること。これが現在の表では実施されていない特定の実験であり、Nanbeige のマージンの大部分を占める行を対象としている。

• 両方について公表された、完了タスクあたりのトークン数という指標。トークン単価では、自社でホストするdenseな33Bと、トークンを大量に消費するレンタルの27Bを比較できない。完了したジョブあたりのコストなら比較できる。

私たちが擁護する評決

Nanbeige4.3-33Bはおそらく、この2つのうちより強力なロングホライズン・エージェントモデルだ。DeepSWE、Terminal-Bench 4.0、Automation Bench、DeepPlanningにおける差はあまりにも大きく、その方向性もあまりにも一貫しているため、すべてをハーネスのアーティファクトとして片付けることはできない。そして512Kのネイティブコンテキストも、その見方に符合する。Qwen3.8-27Bはおそらく、プロフェッショナルな成果物品質においてより強力なモデルであり、それを測る2つの行の両方で勝利している。さらに、より使い勝手が良いのは明らかにこちらだ。独立したスコア、ホスト型API、マルチモーダル入力、そして今日スプレッドシートにそのまま記入できる価格を備えている。

「20件中18件」は、実際より大きな成果に見せかけた本物の結果だ。正確に言えば、誰にも独立評価されていない研究所の公開から2日しか経っていないモデルが、エージェント実行では明らかな優位、一般的推論では互角、専門的な成果物では小幅な劣位を主張している——相手は10週間前から公開され、製作者以外によって測定されてきたモデルだ。これは確かに興味深い主張ではある。まだ乗り換える理由にはならない。