生成されたヒーローカード「Claude Haiku 5.5 vs Qwen3.8 27B」は、キッカーに「オープンウェイト vs API」を掲げ、Claude Haiku 5.5 が入力 $0.10、出力 $0.50、Index 43.40、Qwen3.8 27B が入力 $0.50、出力 $3.00、Index 33.70 を示し、バーには「完了タスクあたりのコスト $0.21 vs $1.01」と表示されています。
Engineering & Research

Claude Haiku 5.5 vs Qwen3.8 27B:APIでは完勝、それでもオープンウェイトが存在し続ける理由

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

このシリーズのほとんどの比較は、何らかのトレードオフに帰着する。この比較はそうではない。そしてトレードオフが存在しないこと自体が、今回の知見である。Claude Haiku 5.5は、2026年10月7日にリリースされ、Qwen3.8 27B——2026年8月14日公開のオープンウェイト27Bデンスモデル——を、総合知能スコア、トークンあたりコスト、完了タスクあたりコスト、コンテキストウィンドウ、応答上限、エージェント型コーディング、科学推論の行で上回る。しかも、ハードウェアを必要としない単一のプロプライエタリAPIからそれを実現している。Qwen3.8 27Bが完全に勝つ行は動画入力だけで、もう1つの利点はライセンスである。

それはこのモデルを見限る理由にはならない。Apache-2.0 ライセンスと動画モダリティは慰めの賞品ではないからだ。むしろそれは、なぜ人がオープンウェイト側を選ぶのかを正確に述べ、議論がベンチマークの話だというふりをやめるための理由である。

両方のモデルが実際に実行された対象の数値

100万トークンあたりの米ドル建て。ベンダーの料金は各社自身の価格ドキュメントによるもので、共通の測定値はArtificial Analysis Intelligence Index v4.3.2(2026-10-08時点)であり、いずれも各社が公開している最高エフォート設定での値です。

A generated two-column scoreboard titled 'Claude Haiku 5.5 vs Qwen3.8 27B — the scoreboard' with rows Index v4.3.2 43.40 against 33.70, cost per task $0.21 against $1.01, input price $0.10 against $0.50, context window 1M tokens against 256K tokens, AutomationBench 0.3541 against 0.4824 and weights 'proprietary' against 'open, Apache 2.0', footed 'All figures per Artificial Analysis Intelligence Index v4.3.2; Qwen vendor-card scores are unreproduced by the board.'

• 入力 — Claude Haiku 5.5 は10万トークンまで $0.10、それを超えると $0.50;Qwen3.8 27B はボードに記録されたサードパーティ料率で $0.50。

• 出力 — Claude Haiku 5.5 は 100,000 トークンまで $0.50、それを超えると $2.50、Qwen3.8 27B は $3.00。

• キャッシュ入力 — Claude Haiku 5.5 は $0.01 と $0.05、90% 割引。Qwen3.8 27B は $0.10、80% 割引。

• 独立スコア — Claude Haiku 5.5(Max)は43.40、Qwen3.8 27B(Xhigh)は33.70。9.70ポイントの差は、このバッチで最大です。

• 完了したタスク1件あたりのコスト — 同じ評価実行で $0.21 対 $1.01。4.7倍の差で、これもここでは最大です。

• コンテキストと出力 — Claude Haiku 5.5 では 1M トークンと 128,000 トークンの応答上限、Qwen3.8 27B では 256K トークンのコンテキスト。

• モダリティ — どちらもテキストと画像を入力として受け取り、テキストを返します。Qwen3.8 27B は動画入力にも対応していますが、Claude Haiku 5.5 は対応していません。

• ウェイト — Qwen3.8 27B は Apache 2.0 のもとで 27B の密パラメータを持ち、ダウンロード可能です。Claude Haiku 5.5 はプロプライエタリで、API 専用です。

A capture of Anthropic's Claude Platform models documentation showing the Claude model comparison table — Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 and Claude Haiku 5.5 'This model', the latter reading 1M context, 128K max output, 'From $0.10/$0.50', latency 'Fastest', default effort medium — above the Claude Haiku 5.5 specifications block with model ids claude-haiku-5-5, the two-tier pricing lines and 'Released October 7, 2026'.

タスクあたりのギャップがトークンあたりのギャップの4倍になるのはなぜか

レートカードはすでにベンダー有利の入力5倍・出力6倍の差を示しているので、方向性に疑問の余地はない。注目すべきは、タスク単位の数値が小さい(トークン単位の数値と比べて)、しかもこのバッチの他の対戦で起きたこととは逆である点で、その理由は示唆に富む。

Claude Haiku 5.5 は Intelligence Index のタスクあたり 162,164 個の出力トークンを生成します — 推論 129,047 個、回答 33,118 個です。Qwen3.8 27B は 66,797 個を生成し、推論 47,711 個、回答 19,087 個に分かれます。ベンダーのモデルはタスクあたり 2.4 倍のトークンを消費するため、その 6 倍の出力レート上の優位性は、タスクあたり 4.7 倍の優位性に圧縮されます。それでも依然として膨大です。ただ、レートカードが宣伝している数字ではないだけです。

ブレンド計算を見ると、その形がより明確にわかります。入力重視の7:2:1ブレンド——実際の本番トラフィックの大半が持つ比率——では、Claude Haiku 5.5は100万トークンあたり$0.077、Qwen3.8 27Bは$0.470になります。均衡した1:1ブレンドでは、$0.30対$1.75です。これを埋めるのは、ベンダーの10万トークンという崖だけです。それを超えると、Claude Haiku 5.5の料金はリクエスト全体で$0.50と$2.50になり、両モデルはほぼ同じ価格で並びます——その時点で、9.7ポイントのスコア差に何の意味もなくお金を払っていることになります。

ベンダーカードと独立系ボードが一致しない場合

これはじっくり見る価値のある行セットだ。というのも、Qwen3.8 27B のモデルカードに記載されている内容は、独立した測定結果よりもかなり強く見えており、その差こそが「はるかに大きなモデルに匹敵する27Bモデル」という主張に第二の情報源が必要となる理由そのものだからだ。

ベンダー自身が公表した数値には、当社の該当モデルのカタログページに記載されているとおり、LiveCodeBench v6で90.3、GPQA Diamondで89.2、OSWorld-Verifiedで84.3、QwenSWEBenchで79.0が含まれています。これらはベンダー報告によるもので再現されておらず、そのモデルが同規模のクラスを大きく上回る競争力を持つことを示しています。

Artificial Analysisの独立実行では、Qwen3.8 27BのスコアはTerminal-Bench 4.0で0.0556、SciCodeで0.4664、Humanity's Last Examで0.3392、GDPval-AA v2.1で1423.21です。この0.0556を、ベンダーカードがOSWorldで報告する84.3と並べると、不一致の構図は明らかです。コンピュータおよびターミナルでのエージェント作業に関して、独立系の評価ボードはこのモデルを、27B denseモデルが属するおおよその位置に置いていますが、ベンダーカードはそうしていません。

逆方向に作用する行が2つあり、同じ理由で述べておく価値がある。Qwen3.8 27BはAutomationBenchで0.4824を記録し、Claude Haiku 5.5の0.3541を上回る——どちらのボードにとってもビジネス自動化ベンチマークに最も近いものにおける、12.8ポイントの独立した勝利だ。これは同じ実行から得られた実際の数値であり、人々が実際に小型モデルを配備する用途に最も近い行での結果である。

正直な解釈は「ベンダーがすべてを水増しした」ということではない。モデルカードはその作者が選んだタスクを測定し、独立ボードは固定されたセットを測定しており、Qwen3.8 27Bの強みはベンダーのリストにはあるが、ボードのリストにはない、ということだ。

ハードウェアを自社で所有すると経済性が変わる

上記で示されたすべての料金はAPI価格であり、Qwen3.8 27Bにとってそれは誤った枠組みです。

これはApache 2.0の27Bデンスモデルです。ほとんどのチームが受け入れるであろう量子化で最新のアクセラレータ1台に収まるため、トークンの限界コストはベンダーのメーターではなく、自社の稼働率そのものになります。だからこそ、呼び出し価格がホストによって異なるのです。これはこの比較に登場するどちらのプロプライエタリモデルにも決してできないことです。ボードには第三者料金として入力$0.50、出力$3.00が記録されており、OrcaRouterのカタログでは入力$0.33、出力$2.40で提供され、キャッシュ読み取りの項目は一切ありません。なぜなら、私たちは他者のエンドポイントを再販するのではなく、自社インフラで重みを実行しているからです。

GPU の費用をすでに支払っているチームにとって、比較すべきはタスクあたり $0.21 対 $1.01 ではない。ベンダーの請求レートと、自社所有ハードウェア上でリクエストを処理する際の増分コストとの比較であり、これらは別の数字だ。それがオープンウェイト陣営の主張であり、ベンチマーク表と突き合わせても生き残る唯一の主張だ。

ライセンスがApache 2.0であることには、もう一つ、あまり自明ではない帰結があります。モデルを製品内に組み込んで出荷でき、自社のトラフィックでファインチューニングし、特定のリビジョンに固定し、重みに至るまで監査できます。こうしたことは、プロプライエタリなAPI専用モデルではいくら払っても実現できず、規制対象のワークロードでは、単なる選好ではなく決定を左右する制約となることがしばしばです。

A capture of the OrcaRouter model page for Qwen3.8 27B under qwen/qwen3.8-27b, showing a 262K-token context chip, text, image and video input, text output, a p50 time to first token of 1.84 seconds, public benchmarks by Qwen dated 2026-08-15, and the page's own description of the model as Alibaba's open-weight 27B dense multimodal model released under Apache-2.0 and self-hosted on OrcaRouter's own infrastructure.

どちらかに電話をかけること

Qwen3.8 27B is on the OrcaRouter catalogue as qwen/qwen3.8-27b at $0.33 and $2.40 per million tokens, self-hosted on our own infrastructure, with the OpenAI-compatible endpoint at https://api.orcarouter.ai/v1. Run against our own traffic over the last week it returns a median 1,837 ms to first token at 319 output tokens per second — a fast model, measured on our playground rather than a standardised harness, so treat that as a serving figure and not a benchmark. Video, image and text input, 262K-token context, native tool calling, structured outputs and a reasoning mode are all supported on the same key as everything else on the catalogue.

Claude Haiku 5.5 はカタログには掲載されていません。ベンダーの API から直接、また AWS、Azure および主要なクラウドプラットフォーム経由で利用可能であり、これが正確な記述です。カタログにベンダーのラインナップから掲載されているのはClaude Sonnet 5.5 と Claude Opus 5.5であり、これにより、セルフホスト型の小型モデルからホスト型の中位エージェント型モデルへ移行するエスカレーション経路は、2 つ目の統合ではなくルーティングの変更になります — 自動フェイルオーバーはいずれにせよその下にあります。

異例なほど偏った評決

テキストや画像に対するAPI呼び出しとしては、Claude Haiku 5.5がライセンスに関する行以外のあらゆる項目でこの比較に勝利します。9.7のインデックスポイント差、完成タスクあたり4.7倍の低コスト、4倍のコンテキストウィンドウ、2倍の応答上限、そして短いプロンプト領域における5〜6分の1という低い価格表示。価格においてQwen3.8 27Bを救うワークロード形状の論拠は存在しません。なぜなら、ベンダーの不利——出力トークンの多用——は、その料金上の優位性よりはるかに価値が低いからです。

それを救うのは、APIの価格が捉えていないすべてだ。再配布を許すライセンス、保持して固定できる重み、動画入力、そしてトークンあたりのコストがベンダーの請求書ではなく自前のハードウェアになるセルフホストの道。テキストの分類、抽出、要約、ルーティングを最も安く行う方法を探しているなら、答えはClaude Haiku 5.5であり、差は僅差ではない。自社製品の中に、自社のハードウェア上で、自社の監査の下で組み込めるモデルを探しているなら、ベンチマークの差は数段落前から問題ではなくなっている。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新