「pplx-decider-flash vs pplx-decider」と書かれたタイトルカード、サブタイトルは「3問目で価格が反転する」、0.50に設定された確率ゲージには「コストクロスオーバー」というラベル、そしてYES、NO、SCOREのチップ。右下の帯にはOrcaRouterのロゴが合成されている。
Guides & Insights

pplx-decider-flash vs pplx-decider:4Bは3つの質問をするまでは安い

著者

Alistair Wren

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

価格表では、pplx-decider-flash-v1.2にかかるコストはpplx-decider-v1.2の半分です。入力トークン100万個あたり0.01ドルに対し0.02ドルとなります。課金ルールでは、その割引が適用されるのはちょうど1回の質問だけです。同じ状態に対して2回質問すると、両モデルのコストは同じになります。3回質問すると、4Bモデルの方が高くなります。Flashは質問のたびに状態を再度課金するのに対し、27Bはそれを1回しか課金しないからです。安いモデルが本当に安いと言えるのは、小さな質問を1回ずつ投げる場合だけです。

その逆転こそが、この比較の役に立つ部分だ。残りは見慣れたサイズのトレードオフである。レイテンシとメモリで勝る4Bチェックポイントと、精度で勝る260億パラメータモデル。どちらも同じApache-2.0ライセンス、同じ262,144トークンのデフォルトコンテキストで提供されている。

2つのチェックポイント、1つのリリース、それぞれ異なる役割

Perplexityは2026年10月15日に両モデルを公開し、大規模モデルは07:40 UTC、Flashは16:57でした。両モデルは設計を共有しています。Qwenバックボーン、言語モデルヘッドの代わりに255-way読み出しヘッド、非因果的なフルアテンション層、保存されたキャリブレーション温度です。ただしバックボーンは共有していません。pplx-decider-v1.2はQwen3.8-27Bをベースに構築され、BF16で約52 GiBで提供されます。pplx-decider-flash-v1.2はQwen3.5-4Bをベースに構築され、約9 GiBで提供されます。

名称は数値よりも大まかだ。大型モデルは27Bとして販売されているが、そのモデルカード自体にはBF16で26Bと記載されている。FlashはAPIドキュメントでは4Bとして販売されているが、カードのヘッダーにはBF16で5Bとあり、そのバックボーンは4Bモデルだ。どちらの不一致もデプロイ判断を変えるものではないが、キャパシティプランでパラメータ数を挙げる前に知っておく価値はある。

アスタリスクより前の価格表

• 入力価格 — pplx-decider-flash-v1.2 は100万トークンあたり $0.01、pplx-decider-v1.2 は $0.02。

• 出力価格 — どちらも無料で、リクエストごとの料金はかかりません。各質問は会計処理上のみ、出力トークン1個としてカウントされます。

• レート制限 — 1分あたり4,000,000トークン、1時間あたり240,000,000トークン、さらに組織レベルで両モデルに共通の毎秒10リクエストの上限があります。

• エイリアス — pplx-decider-flash-latest と pplx-decider-latest はどちらも最新バージョンに移行するため、あるバージョンに合わせて調整したしきい値が、いつの間にか別のバージョンに適用される可能性があります。

アスタリスクは隠されていない。Perplexityのドキュメントは、Flashが1リクエストにつき1つの質問向けに作られていること、複数の質問を送ると相互に影響しない独立した回答が生成されること、そして各質問ごとに状態が再度課金されることを明言している。さらに例まで示している。10,000トークンの状態に対する3つの質問は、約30,000入力トークンのコストになる。

2番目の質問が割引を無効にする場合

一般的な形は単純です。状態がs トークンと q 個の質問からなるとき、Flash のコストは q × s × 100万あたり $0.01 で、27B は s × 100万あたり $0.02 です。Flash の請求額は 3 問目で大規模モデルを追い抜きます。

• 1つの質問、10,000トークンの状態 — Flash $0.0001 対 27B $0.0002。Flash が半分で勝利。

• 2つの質問、同じ状態 — Flash $0.0002 対 27B $0.0002。引き分けであり、割引ではない。

• 3つの質問 — Flash $0.0003 対 27B $0.0002。4Bは50%割高です。

• 5つの質問 — Flash は $0.0005 対 27B は $0.0002。4B は価格が2.5倍です。

絶対額で見れば、これらは1セントの何分の一かにすぎません。だからこそこのルールは見落とされやすく、大量処理では積み重なって効いてきます。10,000トークンの状態に対して3問のリクエストを100万件実行するゲートは、Flashでは約300ドル、27Bでは約200ドルかかります。50%安く見えるモデルは、通常ならバッチ処理が最適化となるようなワークロードでは50%高くつきます。

Perplexityのドキュメントによると、質問が3つ以上の場合、より大きなモデルは「通常はFlashより安価」だ。正確な分岐点は2問だ。質問が真に結合している場合——1つの意思決定における「該当するものをすべて選択」型の側面——は、まとめて処理する経路の方が正確でもある。それらが独立した候補スコアなら、ドキュメントは別々のリクエストに分割するよう勧めており、これによりFlashの請求額はさらに上がる一方、27Bの請求額は変わらない。

カテゴリー別に見る精度の差

両モデルは、Perplexity 独自の総合指標である Decision Index 0.3 でスコアリングされています。注目すべき数値は、リクエストごとに1問を投げる Flash の 60.05 に対し、ジョイントリクエストを使う 27B が 68.09 です。カテゴリ別の内訳は、ジョイント実行同士を比較することで、9.2 ポイントのジョイント実行ギャップがどこから生じるかを示しています。

A two-column scoreboard: pplx-decider-flash at $0.01 per million input tokens billed per question, Decision Index 58.88 joint, knowledge 42.0, retrieval 64.8 and vision 72.53; pplx-decider at $0.02 per million billed per state, Decision Index 68.09 joint, knowledge 56.3, retrieval 68.4 and vision 77.43; a footer notes the index is Perplexity's own and unreplicated.

• ナレッジ — 42.0 対 56.3。14.3ポイントの差があり、多くの導入を決めるのはこちらであるべきです。何かを判断するのではなく、何かを知っていることが問われるのであれば、4Bは代替にはなりません。

• 言語 — 63.3 対 72.8。

• Retrieval — 64.8 対 68.4。その差はわずか3.6ポイントで、最も小さいものです。ある文章が主張を裏付けているかどうかを判断することこそ、Flashが開発された狙いであり、この数値はそれを物語っています。

• ツール — 76.7 対 84.4。絶対値で見ると両モデルともここが最も強く、これはルーティングのユースケースに合致しています。

• 芸術 — 46.8 対 56.2。

• Vision — Vision Decision Indexでは72.53対77.43で、4.9ポイントの差はテキストの差より小さく、Flashは文章よりも画像でより競争力があります。

上記のすべての数値には、明白な注意点が当てはまります。ベンチマークはベンダーのものであり、第三者による再現は行われていません。27Bカードには、学習作業に複数のDecision Indexタスクの公式トレーニング分割が含まれ、テストセットに対してデコンタミネーションが行われたと記載されています。これは明言された慣行であり、監査済みのものではありません。カテゴリプロファイルは、各モデルがどこで強いかに関する仮説 — 27Bでは知識と芸術、両方では検索とツール — として扱い、測定された結果として扱わないでください。

共同請求の非対称性

質問をまとめることは大規模モデルには役立ち、小規模モデルには悪影響を及ぼす。そしてPerplexity自身の数値がそう示している。

• pplx-decider-v1.2 — 68.09(一括処理)対 67.75(リクエストごとに1件)。グループ化により0.34ポイント加算。

• pplx-decider-flash-v1.2 — 58.88 のジョイント対 60.05 のリクエストごと1件。グルーピングにより1.17ポイントのコスト増となります。

ドキュメントはその仕組みを説明している。4Bは複数の質問にまとめて答えると精度が落ちるため、1リクエストにつき1問が推奨デフォルトなのだ。数値からさらに分かるのは、その損失がエッジケースだけでなく総合スコアにも表れるほど大きいということだ。このモデルは単一パスの速度を売りにしており、単一パスなしの方が測定値は良い。それでもスループットを追ってまとめるなら、速度の代償を二度払うことになる — トークンで一度、精度で一度。

Screenshot of the Hugging Face model card for perplexity-ai/pplx-decider-v1.2 showing its 26B-parameter BF16 badge, Qwen3.8-27B base, an explanation of the joint request format where several questions share one sequence, a training-data note about decontaminated Decision Index splits, and 3,939 downloads.

キャリブレーション:精度ギャップが示唆するよりも近い

両方のカードがキャリブレーションを正直に公開しているのは、特筆に値するほど珍しいことだ。

• 保存された温度 — Flashでは1.554、27Bでは1.382。

• 開発セットの精度 — 1,497問でFlashは88.8%、27Bは91.3%。

• 温度調整後の期待キャリブレーション誤差 — Flash は 0.021、27B は 0.014。

• Brierスコア — 0.163 対 0.134。

Flash はサイズが7分の1であることを考えれば予想どおり、精度もキャリブレーションも劣り、キャリブレーションギャップは ECE 0.007 です。これは、27B で調整したしきい値が多くの場合そのまま移行できる程度に小さい値です。27B のモデルカードも、ホールドアウトされた意思決定データについては依然としてやや過信気味で、ECE は約 0.05 であると率直に示しているため、どちらのモデルも、自身のデータでしきい値をフィッティングすることの代替にはなりません。Perplexity のドキュメントにもまさにそう書かれています。対象とするしきい値でラベル付きデータに対して両方をベンチマークし、Flash は精度目標をクリアした場合にのみ残してください。

セルフホスティング: 9 GiB 対 52 GiB

どちらも Apache-2.0 なので、ホスト型の料金はロックインではなく利便性のためのものです。両者を最も鮮明に分けているのは、ハードウェアの違いです。

• 重み — Flash は BF16 で約 9 GiB、27B は約 52 GiB、さらに両方でワーキングメモリが必要です。

• ハードウェア — Flashは16 GBのコンシューマー向けカードに収まりますが、27Bには本格的なアクセラレータかマルチGPU構成が必要です。

• サービング — どちらも既存の因果サーバーにそのまま投入できるものではない。フルアテンション層は非因果的に動作し、v1.1 向けに書かれたプロンプトは引き継げない。

• コンテキスト — デフォルトでは両方とも262,144トークンですが、トレーニングで検証されているのは約32,000トークンのみで、カードには長い入力ほどテストが少ないという警告があります。

Screenshot of the Hugging Face model card for perplexity-ai/pplx-decider-flash-v1.2 showing its 5B-parameter BF16 badge, Qwen3.5-4B base, a note that it is about one seventh the size of the 27B model, 4,667 downloads, and the Decision Index table with 58.88 joint versus 60.05 one question per request.

セルフホスティングのFlashは、この比較の中で4Bが無条件に勝つ唯一のバージョンです。1枚の16 GBカード、寛容なライセンス、トークンごとの課金がないということは、サービングチームを必要とする52 GiBのチェックポイントとはまったく別の製品です。

適用できる意思決定ルール

• 状態ごとに1問、大量処理 — Flash。価格面の優位性は確実で、精度の低下は他へ振り分けられる知識タスクに集中している。

• 状態ごとに2つ以上の質問 — 27B。2つの場合は価格で互角、3つからは安くなり、ジョイントモードではより正確です。質問が増えるごとに差は広がります。

• 知識重視またはルーブリック重視の判断 — 27Bの場合です。知識における14.3ポイントの不足は、より優れたプロンプトで解消できるものではありません。

• 検索ゲーティングとツール選択 — Flashは妥当だ。そこでの差は3.6ポイントと7.7ポイントで、そのワークロードはまさにこのモデルが作られた対象そのものである。

• オンデバイスまたは単一GPUでのデプロイ — この組み合わせでは、Flashに実質的な代替手段はありません。

• Vision — どちらでも可ですが、27B が 4.9 ポイントリードしています。テキスト用途ですでに 27B を動かしているなら、ビジョン処理を Flash に分けるメリットはほとんどありません。

分割のどちら側に落ちるかに関わらず、決定役はパイプラインの中でも安価な部分です。それがゲートする生成こそコストがかかる場所であり、最適化する価値がある層です。OrcaRouter は200以上のモデルを1つのキーで提供し、プロバイダーの定価への上乗せはありません。そのため上流の値下げは当日に反映され、ゲートが劣化したモデルにリクエストを送った場合も自動フェイルオーバーがカバーします。ルーティング DSL は当社が提供するモデルを組み合わせます。pplx-decider のチェックポイントはいずれもその中にないため、Flash 対 27B の分割はご自身のコード内に置く必要があります。当社カタログのホスト型決定役は TypeSafe の Jev で、jev-1.13 と jev-1.14 として提供されています。

どちらのベンダーもそのテストを公開していない。

上記はすべて、ベンダーのドキュメントに基づいて下された判断です。それに決着をつけるテストは、地味で具体的なものです。実際のリクエストを1,000件取り、ラベルを付け、想定するしきい値で両方のモデルを、質問1つの場合と質問3つの場合で実行します。精度、キャリブレーション誤差、課金対象トークンの総数を記録します。公表されている数値からの予測では、Flash は単一質問のワークロードではコストで勝ち、3質問のワークロードではコストと精度の両方で負けます。もしそれが成り立つなら、選択は予算の性質ではなく、リクエストの形の性質です。そして、それを測定するチームは正しく選び、価格表を読むだけの全員は、紙の上では50%安く、本番では50%割高になるモデルを選ぶことになります。