pplx-decider-flash vs Laya：2種類の意思決定モデル、1つの誤った比較

出回っている数字は小奇麗で役に立たない。ある比較指数はLayaを69.5、pplx-decider-flash-v1.2を68と採点し、ほぼ互角としている。別の指数は Flash を73.7と採点し、48個中1位にランク付けしている。3つ目は Flash に504点中451点を与え、Laya multilingual の240点と対比している。3つの情報源、3つの判定。なぜならそれぞれが異なるモデルを異なるタスクセットで測っており、しかも少なくとも3つのうち2つは、どれなのかを明示せずに Laya の亜種を測っているからだ。これこそが実際に重要な比較であり、最初に正直に言うべきことは、まだ誰もこれをきちんと実行していないということだ。

比較できるのは、二つのシステムの「形」だ。何をするために作られているのか、運用にいくらかかるのか、そして使える確率を出す前にそれぞれがあなたに何を求めるのか。これらの軸では、両者は互角のライバルではない。たまたま同じ職種名を共有しているだけの、別々の製品なのだ。

それぞれ1段落ずつ

pplx-decider-flash-v1.2はPerplexityによる4Bクラスのマルチモーダル意思決定モデルで、Qwen3.5-4Bバックボーンと独立した255クラスの読み出しヘッドを備えています。テキスト、JSON、最大160万画素の画像といった状態と、型付きの質問を渡すと、1回のフォワードパスで較正済みの確率を返します。ゼロショットで動作するよう設計されており、保存された温度は1.554、モデルカードには1,497問の開発セットで精度88.8%、期待較正誤差0.021と記載されています。Apache-2.0で、BF16で約9 GiB、PerplexityのAPIでは入力100万トークンあたり0.01ドル、出力は無料です。

Layaは、Convai Innovationsによる非自己回帰型の意思決定エンコーダファミリーで、2026年9月18日にリリースされ、Apache-2.0でもあります。英語チェックポイントは512トークンのコンテキストを持つ421Mパラメータのファインチューニング済みModernBERT-largeで、多言語モデルは1,024トークンの322MパラメータmmBERT-baseです。3つ目のチェックポイントであるlaya-typed-decisionsが、注目のスコアを記録するモデルです。オプションごとのマスクトークンを用いて1回のフォワードパスで通話内のすべての質問に回答し、生成ステップも画像入力もありません。

比較表が一致しないのはなぜか

不一致は、各ベンダーが独自に構築したベンチマークから始まる。Perplexityは自社モデルを、知識・言語・検索・ツール・芸術を総合した複合指標であるDecision Index 0.3で評価している。ConvaiはLayaを、同社が公開もしている400ケース・2,000意思決定からなる型付き意思決定ベンチマークで評価している。どちらのモデルも、公開の場で他方のハーネス上で実行されたことはない。

サードパーティのインデックスは、そのギャップをひどく埋めている。Anchor Terminalの合成指標は、Layaを69.5で4位、Flashを68で6位に置く。1.5ポイント差は、誰にも監査できない合成指標のノイズの範囲に十分収まっている。Ollaya Benchは総合73.7、Flashを48中1位と報告し、マクロ精度82.4%とするが、ハーネスは公開していない。Jevが作成したタスクスイートはFlashを451/504、Laya多言語を240と採点する——競合モデルのメンテナによって書かれたスイート上での大勝だ。PublicAIのページは、FlashがLaya 322MとLaya多言語に勝ちながら、無名の「Laya」に3–0で負けたことも記録している。

最後の項目は、問題全体を縮図にしたものだ。「Laya」は単一のモデルではない。Flashを421Mの英語エンコーダー、322Mの多言語エンコーダー、およびベンチマーク専用に微調整されたモデルと比較すると、3つの異なる答えが得られ、そのうち実際にデプロイするのは1つだけだ。

私たちが守れるスコアボード

これらは、2つのシステムが真に異なる点であり、それぞれの側が公表した数値と出典が明記されています。

• パラメータ — pplx-decider-flash-v1.2 は 4B クラス（API ドキュメントでは 4B、カードのヘッダーでは BF16 で 5B）であるのに対し、Laya は英語 421M、多言語 322M です。

• コンテキスト — Flashでは262,144トークン、約32,000までトレーニング済み。Laya Englishでは512トークン、多言語では1,024トークン。

• モダリティ — Flashはテキスト、JSON、最大1.6MPの画像を受け付けますが、Layaはテキストのみを受け付けます。

• ゼロショットでの使用 — Flashはキャリブレーション済みで提供され、保存済みの温度と、Layaのベースチェックポイントに対する公開済みの誤差指標を備えています。カード自体もこれを「特化のための高速なベースであり、ゼロショットの意思決定エンジンではない」と表現しています。

• レイテンシ — LayaはT4で1件の質問に32.8 ms、10件で72.3 ms、バッチ処理で毎秒103～332件、CPUでは193～464 ms（Flash比較）で、Perplexityから公開されているサービスレベル値はありません。ベンダーが公開している唯一の数値は、約248,000入力トークンに16秒を要したというドキュメントのテストです。

• 価格 — Perplexity の API では Flash が入力トークン100万個あたり $0.01、出力は無料であるのに対し、Laya は自分で実行する重みのリリースのためホスト型の価格がありません。

レイテンシとハードウェア：Layaが及ばない分野

Layaの主張の核心は、意思決定に生成モデルは不要ということであり、レイテンシの数値がそれを裏付けている。多言語チェックポイントではT4上で1問あたり32.8 ms、英語では39.5 ms。10問で72.3 ms。バッチ処理時は毎秒103〜332問。CPU上では、プリロード済みで193〜464 msで動作する。322Mのエンコーダーは、GPUを用意できないリクエストパス内に収まるほど小さい。

Flashは別のデプロイメントクラスだ。BF16の重み9ギガバイトが16 GBのコンシューマー向けカードに収まり、ある第三者ベンチマークでは、RTX 5090上で約10.4 GBのVRAMと1回の判断あたり90–127 msが報告されている。これは4Bモデルとしては立派で、何倍も高価なハードウェア上でのLayaのT4レイテンシの約3倍だ。安価なハードウェアでミリ秒単位が制約なら、精度の話に入る前に議論は終わっている。

ファインチューニングに関する疑問

これこそが比較表が隠している部分であり、そしてそれが決定的なのだ。

Layaの看板指標である0.766という精度は、ベンチマーク自身の訓練分割でファインチューニングされたチェックポイントであるlaya-typed-decisionsのものです。ベースの英語チェックポイントは同じベンチマークで0.362を記録しており、これは多数クラスベースラインの0.461やランダム推測の0.318と対比されます。言い換えれば、そのままダウンロードしたモデルは、常に最も頻出するラベルで答えるよりも劣ります。Convaiはモデルカードで直接そう述べています。arXiv上の独立した再現研究も、主要指標の1つであるソフト精度が、公表値0.471に対して0.509という結果で再現できなかったと報告し、キャリブレーションデータは構造的に汚染されていると論じました。

Flashの主張は正反対の構図だ。ベンダーが報告するDecision Indexで60.05、1リクエストにつき1問、出荷されたまま使うことを前提としたモデルによるものだ。その主張は未検証である——Perplexityがこのベンチマークを構築しており、そのカードには、学習作業にDecision Indexの複数タスクの公式トレーニング分割が含まれ、テストセットに対してデコンタミネーションされたと書かれている。これは率直に述べられた擁護可能な慣行だが、同時に、モデルが評価対象のベンチマークにおけるドメイン内データを見ていることを意味し、デコンタミネーションは監査済みの事実ではなくPerplexity自身の主張にすぎない。しかし、問われる負担は異なる。Layaでは、公開された数値が意味を持つ前にファインチューニングと再キャリブレーションが必要だ。カードは、生の確率が過信気味になるため温度フィッティングを推奨しており、再フィッティング後にはECEが0.466から0.081に下がる。Flashでは、自分が見ていないデータに対するベンダーのキャリブレーションを信頼することになる。

どちらも無償ではない。一方はエンジニアリングの時間を、もう一方は検証の時間を費やすことになる。

言語とカーディナリティ

Laya multilingualは、原則として100以上の言語をサポートし、カード自体の「使用可能」基準であるランダムの3倍という閾値で見ると、実際には51言語中45言語をサポートします。英語以外でのXNLIスコアは0.731で、英語のみのチェックポイントの0.521に対してこの値です。また、他の13言語におけるMASSIVEの意図精度は0.451です。控えめな数字ではありますが、確かに存在しており、Flashには公開された多言語評価がまったくありません。トラフィックが英語でないなら、スコアが低い場合でも、多言語評価があるベンダーの方が安全な出発点です。

カーディナリティは逆方向に作用する。Laya は高カーディナリティの選択肢問題で大きく性能が低下する。Banking77 の72ラベルでは Jev の0.870に対して0.425となる。デフォルト設定では77個の選択肢にそれぞれ約3〜4トークンしか割り当てられないためだ。カードは、選択肢の予算を増やすか、粗いものから細かいものへと分割することを推奨している。Flash は最大255個の選択肢を受け付けるが、高カーディナリティのベンチマークは公開されていない。したがって安全な解釈は、Flash が Laya の弱点として記録しているケース向けに設計されているものの、その実績を示していない、というものだ。

千の決断がもたらす代償

Laya には意思決定ごとの料金はありません。自社でホストするからです。T4 上で毎秒 103～332 件の質問を処理する場合、100 万件の意思決定には GPU 時間でおよそ 50 分から 3 時間かかります。一般的なクラウド料金では数セントから数ドルに相当し、さらにデプロイと監視のためのエンジニアリングも必要です。

API上のFlashは簡単に計算できます。400トークンの状態と1つの質問：1,000回の判断で400,000入力トークンとなり、100万トークンあたり$0.01では$0.004です。100万回の判断は約$4です。重みをセルフホストするとトークン単位のコストはなくなりますが、約9 GiBの重みと、既製の因果サーバーでは再現できない非因果的アテンションパターンを備えたGPUに戻ることになります。

罠はバッチ処理だ。Flashは状態に対して質問のたびに再び課金するので、状態ごとに3つの質問をすれば請求は3倍になる。ゲートが一度に複数のことを尋ねるなら、その安いモデルは安くない。

ここはルーティングの論点が出てくる層でもあります。決定モデルは生成の手前にあるゲートであり、コストの大半は生成側にあります。OrcaRouter は200以上のモデルを1つのキーで利用でき、定価への上乗せはありません。そのため、より安価な生成モデルやベンダーの値下げがその当日から反映され、自動フェイルオーバーによって誤ルーティングされたリクエストが完全に失敗するのを防ぎます。当社は pplx-decider-flash や Laya をホストしていません。当社が提供する唯一の決定モデルは TypeSafe の Jev で、jev-1.13 と jev-1.14 として提供されています。GPU を用意せずにホスト型のデサイダーを利用したい場合には知っておく価値があります。

順を追って選ぶ方法

• 英語以外のトラフィック — まず Laya の多言語版から始めて、計測しましょう。公開されているクロスリンガル数値があるのは、こちら側だけです。

• 一般的なハードウェアで100 ms未満 — Laya。T4では33 msで応答します。一方Flashは最新のGPUを必要とし、T4では90～127 msかかると報じられています。

• 画像の現状 — Flash、実質的な競合なし。Layaにはビジョンの道がない。

• 長い状態 — Flash。512トークンのウィンドウでは、ドキュメントに類するものにLayaは使えません。

• ラベル付きデータがなく、ファインチューニングする時間もない — 少なくとも出発点としてはFlash。Layaのベースチェックポイントは多数派ベースラインを下回っています。

• 1問あたり20を超える選択肢 — Flash、または選択肢の予算を増やし、粗から細への分割を行うLaya。

正直にまとめると、これらのモデルは同じ職務記述を巡って競合しており、同じ導入環境を巡って競合することはほとんどない。Layaは高速で小型、ファインチューニング可能なエンコーダーで、自分でテストできる言語における大量分類向けだ。Flashは汎用でキャリブレーション済みのマルチモーダル判定モデルであり、大きなコンテキストとベンダーのスコアボードを背後に持つ。両者を1.5ポイント差に置く比較表は、間違っているというより無意味だ。選択を決める特性を、まさに平均化して消してしまっている。