Jev 対 Laya：T4 での33ミリ秒、そしてランダムベースライン

Layaのモデルカードには、この比較を決定づける一文があり、それはLayaを作った人々によって書かれた。「Layaは特化するための高速なベースであり、ゼロショットの意思決定エンジンではない」。Convai Innovationsは2026年9月18日にLayaをリリースした。TypeSafe AIがJev 1.13（typesafe/jev-1.13）を発表した3日後のことである。Apache 2.0の下で、重みはHugging Faceに置かれ、pip install laya のエントリーポイントも提供されている。トークン単位のデコーディングを行わず、単一のフォワードパスで型付きの質問に答える。これはJevが取っているのと同じアーキテクチャ上の賭けだ。目玉の主張は、Tesla T4上で意思決定あたりp50レイテンシ32.8ミリ秒というもので、Jevが公表しているホスト型API経由のp50 236～276msより約7.8倍高速だと位置づけられている。この主張は事実だが、同時に2つの異なるもの——ローカルGPUとネットワーク呼び出し——を測定している。そしてその下にある精度の全体像こそ、ダウンロードすべきかどうかを決める部分だ。ゼロショットでは、LayaはTypeSafeの型付き意思決定ベンチマークで0.362を記録する。ランダム推測は0.318。多数クラスベースラインは0.461。Layaは、そのままでは、自明なベースラインよりもランダムに近い。新しいのはどちらのモデルでもなく、そのうちの1つをどこで呼び出せるかだ。2026年9月24日、OrcaRouterはtypesafe/jev-1.13をカタログに追加した——モデル自体はTypeSafeのもので、9月15日からだ——これがこの比較で最近変わった唯一のことである。

Layaとは実際に何なのか

Laya は、各入力を適切なチェックポイントへと振り分ける組み込みルーターの背後に、2 つのチェックポイントとして搭載されています。英語用チェックポイントは ModernBERT-large で、4 億 2,100 万パラメータ、コンテキスト長は 512 トークンです。多言語版は mmBERT-base で、3 億 2,200 万パラメータ、100 以上の言語にわたる 1,024 トークンのウィンドウを持ちます。どちらも非自己回帰型です。1 回のフォワードパスが答えを返すため、デコードループも、解析すべき JSON も、宣言された型の外にテキストを出力する余地もありません。この最後の性質は、Jev が提供するものと同じ構造的保証であり、別の方向から到達したものです。そして、時折中括弧を閉じ忘れるモデルをめぐってリトライロジックを書いたことがある人にとって、これは真に価値のあるものです。

Jev はクローズドな側の対応モデルであり、両者の間で重要な違いは、どちらがより高いスコアを出すかではなく、誰がモデルを運用するかです。TypeSafe AI の最初の System One モデルは、2026年9月15日に提供開始され、ホスト型です — ダウンロードできる重みはありません — また、当社経由で typesafe/jev-1.13 として、POST /v1/systemone を通じて、非ストリーミングで、65,536トークンのコンテキストに対してルーティングできます。Laya はもう一方の形態です。自分で実行するオープンな Apache 2.0 の重みで、すでに所有しているハードウェア上で動作し、経路にはエンドポイントが一切ありません。Jev は3つの型付きプリミティブを受け取ります — あなたが指定するリストからの Choice、順序付きルーブリックに対する Score、そして較正された確率を伴う yes/no の主張である Noul です。すべての質問は、状態の1つの共有された読み取りに対して並行して評価されます。価格は入力100万トークンあたり $0.042 で、出力はゼロで請求されます。計量すべき出力トークンが存在しないためです。そのアーキテクチャ、パラメータ数、トレーニング計算量は非公開であり、TypeSafe は詳細を胸に秘めており、論文は後日になる可能性があると述べています。

適切に測定されたレイテンシの主張

Laya の T4 上での 32.8ms p50 は実測値であり、良好な値です。Jev の 236–276ms との 7.8 倍比較は注意が必要な箇所であり、Laya 自身のカードはその理由について異例なほど正直です。Jev の数値は Convai が自ら測定したことのない第三者公開の数値であり、この比較はローカル GPU のフォワードパスと、ネットワーク往復やキューイングを含むホスト型 API 呼び出しを対比させています。ネットワークを除外すれば、アーキテクチャ比較は 2 つのシングルパスモデル、すなわち 421M パラメータのものと、TypeSafe がこれまで公表したことのない非公開サイズのものとの間の比較になります。

知っておく価値のあるバッチ数もあります。バッチ10では、Layaは質問あたり7.2msを報告しています。それがこの製品の姿です。Layaはローカルで大量に実行されるように作られており、laya-mlxのようなオンデバイスのコミュニティポートがそれをApple Siliconへ広げています。「Jevより50倍速い」という拡散した主張は、プロジェクト自身が公開したベンチマークでは裏付けられていません。正直に位置づけるなら、ローカル対クラウドの大きな隔たりであり、その隔たりは一部がアーキテクチャによるもので、一部は単にあなたのGPUと誰か他の人のAPIとの違いにすぎません。

精度の数値が順に語るもの

ここから比較は好意的なものではなくなる。順序が重要であるため、順を追って示す価値がある。

• TypeSafeのtyped-decisionsベンチマークにおけるゼロショット：Laya 0.362、ランダム 0.318、多数派クラス 0.461、Jev 0.727。Layaはチャンス水準を上回っているが、自明なベースラインは下回っている。

• ベンチマーク自体の訓練用分割でファインチューニング済み — Laya 0.766 対 Jev 0.727。Laya が勝利し、その勝利はベンチマークの訓練データを見てきたチェックポイントによるものである。したがってこれはベースモデルについてではなく、ファインチューニングについての主張である。

• Banking77 の意図分類。ここでは選択肢セットが大規模です — Laya は 0.425 に対し、Jev は 0.870。Laya はおおよそ 20 個の選択肢を超えると急激に性能が低下し、Jev の Choice フィールドは、2 段階スコアリングパターンが必要になる前に最大 255 個まで扱えることが文書化されています。

• キャリブレーション — Laya は平均期待キャリブレーション誤差 0.466 で提供され、質問タイプ別の温度再フィッティングを行った後に初めて 0.081 に改善する。Jev は、TypeSafe が RLCD（Reinforcement Learning for Calibrated Decisions、較正された意思決定のための強化学習）と呼ぶ手法で訓練されており、すべての回答を確率分布とともに提供する。ただし TypeSafe は、ユーザーに対し自身のラベル付きデータでしきい値を検証するようも促しており、ある独立監査では Jev のキャリブレーションがタスクによって大きく変動することが判明した。

パターンは明白だ。Layaはファインチューニングの強力な基盤であり、ゼロショットの意思決定エンジンとしては弱い。そしてLaya自身がそう言っている。Jevは強力なゼロショット意思決定エンジンだが、そのキャリブレーションはデプロイごとに確認する必要がまだある。これらは価格体系の異なる別々の製品であり、どちらを選ぶかは主に、ラベル付きデータとトレーニングループがあるかどうかの問題だ。

コストの計算はJevのものと同じ形ではない

Jevは入力トークン100万個あたり0.042ドルで出力は無料、これは10億個あたり42ドルに相当し、文書化されている64Kトークンのリクエスト予算で最大サイズの呼び出しを行っても、コストは1セントを大きく下回ります。通常およそ32,000トークンと引用される数値は、状態と単一の最長質問を合わせた上限であり、リクエストの上限ではありません — TypeSafeは、状態とすべての質問を合わせて1リクエストあたり64Kトークンと文書化しており、typesafe/jev-1.13の当社のモデルカードには65,536トークンのコンテキストが記載されています。Everyの独立したテストでは、37文書にわたる777件の判定がおよそ0.25セントでした。

Layaのコールあたりのコストは限界的にはゼロであり、総計では非ゼロであり、その総計は小さくない。T4上の421Mパラメータモデルは実行が安価で、それでもGPUを1台消費する。そしてLayaを競争力のあるものにするファインチューニングの工程こそが本当の出費の所在である——データのラベリング、トレーニングの実行、評価ハーネス、そしてキャリブレーション誤差を0.466から0.081へと改善する、質問タイプごとの温度パラメータの再フィッティング。決して変化しない固定されたタクソノミーにとって、それはボリュームで回収できる一回限りのコストである。ドリフトするタクソノミーにとって、それは繰り返し発生するコストであり、Jevの0.727というゼロショットベースラインは、はるかに良い取引になる。

見落としやすい3つ目のコストがある。Layaの英語チェックポイントのコンテキストウィンドウは512トークンだ。それはコンテキスト予算が小さい意思決定モデルという話ではない——段落向けに設計された意思決定モデルなのだ。Jevの64Kトークンのリクエストバジェットは100倍以上大きいが、それでも両者が価格比較の基準としている生成モデルより一桁小さい。あなたの状態がサポートメッセージではなくサポートスレッドなら、どちらのモデルのウィンドウも、あなたが最適化すべき制約ではない。

本当の違いはデプロイの問いにある

Layaの最も強い論拠はレイテンシではない。Hugging Face上のApache 2.0ライセンスの重みは、その判断があなたのインフラから決して外に出ず、エンドポイントにレート制限が一切かからないことを意味する、という点だ。医療記録、法的文書、あるいは顧客の口座履歴に基づいて下されるルーティング判断にとって、それは好みの問題ではなく、決定的な要因であり、どんな価格のホスト型エンドポイントでもこの論拠には勝てない。TypeSafe自身のホームページは今もJevを早期アクセス中と説明しており、ベンダーのドキュメントは、そのレート制限が動的に調整されており、予告なく変更され得ると注記している。

反論は、あなたが何を犠牲にするかにある。Jevの非公開のより大きなアーキテクチャは、Layaの421Mパラメータにはできない仕事を担っている。ゼロショットのギャップ0.727対0.362と、Banking77のギャップ0.870対0.425は、どちらも訓練する前にモデル内部にどれだけの知識が存在するかを測る指標だ。Layaの答えは、その知識をファインチューニングによって自分で供給するというもので、狭く固定されたドメインではその答えは機能する——0.766というファインチューニング後の結果が証拠だ。

意思決定レイヤーは実際のスタックのどこに位置するのか

どちらのモデルもテキストを生成しないため、どちらもワークフロー全体を担うものではありません。両者が想定しているパターンは2つのモデルです。型付きの呼び出しを行う意思決定レイヤーと、散文、コード、説明が必要な部分を処理する生成モデルです。その分離は以前なら2社目のベンダー契約を意味していました。なぜなら、意思決定側の半分は、生成側の半分と同じキーから呼び出せるものではなかったからです。今は可能です。Jevは、当社を通じてtypesafe/jev-1.13としてPOST /v1/systemone経由でルーティング可能です — 非ストリーミング、65,536トークンのコンテキスト、100万入力トークンあたり$0.042、出力は課金ゼロ。そのルートに関する当社自身の7日間の配信記録では、p50が151ミリ秒です。これはベンチマークではなく、自社ハードウェア上の自社トラフィックです。これはネットワーク測定であり、上記の32.8msのローカルフォワードパスとは異なるものです。Layaは別の取り決めのままです。自分で実行するオープンウェイトであり、当社はそれをホストしておらず、その必要もありません。そのパターンの生成側の半分は、まさに当社がカバーする部分です。1つのOpenAI互換キーの背後にある200以上のモデルが、0%のマークアップでパススルーされたプロバイダのリスト価格で、したがってベンダーの価格変更は同日に当社側で反映されます。2モデルアーキテクチャは、2社目のベンダー契約なしでテスト可能です — 生成側の半分と同様に意思決定側の半分についても — また、自動フェイルオーバーにより、生成パスが単一障害点になることはありません。安価な意思決定レイヤーが自動化するのに十分な精度でキャリブレーションされているかどうかを判断している間も。

評決

固定された狭い分類体系とラベル付きの例があり、ホスト型APIを排除するプライバシーまたはレイテンシの要件があるなら、Layaのほうがより正当化しやすい選択であり、ファインチューニング後の数値もそれを裏付けている。その意思決定をすぐにそのまま使える形で機能させる必要があるなら、オプションセットが20カテゴリを超えるなら、あるいは状態が一段落より長いなら、Laya自身のモデルカードが、それはその用途向けの製品ではないと告げている——そして、多数派ベースライン0.461に対するゼロショットスコア0.362こそ、誰かが7.8倍のレイテンシの数字をあなたに持ち出すときに見据えておくべき数字だ。

両者に共通する点は、両者を分ける点よりも有用だ。どちらも、出力フォーマットに由来する種類のエラーは排除するが、判断に由来する種類のエラーには何も対処しない。どちらも確率を提供するが、どちらにも、確認せずに信頼できる公開済みの信頼性ダイアグラムはない。どちらかを自動化に組み込む前に、自分のラベル付きケースでキャリブレーションをテストせよ — レイテンシはすでにコモディティ化しており、信頼度の値こそがデプロイごとに獲得しなければならない部分だ。