Jev対Kev：サポートチケットでJevを上回る$95のファインチューニング

Jared Palmerは2026年9月20日、TypeSafe AIがJevを開始してから5日後にKevをリリースした。そして重要な数字はベンチマーク表にはない。READMEにある。全体でModal上のH100時間に約95ドル、それに評価データ生成に使ったJev API呼び出しの3セントがかかった。KevはApache-2.0で、セルフホスト可能であり、オープンなQwe​n3.5ベースウェイト上に構築された3つのサイズ——およそ0.8B、4B、9B——で提供される。凍結したベースにランク16のLoRAアダプターとポインターヘッドを取り付けたもので、ゼロから作る意思決定モデルではない。Jevの型付き意思決定APIを正確に踏襲している。Choice、Score、Noulで、TypeSafe自身のPython SDKと互換になるほど近い。Jevのほうは、2026年9月15日にTypeSafe AIのクローズドなホスト型System Oneモデルとして開始され、較正済みの信頼度を伴う型付き回答を返し、テキストは一切返さず、そのアーキテクチャ、パラメータ数、学習コンピュート、重みを一度も公開していない。したがってこの比較は、本当の意味ではモデル比較ではない。中古ノートPCの値段で午後のひとときを使って再現したとき、Jevの価値がどれだけ生き残るかを試すものだ。どちらのモデルも新しいものではない——Jev 1.13（typesafe/jev-1.13）が9月15日のリリースで、Kevはその5日後に続いた——が、この比較について最近変わった点が一つある。2026年9月24日、OrcaRouterがJev 1.13をそのカタログに追加した。そのため、この組み合わせの意思決定側は、ベンダー自身のエンドポイント経由だけでなく、生成側と同じキーで応答するようになった。

ベンチマークが実際に示すもの

見出しは、Kevが迫り、1つの狭いタスクでは勝利するということだ。Kevのロックされた新規ソーステストセットでは、Kev-9Bは0.837でJevの0.857に対抗した。900件のチケットにわたるサポートチケットルーティング——scienthoonセット——では、Kev-9Bは0.952でJevの0.897に対抗し、これはオープンな再現が再現対象のモデルを上回る唯一の公開結果である。Kevはまたいくつかの論理認識タスクでも優位に立つ。SemiF決定セット、144問の構造化セットでは、Jevが0.965対Kev-9Bの0.917で勝利する。

Kevが負けるときは、ひどく負ける。ドメイン外精度：Kev-8Bは79.6%で、Jevの85.7%に対して。MMLU：70%対90%。MMLU-Pro：0.515対0.840。日単位精度での日付演算：60%対93%。パターンは一貫している——Kevはラベル集合が小さくドメインが固定された狭いルーティングや分類では競争力があるが、世界知識や多段階の算術を必要とするものでは崩壊する。なぜなら、凍結された小型ベースモデル上のランク16アダプターは、世界知識が宿る場所ではないからだ。

これらの数字はすべて、Kev 自身のハーネスか第三者のトラッカーから来ており、Palmer の README には、これは制御された比較ではないとはっきり書かれている — Jev のトレーニングデータは非公開なので、そのような比較を構築する方法はない。README には、Jev の出力はトレーニングに一切使われていないとも記載されている。どちらの免責事項も、数字をより信頼できなくするどころか、より信頼できるものにする類のものだ。比較を公開している当人が、それが何を証明できないかを教えてくれているのだから。

{{1}}95ドルで手に入る、{{/1}}Jevからはいくら払っても手に入らないもの

コスト比較になると、この2つの製品はまったく比較にならなくなります。Jevは入力100万トークンあたり$0.042で、出力は無料です。これはTypeSafe自身の価格表に記載されている料金であり、typesafe/jev-1向けの当社モデルが採用している料金でもあります。これは、1回の呼び出し単位では実現が本当に難しいほど安価です。これはホスト型APIであり、TypeSafe自身のホームページでは依然としてアーリーアクセス中と説明されています。これはベンダーの表現であり、かつてその背後にあったウェイトリストは削除されました。TypeSafeは2026年9月26日にそれを削除し、代わりに同社のモデルドキュメントが現在公開しているのは提供制限です。つまり、アカウントあたり毎分100,000件、毎秒3リクエストで、動的に調整され、予告なく変更される場合があります。Kevはダウンロードするものです。1万回目の分類の限界費用は、自分自身の電気代です。

そこから4つのことが導き出されるが、それらのいずれもベンチマークスコアに関するものではない。

• データがあなたのインフラストラクチャから外部に出ることは一切ありません。Jevはホスト型エンドポイントであり、送信するあらゆる状態 — サポートチケット、ログ行、医療記録 — はTypeSafeに送られます。Kevはあなた自身のGPU上で動作し、規制対象のワークロードにとってこれは好みではなく決定的な要因です。

• サードパーティによるレート制限も、制限付きアクセスも、非推奨化リスクもありません。TypeSafe 自身のドキュメントでは、それらの公表された制限をいつでも調整する権利を留保しています。これは、自分のディスク上のチェックポイントとは実質的に異なる点です。ローカルチェックポイントにはそのような条項はありません。

• あなたはそれをファインチューニングできます。Kevは特化するためのベースであり、それを生み出したLoRAレシピは公開されています。もしあなたのルーティングタクソノミーが、一般的なモデルではうまく扱えない40のクラスを持っているなら、あなた自身のラベルでトレーニングできます — それはまさにPalmerが行ったことで、MLチームを雇うのではなく、数十ドル単位のコストで実現しました。

• コンテキストの上限はあなたが変更できます。Jev の文書化されたリクエスト予算は 64K トークンで、そのうち 32,000 は別個の許容量ではなく、状態と最長の質問 1 件を合わせたものです。また、Choice フィールドの上限は 255 個の選択肢です。Kev は Qwe​n3.5 のウィンドウを継承しており、それははるかに大きく、オプション上限はベンダーの制限ではなく、あなた自身のサービングスタックの実装上の詳細です。

Jevがまだ持っていて、Kevが持っていないもの

キャリブレーションの主張は、きれいに移行しないものであり、それはTypeSafeの売り込みの核心です。Jevは、TypeSafeがRLCDと呼ぶ方法で訓練されています — 較正された意思決定のための強化学習 — これは、答えが好まれることよりも、信頼度の値が正直であることを最適化します。Jevのすべての回答には、オプションに対する確率分布が付属しているので、コードでしきい値を設定できます。最上位のバンドでは自動的に行動し、中間ではフラグを立て、最下位ではエスカレーションします。

Kev は同じ型付き形状と同じ確率出力を生成する。API が意図的に互換になるよう作られているからだ。それらの確率が較正されているかどうかは別問題であり、正直に言えば、どちらのモデルについても信頼性ダイアグラムを公表した人はいない。別の較正監査は、隠されたポリシーの優先度タスクにおいて Jev が 44.7% の精度を記録し、期待較正誤差が 0.325 であったと報告しており、これは Jev における較正が普遍的な性質ではなく、タスクごとに急激に変動することを示唆している。そして TypeSafe 自体も、公表された挙動を信頼するのではなく、ユーザー自身のラベル付き事例に対して信頼度しきい値をテストするようユーザーに促している。

Jev が持つもう一つの点は、Qwe​n3.5 で訓練されていないことです。ランク16のアダプターを備えた9Bモデルには知識の上限があり、0.840 に対する 0.515 という MMLU-Pro の差は、その上限が目に見える形になったものです。もしルーティング判断で時折、あるものが何であるかを知る必要があるなら、Jev のより大規模な非公開アーキテクチャが、Kev のアダプターにはできない仕事をしています。

レイテンシとデプロイメント形態

Jevの文書化されたエンドツーエンドレイテンシは70～500msで、TypeSafe自身の比較ではフロンティアLLM呼び出しの3～329秒に対してであり、呼び出しに質問を追加してもほとんど変動しない。なぜなら、すべての質問は状態の1回の共有読み取りに対して並列に評価されるからである。そのベンダーの主張に対応する測定値が1つあり、それはTypeSafeのものではなく当社のものである。当社のtypesafe/jev-1.13のモデルカードがモデルを提供してきた、2026年9月24日からの7日間を通じて、リクエストの中央値は151 ms、95パーセンタイルは247 msだった。これは1つのルートの提供記録であり、ベンチマークではない。H100上のKev-9Bは単一のフォワードパスでは同じ桁になるだろうが、比較はどちらの方向でも同一条件ではない。負荷がかかった共有GPU上のセルフホスト9Bは、ホスト型エンドポイントと同じレイテンシではないし、ホスト型エンドポイントは自前のラック内のマシンと同じではない。ためらわずに言えるのは、どちらもエージェントループでのターンごとの使用に十分高速であり、Kevのレイテンシは約束されたサービスレベルではなく、自分が制御するハードウェアの関数であるということだ。

再現についての率直な見方

Kevが存在すること自体がJevに関する証拠であり、それは明言に値する。あるクローズドモデルの振る舞いが、公開ベース重み上で、一人の手によって、5日間と95ドルで近似できるということは、その優位性のどれだけがアーキテクチャによるもので、どれだけが学習データとサービングによるものかを物語っている。だからといってJevの構築が容易だという結論にはならない — API表面の模倣は容易だが、キャリブレーションはそうではない。しかし、それは堀がインターフェースではないことを意味しており、Jevを本番経路として評価する者は誰でも、オープンベースのファインチューニングが、そのコミットメントの何分の一かでほぼ目的を達成しうる可能性を織り込むべきだ。

これはまた、どちらにもまだ本番パスを賭けるべきではないという論拠でもある。Jev を評価しているなら、妥当な姿勢はコミットせずに試すことだ。そして 2026年9月24日以降、それは弊社のキーで実行できる。OrcaRouter は Jev 1.13 を typesafe/jev-1.13 として提供し、どこでも使われているのと同じ POST /v1/systemone エンドポイントと同じ非ストリーミングのリクエスト形式で呼び出せる。65,536トークンのコンテキストに対し、入力100万トークンあたり $0.042、出力は課金ゼロ。意思決定レイヤーと生成レイヤーは今や1つのアカウント上にある: OpenAI互換の1つのキーの背後に200以上のモデル、プロバイダー定価を0%のマークアップでパススルー、自動フェイルオーバー付き。安価な意思決定レイヤーがトラフィックを振り分け、生成モデルが残りを処理する2モデルアーキテクチャは、2つ目のベンダー契約なしに弊社側で検証可能であり、もし意思決定コンポーネントがあなたのデータに対してひどくキャリブレーションを外していると判明しても、フェイルオーバーパスがそれがインシデントになるのを防ぐ。

評決

あなたの意思決定タスクが狭く、固定ドメインで、大量処理で、プライバシーに敏感なら、今日の時点で Kev のほうがより防御可能な選択であり、その差は僅差ではない — 重みはあなたが所有し、データ経路を制御でき、自社ラベルでファインチューニングでき、サポートチケットのルーティングでは 9B チェックポイントがすでに Jev 自身の公表数値で Jev を上回っている。あなたの意思決定タスクが世界知識、多段算術、または自動化の判断基準にしようとしている信頼度値を必要とするなら、Jev のより大きな非公開モデルとその RLCD トレーニングが実際に機能しており、Kev のアダプターはどちらの代わりにもならない。

どちらの比較でも決着しない唯一の点はキャリブレーションだ。どちらのモデルについても信頼性ダイアグラムを公表した人はいないからだ。どちらかを基準に自動化する前に、自分のラベル付きケースでそれを検証してほしい — 信頼度の値は、両製品ともデプロイごとに勝ち取らなければならない部分であり、速度はすでにコモディティ化している部分なのだ。