見出しが「MAI Decision 1 vs Nimble v3」の生成タイトルカード。サブタイトルは「ホスト型スコアラー vs 出荷できないライセンス」で、「vs」の円形ディスクを挟んで2つの角丸パネルに分割されている。左パネル「Microsoft-Decision-1.1」には、サブ行「ホスト型、トークン課金」と、行「100万トークンあたり$0.042」「Foundryエンドポイント」「AA v2.1で67.78」「利用条件」が記載されている。右パネル「Bespoke-Nimble-9B-v3」には、「ダウンロード可能なアダプター」「CC BY-NC 4.0」「5ファイルのLoRA」「DI 0.2.1で56.88」「自前のGPU」が記載されている。フッターには「公開されている2つのスコアは異なる評価キットによるものなので、比較できません。」とある。OrcaRouterのロゴは、アートワーク下の白い帯に合成されている。
Engineering & Research

MAI Decision 1 対 Nimble v3:出荷できないライセンスに対するホスト型スコアラー

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

まず区別すべきなのは、MAI Decision 1 — MicrosoftがIgniteでMicrosoft-Decision-1.1として投入したモデル — とNimble v3(Hugging FaceではBespoke-Nimble-9B-v3として公開)の間の、ベンチマークではない違いだ。それはライセンス条項である。Nimble v3はCC BY-NC 4.0の下で公開されたLoRAアダプターであり、モデルカードでは「商用目的には使用できない」と言い換えられている。Microsoftのモデルはトークン単位でレンタルするホスト型エンドポイントなので、ライセンスの問題もセルフホスティングの問題もそもそも生じない。一方は製品に入れられ、他方はノートブックに入れることができる。この比較における他のすべては、公開スコアを互いに差し引くべきでない理由を含め、その分岐から導かれる。

それぞれが実際に、仕組みとして何なのか

Microsoft-Decision-1.1はFoundryのデプロイメントで、2026年11月17日から稼働しており、MicrosoftがGemma 4 26B-A4B上でポストトレーニングしたものです。状態と型付きの質問を意思決定エンドポイントに送ると、キャリブレーション済みの確率が返ってきて、Global Standardでは入力トークン100万個あたり0.042ドル、EUおよびAPACデータゾーンでは0.05ドルが課金されます。モデルカードにはダウンロード、ファインチューニングの手段、セルフホスティングのオプションはありません。Artificial Analysisの測定ではタスクあたりのレイテンシは123 ms、コンテキストは入力32,768トークンで、テキストだけでなく画像も読み取ります。

Nimble v3はQwen3.5-9B向けの5ファイル構成のPEFTアダプターで、2026年9月30日にアップロードされ、Bespoke Labsからの告知もブログ記事もリリースノートも添えられていません。リポジトリにはREADME、アダプター設定、アダプターの重み、スキーマ設定、gitattributesファイルが含まれており、以上が完全なリストです。ベースモデル、推論エンジン、GPUはご自身で用意する必要があります。付属のデータセットリポジトリには、Decision Indexの完全な実行、エンジン、再現手順が含まれており、これはほとんどのベンダーが提供するよりも透明性が高く、ほとんどの購入者が期待するよりも手間がかかります。

• 重み — ホスト提供のみでダウンロード不可、対して Qwen3.5-9B に組み込む 20 GB の BF16 アダプター

• ライセンス — Microsoft のサービス利用規約 対 CC BY-NC 4.0、非商用、アダプターの制限を緩和しない Apache 2.0 ベース付き

• インターフェース — プロンプトファイルとオプションコードトークンにハッシュで固定された、型付きの質問と確率を備えた決定エンドポイント 対 独自の推論コード

• コンテキスト — 32,768トークン 対 32,768トークン、過大なリクエストは切り詰められるのではなく拒否されます

• 画像 — 質問ごとに最大8枚、1辺あたり280~1,568ピクセル(テキストのみの場合との比較)

• 価格 — 100万トークンあたり$0.042、入力のみ 対 ハードウェア、電気代、エンジニア1人

• 公開スコア — AA Decision Index v2.1 では 67.78、Decision Index 0.2.1 では 56.88

A screenshot of the Hugging Face model card for Bespoke-Nimble-9B-v3, showing the bespokelabs organisation, 15 likes, the PEFT and Safetensors tags, the license: cc-by-nc-4.0 badge, the card text describing the model as a LoRA adapter for Qwen/Qwen3.5-9B that returns a probability for each option, the line 'Decision Index 0.2.1: 56.88' with the pointer to the bespokelabs decision-index repository, and the licence paragraph stating it may not be used for commercial purposes while the base model is Apache 2.0.

その2つの数は同じ物差しで測られていません。

最後の箇条書きこそ、比較投稿で悪用されるものなので、はっきり言っておく価値がある。56.88と67.78は比較可能ではない。Nimble v3の数値は、Bespoke Labsが自ら運営するオープンキットであるDecision Index 0.2.1に基づいており、独自のハーネスと独自の参照実装を用いている。Microsoftの67.78は、Artificial Analysis Decision Index v2.1に基づくもので、評価の構成や重み付けが異なり、スコアリング関数も異なり、評価対象のモデル群も異なる。

どちらのボードも同じ行動群を測っている——限られた選択肢の中から選び、申告した自信がどれだけ外れたかで割り引かれた正確さで採点される。しかし、対称性項を含む6評価の重み付き合成スコアは、公開キットの実行と同じ測定器ではない。一方から他方を引くと10.9ポイントの「ギャップ」が出るが、それは主に物差しの違いにすぎない。その引き算を提示する人は、不注意か、何かを売り込んでいるかのどちらかだ。

過度な断定を避けて言えるのは、方向性を示すことに限られる。Nimble v3自身のカードは数値を1つだけ報告し、内訳は示さない。同じファミリーの以前のチェックポイントは、はるかに詳細な表を公開していた。参照ラベルとの一致率は、324件のホールドアウト対照ペアで90.12%対Jev 1.13.0の93.21%、13の公開データセットにまたがる3,880件の人手ラベル付き判断で75.7%対76.0%だった。これらは最初のNimbleの数値であり、v3のものではなく、プロジェクトは自らによる測定値として表示している。対照的にDecision 1.1は、独立した67.78を備え、6つのサブスコアが公開され、Brierは0.160で、そのボードは競合他社も同じ方法で順位付けしている。調達レビューで説明できる数値が必要なら、それを提供するのはこれらのうち片方だけだ。

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Nimble v3 — the scoreboard'. The Microsoft-Decision-1.1 column reads Licence Microsoft service terms, Weights hosted only, Deployment Foundry endpoint, Images up to 8 per question, Published score 67.78 on AA v2.1, Price $0.042 per M tokens; the Nimble v3 column reads CC BY-NC 4.0, 20 GB adapter, your own GPU stack, text only, 56.88 on DI 0.2.1, hardware and electricity. The footer reads 'Nimble v3 figures per Bespoke Labs' model card; Decision 1.1 per Artificial Analysis.' The OrcaRouter logo is composited in the white strip below the artwork.

ライセンスが判断のすべてを決めており、それは見た目よりも悪い。

アダプターの CC BY-NC 4.0 は、商用利用不可を意味します。これは屁理屈で回避できるグレーゾーンではなく、明白な抜け道も通用しません。ベースモデルである Qwen3.5-9B は Apache 2.0 で、Bespoke のカードにもそのことが明記されています。しかし、寛容なライセンスのベースモデルであっても非商用アダプターの制約が緩むわけではなく、意思決定の振る舞いはアダプターに宿っています。アダプターを外せば、意思決定モデルではまったくない汎用の 9B モデルになるだけです。

第二に、あまり議論されていない問題があります。NimbleプロジェクトのGitHubリポジトリは、APIを通じてライセンスをまったく報告していません。つまり、トレーニングとキュレーションのコードにも、宣言された利用条件がありません。法務チームが、重みを生成したパイプラインをどう扱えるのかと尋ねてきた場合、答えは「プロジェクトは何も示していない」ということになります。

それをMicrosoftのモデルと対比すると、ダウンロードできないためフォークもできませんが、製品化を禁じるライセンスに誤って乗って製品を作ってしまうこともありません。両者を選ぶチームにとって実用的な整理は、一方は購入するもので、他方は研究用の成果物だという点です。ワークロードが商用なら、比較はここで終わり、ホスト型モデルが既定で勝ちます。そうでない場合——社内評価ハーネス、学術研究、置き換えるつもりのプロトタイプ——なら、アダプターは本当に興味深く、その20 GBの占有サイズは、すでに所有しているかもしれない単一のGPUで動作することを意味します。

それぞれの側におけるデプロイの実情

Nimble v3を正しく実行するのは、アダプターを読み込んでそれとチャットすれば済む話ではありません。データセットカードには明確に記載されています。エンジンは、スキーマ設定がハッシュで固定するプロンプトを構築し、各リクエストをモデルが学習時に使ったアテンションパターンで読み取ります。重みを単なるチャットモデルとして読み込んだり、テキストを生成したりしても、その回答は再現されません。プロンプトファイルやオプションコードトークンが学習時と異なる場合、エンジンは読み込みを拒否します。CUDA、BF16、torch 2.8、transformers 5.17.0、peft、および2つのアテンションカーネルが必要で、コンテキスト上限を超えるリクエストは短縮されるのではなく拒否されます。

それは本物のエンジニアリング上のコミットメントであり、ホステッドモデルにはできないものを手に入れられます。ネットワーク外向き通信なしで、自社ハードウェア上で実行でき、すべてのプロンプトを検査する選択肢もあるということです。モデル呼び出しを建物の外に出せない規制環境では、二つのうち候補にすらなり得るのはこれだけです。しかも非商用ライセンスが依然としてそれを排除する可能性があり、そこが罠です。

Microsoft 側ではコストが異なり、より小さくなります。Foundry のデプロイ、エンドポイント、デプロイ名、キーまたは Entra トークンです。レイテンシが重要なら Foundry リソースをアプリケーションと同じ場所に配置し、推論をリージョン内に留める必要がある場合はデータゾーンデプロイを使用します。その場合、100 万トークンあたり $0.042 ではなく $0.05 です。統合は JSON ボディを伴う HTTPS 呼び出しであり、応答の形はしきい値を設定する確率です。

• 最初の呼び出しまでの時間 — Foundryでは1時間未満。GPUセットアップ、固定ツールチェーン、再現実行と比べて

• 障害モード — レート制限またはリージョン障害 対 CUDA OOMまたはカーネルバージョンの不一致

• アップグレードパス — なし。ベンダーは、ピン留めも無視もできる新しいアダプタータグとは別に、新しいバージョンを出荷します

• 出口経路 — なし、ホスト提供のみ 対 重みはその場所に留まり、ライセンスに従う

後継者が物語を複雑にする場面

Nimble v3はBespoke Labsの現行モデルではなく、今それを評価する人にとっては重要な点です。Nimble-v4-maxは、2026年11月3日にアップロードされた、アダプターではなくQwen3.8-27Bのフルファインチューンであり、タグ履歴とベンチマーク表を添えて公開されています。Decision Index 0.3 publicでは72.74で、v4.0の68.46から上昇しており、43個のベンチマークにわたり、各ベンチマークのスコアはJSONファイルに同梱されています。BF16で約55 GB、80 GB GPUが1基必要です。また、CC BY-NC 4.0です。

今日のNimble v3について正直に言えば、それはすでに2回移行した系統の前世代であり、公開されているスコアは1つだけですが、それは現行モデルがすでに置き去りにしたキット版に対するものです。ベンダーの3週間前のホスト型フラッグシップと、ひっそりアップロードされた2リビジョン前のアダプターを比較するのは、どちらの軸でも公平な勝負ではありません。製品としての論点はまさにMicrosoft-Decision-1.1対Nimble-v4-maxであり、そこでもライセンスに関する答えは変わりません。

まだ決めかねているときの、ひとつの鍵

どちらのモデルもOrcaRouterのカタログには掲載されておらず、本稿でそうではないと示唆するつもりもない。Microsoft-Decision-1.1はFoundry専用であり、CC BY-NCのアダプターは商用ルーターが提供できるものではない。カタログに掲載されているのはその周辺領域で、ほとんどの評価が実際に始まるのはそこだ。

この界隈は依然として有用だ。なぜなら、この対決の双方が同じライバルに対して自らを定義しているからだ。Jev 1.14こそがそのライバルだ。Microsoft-Decision-1.1は独立系ボードで1.55ポイント上回っており、Bespokeの以前のチェックポイントは自社のREADMEでJev 1.13.0を基準に自己評価していた。Jev 1.14は入力・出力ともに100万トークンあたり$0.042で応答する。ベースのGemma 4 26B A4Bは、Microsoftが事後学習の土台としたモデルで、100万入力トークンあたり$0.25、出力トークンあたり$2.90でルーティングできる。Jevと汎用モデルを、自動フェイルオーバー付きで単一のエンドポイントの背後に置き、自社のラベル付きトラフィックに流せば、意思決定モデルがその経路に居場所を得る価値があるかどうかを午後一つで見極められる——調達サイクルの前にも、GPU購入の前にも。価値があるなら、ルーターはデプロイするどの意思決定モデルの前にも留まるので、あるプロバイダーのレート制限はインシデントではなくリルートになる。

A screenshot of the OrcaRouter model page for typesafe/jev-1.14, showing the OrcaRouter navigation, the models breadcrumb for the typesafe vendor, the model name typesafe/jev-1.14, HF and ZDR badges, a Data retention panel describing Zero Data Retention, and the page's Code samples, Pricing, Performance, Public benchmarks and How it compares sections.

そのハーネスでは分からないのは、Decision 1.1 自体があなたのデータ上でどう振る舞うかです。そのためには Foundry のデプロイと独自のラベルが必要で、ラベル付けを省略する近道はありません。

選び方

商用ワークロードの場合、校正済みスコアを独立した審査委員会に示したい場合、画像入力が必要な場合、あるいはGPUパイプラインを自前で持つよりも123 msをレンタルしたい場合は、Microsoft-Decision-1.1を選べばよい。ほとんどのチームがそうだ。

Nimble v3 を検討するのは、次の3つがすべて当てはまる場合だけにしてください。用途が非商用であること、モデル呼び出しをあなたのインフラの外に出せないこと、そして汎用ローダーではなくプロジェクト独自のエンジンを実行する用意があることです。1つでも当てはまらないなら、ライセンスまたはエンジニアリングの側がすでにあなたに代わって判断を下しています。また、今日 Nimble を選ぶのであれば、まず Nimble-v4-max を見てください。v3 で公開されているスコアは1つだけで、それが比較の中で最も古い数値だからです。

抵抗すべきは、整然とした表だ。56.88 対 67.78 は判定のように見えるが、そうではない。それは、競馬に見せかけた、異なるキット、異なる年齢、異なるライセンスの二つだ。製品に搭載されるモデルはホスト型であり、ラボで動かすモデルはオープンなものだ。それが本当の分断であり、どんなベンチマークもそれを動かせない。