生成されたタイトルカードは、見出しが「第1位、最下位、同じボード」、サブタイトルが「Liquid AI d1.2-ultra - Decision Index v2.1、2026年11月16日」。角丸のカード2枚が横に並び、左は「Decision Index 75」の上に「24台中1位」、右は「HLE accuracy 2.36%」の上に「24台中24位」と表示されている。その下のキャプション行は「1つのモデル、6つの評価」で、枠線付きチップ3つには「Artificial Analysisによる測定」「66kコンテキスト」「100万入力トークンあたり$0.042」とある。OrcaRouterのマークが右下に合成されている。
Guides & Insights

Liquid AI d1.2-ultra、Decision Indexで75を記録して首位に —— しかし6つのテストのうち1つでは最下位に

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Liquid AI d1.2-ultraは、このカテゴリーで、開発元企業以外の主体から1位に位置づけられた最初のモデルです。Artificial AnalysisはこれをDecision Index v2.1で75と評価し、その数値をモデル自身のボードページに掲載し、24の意思決定モデル中1位にランク付けしました——73のNace.AIのDrex Max v1.1を2.2ポイント上回っています。同じリリースの小さい方であるLiquid AI d1.2は69で9位に入っています。両モデルは2026年11月16日に提供開始され、これにより今回が、リーダーボードでの主張が、そのモデルをすでに掲載している独立系ボードとともに届いた最初のLiquid AIのローンチとなりました。モデルより前に存在していたボードを指すベンダー側の数値ではなく、そうなったのです。

同じリーダーボードはまた、HLE-MultiChoiceにおいてd1.2-ultraをそれら24モデルの中で最下位、生の正答率2.36%と評価している。両方の記述は同時に真であり、同じ組織によって同じ計測手段で同じ日に測定されており、その間の隔たりこそがこのリリースで最も有用なものだ。

なぜこのリーダーボードの主張は別種の主張なのか

10月、Liquid AIはd1-ultraを発表し、Decision Index v1.0に対して首位だと主張しました。しかしそのボードは、そのモデルが存在する2日前に公開されたものでした。モデルがボードに載っていなかったため、誰も確認できませんでした。ここで起きたのはそういうことではありません。Artificial Analysisはd1.2-ultraを自社のハードウェア上で、自社のハーネスを使って自ら実行し、その結果は6つのコンポーネントスコアとキャリブレーション曲線が付いたランキング行になっています。Liquidが「このインデックスで最高であり、従来の最高の意思決定モデルを2ポイント上回る」と言うとき、そのインデックスも従来の最高モデルも公開されており、両方とも一致しています。

バージョン2.1は6つの評価の加重平均であり、重みは均等には配分されていません。AA-Paperclipが30%を占めます。1,500件の非公開文書(履歴書、領収書、請求書、研究論文)で、各文書には5つの判断と10の事実が含まれ、15の回答がすべて正しく返された場合にのみ有効となる1文書として採点されます。EvalSafe-O*NET-AA、AA-Omniscience-Decision v1.1、HLE-MultiChoice v1.1、AA-Symmetry v1.1がそれぞれ15%を占めます。NVIDIAのツール呼び出しセットであるWhen2Callが10%を占めます。各質問は50 × (1 + c − (p − c)²)として採点されます。ここでcは選択が正しかったかどうか、pはモデルがその選択に付けた確率であり、これは50 × (1 + accuracy − Brier score)に集約されます。自信を持った誤りは、ためらいがちな誤りよりもコストが大きくなり、0.6と言って正解するモデルは、0.99と言って正解するモデルよりも高いスコアを得ます。

75はどこから来るのか

A generated single-column scoreboard titled ‘Liquid AI d1.2-ultra - the scoreboard’, with six rows: Decision Index 75, first of 24; AA-Paperclip 75.8 with 67.7% of documents all-correct; AA-Symmetry 86.3, second of 24; When2Call 96.5, first of 24; HLE-MultiChoice 2.36% accuracy, last of 24; and Cost $133 per 1M tasks at $0.042 per 1M input tokens. The footer reads ‘All figures measured independently by Artificial Analysis, Decision Index v2.1; Liquid AI's own task accuracies are vendor-reported.’

分解してみると、首位は2つの評価に支えられ、3つ目の評価によって守られている。残りは平凡か、それ以下だ。複合スコアをモデルの説明として扱う前に、このことは知っておく価値がある。

• AA-Paperclip、インデックスの30% — d1.2-ultraは決定スコアで75.81、文書の67.7%が完全正解で、いずれも24件中1位。Drex Max v1.1は72.82と63.0%で2位、SubQ Snap 1.2は71.58で3位。置き換え対象のモデルLiquid AI d1-ultraは64.69と51.3%だった。

• When2Call、10% — d1.2-ultraが96.49で首位、96.10のSubQ Snap 1.2、96.09のd1.2を上回っています。ツール呼び出しはすでにこの分野で最も得意とする領域でした。ここでのトップ10全体の差は1.5ポイントです。

• AA-Symmetry、15% — 86.34で2位、Mammoth 27Bの88.25に次ぐ。より厳格な全問正解指標では状況が変わる:Mammothは68.3%の質問で言い換え間でも同じ回答を保持し、Elephant 9Bは65.8%、d1.2-ultraは56.7%だった。スコアで2位であることは、一貫性で2位であることを意味しない。

• EvalSafe-O*NET-AA、15% — 89.53で3位、Jev 1.14の91.14に次ぐ。競合モデルが依然としてリードしている唯一のコンポーネントであり、ノイズと呼ぶには差が大きすぎる。

• AA-Omniscience-Decision v1.1、15% — 60.80。これは中位で、d1-ultra が記録した 64.39 を下回っています。

• HLE-MultiChoice v1.1、15% — 判断スコアは46.36だが、素の正答率は2.36%で、全24件中最低。この差は矛盾ではなく、ほとんどすべてを辞退する、よくキャリブレーションされたモデルの姿である。同じセットでの非ハルシネーション率は76.1%で、これは4回中3回、推測するのではなく「わからない」と正しく答えたことを意味する。

これら6つすべての下に示される主要指標であるAAの独立した精度指数スコアでは、d1.2-ultraが61.6で首位となり、GLiDE v1.2の59.4、Drex Max v1.1の58.2を上回っています。そのBrierスコア0.150は24の中で最良です。このモデルが勝っているのは、較正だけによるものではなく、文書と較正が相まっているからであり、それはこの指数が報いるように作られた組み合わせです。

逆方向に進むスコア

このリリースには完全勝利と読める見方があるが、それを反証するのが HLE-MultiChoice の行だ。Humanity's Last Exam の多肢選択における2と3分の1パーセントという生の正答率は、丸め誤差ではないし、棄権オプションで説明がつくものでもない。モデルには回答を控える選択肢があり、実際にそれを選んでおり、その棄権は知識ではなく誠実さとして採点される。Decider v1.3 は同じ問題の15.32%に正答する。Drex Max v1.1 は8.25%。同じリリースの低コストモデルである Liquid AI d1.2 は5.30%だ。

最後の比較こそが奇妙なものだ。知識重視の評価では、より小さく安価なモデルのほうが弱いわけではない。d1.2はAA-Omniscience-Decisionの質問で30.0%正解し、d1.2-ultraは23.6%、HLEではd1.2が5.30%に対しd1.2-ultraが2.36%だ。d1.2-ultraが100万トークンあたり追加の2セントで買っているのは知識ではない。文書処理、対称性、キャリブレーション、つまり仕事の運用面の半分だ。ワークロードがスキャンした請求書からの抽出なら、そのトレードオフは明らかに正しい。世界についての難しい質問に答えることなら、同じファミリーのより安いモデルのほうが測定上優れており、ローンチ記事にはそう書かれていない。

見出しには出ていない請求上の変更

Liquidの投稿で最も影響が大きい文は、ベンチマークではなく課金ルールだ。d1-ultraでは、すべての質問が添付画像をすべて含むそれ自身のプロンプトとして請求されていたため、1枚の写真について10個の質問をすると、その写真の分を10回支払うことになった。d1.2とd1.2-ultraでは、リクエストはそのテキストと画像を一度だけ請求し、追加の各質問はそのテキスト分だけを加算する。

1,024×1,024の画像を1枚含む2,000トークンの文書と、それぞれ約30トークンの短い質問10個を考えます。この画像は、32×32ピクセルのパッチあたり1.5トークンという記載レートで1,536トークンになります。旧ルールでは、このリクエストは約35,700トークンを含みます。新ルールでは約3,840トークンです。入力トークン100万個あたり0.042ドルとすると、これは1リクエストあたり約0.0015ドルに対し約0.00016ドル、つまり同一の作業を同一の表示価格で行う場合に9倍強安いということです。月間100,000リクエストでは、差は約150ドルに対し約16ドルです。どちらの数値も、ベンダー自身の課金説明に基づく算術であり、実測値ではありません。

変更された2つ目の仕様はコンテキストウィンドウです。Artificial Analysisはd1.2モデルの両方について66kトークンと記載しており、d1-ultraの33kと対比しています。Liquidの投稿にはウィンドウについてまったく記載がないため、66kという数字はベンダー仕様ではなく評価ボード側の解釈ですが、それでも前世代の2倍です。状態を渡されることが仕事のすべてであるモデルにとって、これはインデックス4ポイントよりも実用上大きな変化です。

5つの新しい回答タイプと音声

機能追加は作り直しではなく追加です。同じエンドポイント、同じリクエスト形状、5つの新しい回答種別、そして新しい入力モダリティです。質問は、ページから読み取った値(数値、日付、名前など)を、読み取り元の文字列とともに返すよう要求できるほか、存在しない場合は「not found」を要求できます。特定の種類のすべてのスパンを位置付きで要求でき、これがPIIのケースです。1つのオブジェクトを囲むボックス、またはすべてのインスタンスを囲むボックスと件数を要求できます。範囲付きの推定値を要求できます。そして、該当するすべての選択肢を、それぞれの確率とともに要求できます。

音声はもう一つの追加要素であり、双方向に機能します。録音が質問の対象になることも、質問そのものになることもあります。Liquidによると、ホールドアウトされた録音において、両モデルは、ESC-50のどの音が聞こえるか、またはFLEURSの43言語にわたってどの言語が話されているかという質問の95~97%に回答します。各質問には3~6個の選択肢があり、スペイン語とポルトガル語のような紛らわしい組み合わせも含まれています。

5つの新タスクの精度数値は、公開データセットのホールドアウト分割から構築された社内テストセットに基づくものであり、これらのタスクをカバーする公開ベンチマークはまだ存在しないため、ベンダーもそのことを明言している。これらはベンダー自身による評価として読むべきだ。CORDおよびSROIEでレシートから値を読み取るタスクでは98%と96%、Nemotron PII上のPIIスパンでは精度/再現率が94%/93%対92%/88%、RefCOCOファミリー全体での物体位置特定では双方とも94%、COCOでの1以内のカウントでは93%と92%、存在するすべての物体を選ぶタスクでは87%対90%——安価なモデルが勝つ唯一の行である。

金銭請求の確認

A headless-browser screenshot of the Artificial Analysis Decision Index v2.1 page, captured 17 November 2026 in English, headed ‘Artificial Analysis Decision Index v2.1’ and described as a composite index testing decision models across document decisions and extraction, tool calling, knowledge, reasoning and invariance, with a note that version 2.1 combines six evaluations starting with AA-Paperclip's 1,500 resumes, receipts, invoices and research papers.

Liquidの価格に関する一文は異例なほど検証可能だ。「d1.2より高いスコアをより安く出せるモデルはなく、d1.2-ultraより高いスコアを出せるモデルは価格を問わず存在しない」。どちらの半分も、リーダーボードと突き合わせても成立する。24モデルの指標上、74.85を超えるスコアのものは皆無なので、後半は自明に真だ。前半については、d1.2は68.69、100万タスクあたり63ドルに位置する。それを上回るスコアのモデルはすべてより高コストで、最も近い安価な挑戦者はDecider v1.3の70.41、68ドルだ。この主張は成り立ち、しかもLiquid自身の数字ではなく他者の数字の上で成り立っている。それは本来より稀なことだ。

コストの数値自体は{{1}}Artificial Analysis{{/1}}に由来しており、同組織は各評価を現在の定価で実行し、平均値を算出している。d1.2-ultraは100万タスクあたり133ドルで、同クラス中央値135ドルに対して24モデル中11位、d1.2は63ドルで3番目に安い。タスクあたりの時間は大型モデルが218 ms、小型モデルが150 msで、同クラス中央値は209 msだ。フラッグシップは平均よりやや遅く、安価なモデルは余裕を持って速く、そして両者とも、同じボードにタスクあたり11秒と32秒で掲載されている生成モデルより桁違いに速い。

どこで呼び出せるか、そして何に対して実行するか

両モデルは現在、Liquid 自身の API で利用できます。API は api.liquid.ai/decisions/v1/systemone で、d1.2-ultra と d1.2 として呼び出せます。キーは Liquid コンソールから取得でき、どちらも Liquid プレイグラウンドで利用できます。Liquid の投稿によると、追加のサードパーティ製プラットフォームも提供予定です。本稿執筆時点で、存在する経路はベンダー自身の API のみです。どちらのモデルも当社のカタログには掲載されておらず、この記事はどちらのモデルの可用性を主張するものではありません。

当社のカタログに掲載されているのはJev 1.14です。これは、d1.2-ultra がリードしていない唯一のコンポーネントでリードするモデル — EvalSafe-O*NET-AA で、91.14 対 89.53 — であり、同じsystemoneエンドポイント形式で提供され、入力はテキスト、出力は構造化JSON、入力トークン100万個あたり$0.042です。この偶然の一致は有用です。このリリースを評価するチームは、新モデルと既存モデルを同じステート上に置けます。2つ目の契約や2つ目のクライアントライブラリは不要です。なぜなら200以上のモデルに対応する1つのAPIがすでに両方の形式に対応しているからです。リスト価格は0%のマークアップでそのまま渡されるため、Liquid が $0.042 を動かせば、ここに表示される数字はそれに遅れてではなく、それとともに動きます。そして自動フェイルオーバーにより、生まれて1日しか経っていないモデルでも、実際のワークロードの一部を任せることができ、そのすべてを任せる必要はありません。

A headless-browser screenshot of the OrcaRouter model page for typesafe/jev-1.14, captured 17 November 2026 in English, showing the /v1/systemone endpoint, Zero Data Retention availability, an input and output list price of $0.04, and measured latencies of 182 ms and 372 ms.

データから導かれる推奨であり、料金ページからではないものはこれです。シャドー実行してください。d1.2-ultra は文書処理で首位、キャリブレーションでも首位で、これは抽出パイプラインにとって真に強力な組み合わせです。一方、難しい知識問題では最下位で、これは脚注ではなく実際の制約です。パイプラインが実際に目にする状態を投入し、top-1 の選択ではなく確率を比較し、0.8 と答えて間違えるケースに注目してください。そのテールこそ、このモデルの10月の前世代が悪いスコアだった領域であり、改善が現れるかどうかが分かる領域だからです。

未解決なのは、75が本物かどうかではない——Artificial Analysisが測定し、その構成要素を公開している。そうではなく、1,500件の非公開文書に対する30%加重の文書評価が、あなたの文書にも一般化するかどうかだ。これは、あなた自身のラベル付きサンプルでしか答えられない問いであり、課金変更によって1文書につき1件ではなく10件の質問をしたくなる前に、答えておく価値がある。