
Ultramarine 1 Flash:Paper Instruments、タスクあたり0.13ドルで実用的なモデルを提供開始
- OrcaNEWOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 100万トークンあたり · 60 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952知能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856知能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 100万トークンあたり · 762 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238知能
- OpenAIOpenAI: GPT-6 Sol2026-09-2248知能
- AnthropicAnthropic: Claude Opus 5.52026-09-2258知能
- xAIGrok 4.72026-09-2146知能
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 100万トークンあたり · 39 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 100万トークンあたり · 2230 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040知能
- OpenAIOpenAI: GPT-6 Astra2026-09-0453知能77コーディング
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241知能76コーディング
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245知能76コーディング
- AnthropicAnthropic: Claude Fable 5.12026-09-0153知能82コーディング
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 100万トークンあたり · 57 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 100万トークンあたり · 122 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642知能72コーディング
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 100万トークンあたり · 204 tok/s
- z-aiZ.ai: GLM 5.32026-08-1845知能75コーディング
Paper InstrumentsはUltramarine 1 Flashを2026年10月14日に発表した。同社が真っ先に掲げる数字はベンチマークスコアではない。価格である。PI Knowledge Work——同社の金融・法務・コンサルティング・オペレーション業務を担う社内スイート——で1件のタスクを完了するのに$0.13。同じタスクを完了するのに$8.19かかるモデル、最大推論設定のClaude Fable 5はそこで57.8を記録する。Ultramarine 1 Flashは59.3だ。このペアをベンダーが描く通りに読めば、およそ63分の1のコストでフロンティアシステムを打ち負かすモデルが手に入る。もっと注意深く読めば、より狭く、より興味深いものが出てくる。特定の種類の出力のために作られ、自らのベースモデルが課すレートで価格づけされ、そう告げるベンチマークはそれを売る企業自身が書いたモデルである。
ベースモデルについては先に述べておく価値がある。価格の大半はそれで説明がつくからだ。GLM-5.3 Flashのポストトレーニング版が Ultramarine 1 Flash だ。GLM-5.3 Flash は Z.ai の 320B 総パラメータ / 18B アクティブのネイティブマルチモーダルモデルで、ゼロから構築されたのではなく、大規模な強化学習によって改良されたものだ。その API 料金は入力トークン 100 万あたり $0.15、キャッシュ入力 $0.03、出力 $0.50 で、GLM-5.3 Flash とまったく同じである。ベンダー自身の料金欄にある「GLM-5.3 Flash と同じ」とは、そういう意味だ。
出荷されたもの、そしてまだ約束にすぎないもの
発売日には二つのことが同時に真実であり、その二つの間の隔たりこそ、多くの報道が平板化してしまう物語なのだ。
Ultramarine API が公開されました。今日から仕事を送信でき、上記の料金を支払えます。ランディングページでは、簡素な「Ultramarine API →」という一行の下にリンクされています。
重みはそうではない。同じページには「モデルの重みは近日公開」とあり、技術レポートは GLM-5.3 Flash を「強力なオープンなベースモデル」と説明している——これはベースについての記述であり、派生物についてのものではない。Ultramarine 1 Flash は現時点では、オープンウェイトを意図したクローズドなホスト型エンドポイントだ。それが本当にオープンになるかどうかは、それに関する唯一最大の未解決問題であり、多くの又聞きの要約が確認ではなく思い込みによってすでに答えを出してしまっている問題でもある。
リリース日にオープンになったのは、足場(スキャフォールディング)だ。モデルがその内部で訓練され、評価もされる Feather エージェントハーネスが、リポジトリとして公開されている。同様に、モデルが Excel ワークブック、PowerPoint デッキ、Word 文書を作成するために使う、標準的な Python Office ライブラリの Paper Instruments によるフォークである paper-docx、paper-pptx、paper-xlsx も公開されている。これらのフォークが存在するのは、同社自身の説明によれば、python-docx などを動かすエージェントが「API のギャップに突き当たり、生の OOXML に落ち込み、サイレントな破損やリグレッションを生み出す」ためだ。
それが負ける2つを含む、6つのベンチマーク
Paper Instrumentsは6つのスイートで評価された。Ultramarine 1 Flashはそのうち4つで首位であり、2つでは首位ではない。これは平均よりも有用な要約である。
• JobBench — Ultramarine 1 Flash は 62.9 で、60.6 の Gemini 3.8 Flash と 60.4 の DeepSeek V4.1 Flash を上回り、Claude Fable 5 は 57.4、GPT-5.6 Sol は 45.4。
• PI Knowledge Work、社内スイート — 59.3。Claude Fable 5の57.8、GPT-5.6 Solの55.1を上回る。
• FrontierFinance — 53.3、50.7のGLM-5.3 Flashと50.0のGemini 3.8 Flashを上回る。
• AutomationBench — 2位。DeepSeek V4.1 Flash が 51.3 で、Ultramarine の 50.2 を相手にその座を獲得。
• DiligenceBench — 3位。Gemini 3.8 Flashが53.1で首位、Claude Fable 5が52.9で2位、Ultramarine 1 Flashは50.6です。
• APEX-Agents 1.1 — 3位。Gemini 3.8 Flash は 64.3、Claude Fable 5 は 63.6 で、どちらもそれを上回っています。Ultramarine 1 Flash は 57.0 で、GPT-5.6 Sol の 51.5、DeepSeek V4.1 Flash の 39.5 を依然として大きく上回っています。
敗因のパターンは一貫しており、名付ける価値がある。Ultramarine 1 Flash は、成果物が文書である場面で最も強く、タスクがシステム群上のライブなエージェントループである場面で最も弱い。DiligenceBench は株式リサーチのエージェント評価であり、APEX-Agents はエージェント型スイートである。AutomationBench は自動化である。Ultramarine 1 Flash の提供元自身がオフィス成果物を中心に構築した2つのベンチマークこそ、同モデルが最も大きな差で勝利している2つである。

なぜスコアはそのように見えるのか
プロフェッショナルな業務のほぼすべては、パーサーでは検証できない。デューデリジェンス・メモはコンパイルされず、取締役会資料にもユニットテストはない。したがって、それが正しいかどうかを判定する正規表現は存在しない。それが Paper Instruments が挑もうとした問題であり、その答えはそのまま引用できるものだ。「我々は、エージェント型知識労働全体にわたって、検証不能なタスク合成をスケールさせる」。
メカニズムはカリキュラムである。4つの部門 — ファイナンス、…は19の実務領域と88の異なる環境タイプに展開し、それぞれが軸の分類体系をサンプリングする:成果物の形式、ソースの競合、利害関係者、取引段階。同社は名目上の構成空間を実務領域あたり10⁷から10¹⁰の組み合わせの間と見積もっており、これは規模の主張であると同時にモード崩壊への防御でもある。各環境は実際のワークスペースである:SEC EDGAR提出書類、アナリストレポート、合成契約から構築されたファイルシステムに加え、ERP、CRM、WMS、MES、GRCといったライブの記録システムが、MCP、HTTP、CLIを通じてアクセスされる。
採点は、ここが普通とは違うところだ。各タスクにはルーブリックが付属し、各基準は、一つの回答を要求するのではなく、許容される回答の境界線を引くように書かれている。レポート自体の実例では、3つの正解のうち2つを却下する過剰適合した基準と、3つの誤答を受け入れてしまう曖昧な基準を対比させ、そのうえで書き直した版がその境界に合致することを示している。成果物は解析され、ルーブリック採点器に渡される——同社のオープンソースパッケージで、判定モデルにはGPT-5.6 Terraを使う。トレーニングは131,072トークンのコンテキストで、250ターンのエージェント上限、ウィンドウの85%での圧縮により実行された。
その設計は、結果と留保の両方の源である。これほど安価なモデルが文書作業でフロンティアシステムに近いスコアを出せるのは、そのためだ。タスク分布が文書作業に似るように人為的に作られたからである。また、この数字にラベルを付ける必要がある理由でもある。これはベンダー自身のベンチマークであり、ベンダー自身の審査者によって採点され、ベンダーが作成したタスクで行われている。Paper Instrumentsは、PI Knowledge WorkがArtificial Analysis Intelligence Indexとr = 0.81で相関すると報告している。これは真剣に受け止めるべき数字であり、部分的な答えではある——しかし、ベンダー側の垣根の内側での相関は、依然としてベンダー側の垣根の内側にある。Ultramarine 1 Flashについて独立した評価を公表した第三者はいまだにおらず、このモデルはまだ生まれて1日しか経っていない。

チャート上で成立しない主張
このリリースで最も擁護しやすい点は、同時に最も引用されていない点でもある。このモデルは6つすべてのベンチマークで、ベースよりも出力トークンが6.5%少ない。推論を含めて3050万対3270万だ。タスクごとの請求額で見れば、それはより安価なモデルと、実行コストもより安価なモデルとの違いであり、リーダーボードではなく請求書に表れる類のエンジニアリングである。
完全には成り立たないのは、コスト対品質フロンティアという主張だ。PI Knowledge Workでは、最大推論時のGPT-6 Lunaがタスクあたり0.11ドルで58.3を記録する。Ultramarine 1 Flashの最高スコアは0.13ドルで59.3だ。1ポイントと2セントの差は、「最も魅力的な価格帯でコスト対品質フロンティアに位置する」が事実というよりポジショニングの言葉になるほど狭い。評価すべきことに、ベンダー自身のチャートも、見出しの項目の先まで読む人にはその事実が分かる形で掲載している。1ポイント劣るが2セント安いモデルは、大量処理の仕事にとって紛れもない代替選択肢であり、このリリースを正直に言い表すなら、Ultramarine 1 Flashはフロンティア上に単独でいるのではなく、小さな集団の先頭にいるということだ。
そう呼びたいなら、それが当てはまるところ
Ultramarine 1 Flash は汎用モデルではなく、そう装うこともない。入力はテキスト、出力は Excel ワークブック、PowerPoint プレゼンテーション、あるいは Word 文書であり、その処理の最中に業務システム内で操作を実行する能力も備えている。あなたのワークロードが文書であるなら、これを生成するための最も安価で信頼できる方法の一つが、今やこれだ。
Ultramarine 1 Flash は当社のカタログには。それがポストトレーニングされた元のモデルは GLM-5.3 Flash です。GLM-5.3 Flash は OrcaRouter 上で、入力100万トークンあたり $0.15、出力100万トークンあたり $0.50 で提供されており、トークンごとの上乗せは一切なく、料金はプロバイダーの定価をそのまま通したものなので、Z.ai が数値を動かせば、提供される数値も同じ日に追随して動きます。このことは、今回のようなリリースではいつも以上に重要です。なぜなら、Ultramarine 1 Flash の根拠のすべては、ベースモデルの料金表に対して行われる算術だからです。別途、比較対象となっているモデルのうち4つ — GPT-5.6 Sol、DeepSeek V4.1 Flash、Gemini 3.8 Flash、Kimi K3 — は同じエンドポイントから到達可能で、つまりベンダーの比較を、彼らの文書ではなく自分の文書で検証できるということです。

何がその評価を変えるでしょうか
重要になる度合いが高い順に、3つのこと。
Paper Instrumentsの誰も書いていないスイートに対する、1件の独立評価。ベンダーは、サードパーティの指標との相関を公表することで、これを招いた。次の段階は、別の誰かがスコアを公表することだ。
モデルの重み。「近日公開」はプレースホルダーであり、それが解消されるまで、「オープンモデル」は今回のリリースでは裏付けられていない意図の説明にすぎない。もしそれらが公開されれば、文書作業向けに調整された18Bアクティブモデルは自分で実行できるものになり、0.13ドルという数字はこの能力を購入する唯一の方法ではなくなる。
構造上、それが勝てないベンチマークだ。それが首位に立つ4つのスイートは、学習した領域を得意としていることを示している。後れを取る2つは、汎用エージェントが依然として専門特化型を上回る領域を示している。法務や金融のエージェントパイプラインを計画している人なら、その2行と$0.13の行を併せて読み、どちらが自分のワークロードを表しているのかを判断すべきだ。
このような比較は、失敗モードが表面化する場でもあります。このクラスのモデルの背後にある、記録されたAIインシデントやエージェント障害は、OrcaRouter AIインシデントアーカイブ に集められており、各エントリーには独自の情報源、重大度、信頼度グレード、異議ありフラグが付されています。
この記事で比較したモデル3
この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新
