ERNIE 5.5 Flash Previewはあなたの最も困難なタスクを求めている：11時間のビルドが実際に証明するもの

ERNIE 5.5 Flash Previewは2026年11月10日、BaiduのQianfanプラットフォーム上で課金対象のエンドポイントとして公開され、公式ローンチ投稿は11月11日に続いた。そこでの主張は「最も難しいタスクを与えてみよ」という単一の見出し句だった。この主張を支えているのは、何よりも一つの成果物だ。Baiduが単一の11時間のコーディングタスクと表現する中で作られた三人称のUnreal Engine 5.8ゲームと、Baiduが自社のハーネス上で、自ら選んだジャッジを用いて実行した20行分のベンチマークである。11時間も20個の数値も、社外では再現されていない。興味深い問いは、そのデモが印象的かどうかではない。11時間のエージェント実行がそもそも測定すべき適切なものなのか、そして仕様表が、その1回に支払う請求額について何を語っているかだ。 カタログには17社の提供元による228モデルが収録されており、17社の提供元による228モデルのカタログにERNIEの項目はない したがって、対象となるモデルはそうでなくても、比較グループは鍵1つで届くところにある。

その主張は難易度ではなく、所要時間についてのものです。

モデル公開の投稿はどれも、そのモデルが難しいことに優れていると述べている。今回の投稿は難しさの定義が違う。それを「長さ」と定義しているのだ。ゲームのビルド、3Dシーン、数千ファイルに及ぶワークスペース、116秒の短編アニメーションはすべて、何時間にもわたる編集とツール呼び出しを通じて計画を一貫して維持するための演習であり、小規模なモデルなら誤答するような質問に答えるための演習ではない。

その区別が重要なのは、この2つの性質は別物だからだ。モデルはシングルターン推論では優れていても、リファクタリングの4時間目に崩壊することがある。そのときコンテキストは自分自身の以前のミスでいっぱいで、計画は実行するのではなく修正する必要がある。また、一発勝負のパズルでは平凡なモデルでも、一晩がかりのビルドには正しい選択であり得る。Baiduは、あなたが後者の方を気にかけていると賭けている。

記事全体で最も有用な文はベンチマークではない。それはゲーム開発のセクションにあり、モデルが見えない状態でどう作業したかを説明している。テキストのみで画面を見られないため、プレイテストで見つかったバグ——地面から浮いているキャラクター、一貫しない走行方向、位置のずれたカメラ——をコード内の測定可能なテストに変換した。それは回避策についての率直な説明であり、仕様書が語らないことを教えてくれる。視覚的作業におけるモデルの能力は、自ら書くツールに委ねられている。つまり結果の品質は、見えない対象に対して検証可能なテストを考案できるかどうかにかかっている。

リールに実際に含まれているもの

4つのケーススタディは、通常のローンチコピーよりも具体的であるため、列挙する価値がある。そして、具体性こそが、原則としてそれらを検証可能にするものである。

• ゲーム開発 — 11時間の1タスクで制作したUnreal Engine 5.8のサードパーソンゲーム。複数世代のエンジンからのアセットを単一プロジェクトに統合し、ゲームをC++で実装した。別途、Cocos、Unity、LayaAir、PixiJS、Canvas 2Dにまたがる設計書から約100本のモバイルミニゲームを生成。その大半はルールを決定論的シミュレーションとして構成し、ボットのプレイスルーと状態空間探索によって全レベルがクリア可能であることを証明できるようにしている。

• 3Dモデリング — 2つのエージェントがBlender Python APIを通じて制作したボーイング747と北京大興空港。一方が空港、もう一方が航空機を担当し、その後スケールを揃え、ライティングを施し、CyclesとOptiXでフレームごとにレンダリングし、FFmpegで編集した。法隆寺の伽藍は調査され、段階を追って組み立てられた。約2,100個のオブジェクトと182万個の三角形からなる4つのBlenderシーンにまたがるプリビズ・シーケンス。W16エンジン、深圳の2つのタワー、月面ローバーはPythonスクリプトを通じてFreeCADでモデリングされた。

• ナレッジワーク — データセンターの電力コストに関する20ページの調査レポート、4,169件の連邦衝突報告書に基づく24ページの自動運転分析、1,000通りのモンテカルロ法を組み込んだインタラクティブな資産計画ワークブック、そしてWAVファイルとして提供される6分34秒のオーケストラ曲。

• ビデオ — 15万を超える制作環境と約5,300分の完成映像。中心となるのは、10,000行を超えるPythonで書かれ、単一のパラメーター化されたペリカンを20のアートスタイルで動かす116秒の2Dアニメーション短編です。

ナレッジワークのセクションの背景にある学習用の数字は、この投稿で最大の数字です。30万のワークスペースが、40を超えるファイル形式にまたがる1,000万件の参照ファイルを保持しています。これは、モデルが耐え抜くために何を学習させられたかについての表明であり、ベンチマーク表ではまったく示せない議論の部分です。

長い連続について何を物語っているかという観点から読む、その20行

付録は1枚の画像であるため、数値をコピーしたり、並べ替えたり、スプレッドシートと照合したりすることはできません。その画像から読み取ると、ERNIE列は次のとおりです。すべてベンダー報告値であり、再現されていません：

• エージェント型コーディング — Terminal-Bench 4.0：46.5、DeepSWE v1.1：71.2、ProgramBench（Almost Solved）：29.5、NL2Repo-Bench：64.8、Terminal-Bench-Science 0.1：21.0。

• コンピュータ利用と自動化 — CookieBench は 88.2、AutomationBench は 61.9、APEX-Agents 1.1 は 64.2、DRACO は 84.9。

• ナレッジワーク — SpreadsheetBench V2 は 36.4、OfficeQA Pro V2 は 67.9、Agents' Last Exam（CLI）は 29.0、SkillsBench 1.1 のテキストのみは 73.5。

• 汎用エージェントとツール利用 — Toolathlon-Verified は 79.0、MCP-Atlas は 84.6、BrowseComp は 87.4。

• 推論 — ツールなしのHLEが46.4、AA-Omniscience-Publicが25.2、AA-LCR v1.1が79.0。

• 3D — BlenderWorld、79.0 ではテキストのみ。

この表は、スコアボードとしてよりも、まだ何が失敗するかの地図として読むほうがはるかに有用だ。40を下回る行が4つある。ProgramBenchが29.5、コマンドライン上のAgents' Last Examが29.0、AA-Omniscience-Publicが25.2、Terminal-Bench-Scienceが21.0だ。これらは生ぬるいベンチマークではない。Agents' Last Examは、エージェントが自律的に完了できる範囲の最前線付近になるよう設計されている。omniscienceは自信過剰な誤答を罰する。Terminal-Bench-Scienceは、もっともらしく見える手順では価値がない実験室級のタスクを試す。あなたの最も難しいタスクを求めるモデルが、最も難しいエージェント型ベンチマークの科学版で21.0を取ることは、現在の上限がどこにあるかを示している。SpreadsheetBench V2の36.4も、スプレッドシート作業について具体的に同様のことを示しており、これはローンチ投稿の1,000パス・モンテカルロ・ワークブックと並べると気まずい位置にある。

80を超える行もまた、別の理由で同じくらい示唆に富んでいる。BrowseCompの87.4、MCP-Atlasの84.6、CookieBenchの88.2、DRACOの84.9はすべて、回答ではなく、完了済みで検証可能な最終状態によってモデルが採点されるタスクだ。検証可能な完了には強く、自由形式の科学的判断には弱いというこのパターンは、ビルドが通るか通らないかのファイルで満たされた30万のワークスペースで訓練されたモデルからまさに期待される通りのものだ。

正直さを担保しているのは脚注だ。各ベンチマークは名称が明記されたハーネスで実行され、Claude Code 2.1.x、mini-swe-agent 2.4.6、Codex 0.162.1、そしてDSHと略される何かがすべて登場し、審査モデルはQwen3.8-Max、DeepSeek-V4.1-Flash-1017、Gemini 3.1 Flash-Liteである。ある脚注は、GLM-5.3とこのモデルにはネイティブなマルチモーダル機能がなく、画像理解はClaude Opus 5.5で動くツールを通じて提供されたことを認めている。したがって、視覚に依存する行の少なくとも一部は、ERNIE 5.5 Flash Previewが競合他社のモデルを呼び出して物事を見てもらうハーネスを測定している。それは正当なエンジニアリング上の選択であり、スコアボードで見つけるには奇妙なものだ。

AA を接頭辞に持つ2行には、それぞれ固有の注意書きが必要です。AA-Omniscience-Public と AA-LCR v1.1 は、独立系トラッカーである Artificial Analysis が公開しているベンチマークですが、今回は Baidu によるそれらの実行結果です。11月11日時点で、Artificial Analysis のリーダーボードに ERNIE 5.5 の行は存在しないため、どちらのセルに対しても照合できる独立した数値はありません。

11時間の走行にはいくらかかるのか、そしてBaiduが語らなかったこと

エンドポイントのドキュメントは、このリリースの中でデモをエンジニアリング上の意思決定へと変える部分です。Qianfan は ERNIE 5.5 Flash Preview を、入力100万トークンあたり$0.28、出力100万トークンあたり$1.13、キャッシュ読み取りは$0.028、コンテキストウィンドウ1,024,000トークン、出力上限921,600トークン、そして推論は常に有効で単一の高エフォートレベルに固定され、オフにする方法はない、と掲載しています。

その出力上限こそが、長い単一実行をそもそも可能にする構造上の理由だ。モデルはコンテキストウィンドウ全体が保持できるのとほぼ同じ数のトークンを出力できる。また、それが請求額が明瞭でない理由でもある。プロンプトは出力レートの4分の1の価格だが、モデルが「考える」すべては出力レートで課金され、考え続けることを止められないモデルとは、タスクあたりのコストが誰にも読まれないトークンに支配されるモデルなのだ。

最大の単一呼び出し、つまり利用可能な中で最も有利なケースで計算してみましょう。入力レートで1,024,000トークンのウィンドウを埋めると約$0.29かかります。出力上限の921,600トークン全体を出力すると約$1.04かかります。つまり、両方の上限を使い切る1回の呼び出しでおよそ$1.33です。11時間に及ぶUnrealビルドは、おそらくそうはしていないでしょう。そしてローンチ記事には、消費したトークン数、個別の呼び出し回数、コストが書かれていません。誰かが自身のワークロードで完了タスクあたりの出力トークンを測定するまで、このモデルが困難な作業において安いか高いかという主張は、結果の比較ではなく料金表の比較にすぎません。

このリリースがまだあなたに果たしていない2つのこと

投稿は、ERNIE 5.5 Flash Previewを「ポストトレーニング中の中間チェックポイント」と呼んで締めくくられ、トレーニングが完了しておらず、一部の能力はまだ基準に達しない可能性があることを認めている。また、重みをApache 2.0の下で近くオープンソース化すると約束しているが、日付は示されていない。そして11月11日時点で、Hugging Face上にプレビュー用リポジトリは存在せず、そこに公開されているERNIE 5.5のアーティファクトはベースチェックポイントとそのBF16版のみである。リリースのどこにもモデルカード、知識カットオフ、レイテンシの数値は示されていない。

「最も難しいタスクを投げかけよ」といううたい文句についての正直な要約は、そのスローガンより狭い。ERNIE 5.5 Flash Preview はテキスト専用モデルであり、非常に大きなコンテキスト、異常に大きな出力許容量、ビルド成果物で終わるタスクでの強い実績、科学的判断で終わるタスクでの弱い実績、そして独立した検証は皆無という特徴を持つ。それは現実的で具体的なプロフィールだ。また、それはおそらく次のチェックポイントで上書きされるものでもある。

そのプロファイルに進路を賭けずにテストする方法

Baiduはこのモデルを自社のQianfan APIおよび再販を行う第三者プラットフォームを通じて提供しています。OrcaRouterはERNIE 5.5 Flash Previewをルーティングしていません。17社のプロバイダーによる228モデルのカタログにERNIEの項目はなく、その背後にBaiduのエンドポイントも存在しないため、ここに記載されている内容は、これを提供する提案として解釈されるべきではありません。

この状況でカタログが役立つのは、実験のもう半分の部分です。これと比較して評価されるモデルはプロバイダーの定価で、マークアップなしに1つのキーから利用でき、つまり同じ難しいタスクをそれらで実行し、公表されたスコアではなく完了率を比較できます。自動フェイルオーバーが2つ目の役割を果たします。稼働履歴のないプレビューがリクエスト経路を支える唯一の存在である必要は決してありません。というのも、3時間目で停滞したときにルーティングされたフォールバックが呼び出しを引き受けられるからです。

今週やる価値のある評価は小規模だ。自分の長期的なエージェントタスクのうち10個——普段なら無人での単一実行には任せないもの——を選び、それぞれを ERNIE 5.5 Flash Preview と、すでに信頼しているモデル2つに通す。完了したか、消費した出力トークン数、コストを記録する。これでBaiduが省いた2つの数値、タスクあたりのトークン数と完了タスクあたりのコストが出る。発表記事の他のすべて——46.5も11時間も含めて——は、他人のマシン上の他人のハーネスによるものだ。

疑問を決着させるのは、もう一本のデモ映像ではない。Apache 2.0 リリースの日付、知識カットオフを記したモデルカード、Artificial Analysis が自ら作成した Artificial Analysis の評価行、そしてこのチェックポイントの数値と突き合わせられる第2のチェックポイントだ。Baidu は、エンドポイントとともに公開すべき説明をすでに公開している。次に同社が、最も難しいタスクを預けてほしいと誘ったばかりの人々に対して果たすべきは、最も難しいタスクがどうなったかを同社の言葉だけに頼らずに確かめられるようにする成果物だ。