ERNIE 5.5 Flash Previewと「#2 Open Model」という主張、自身のリーダーボード行が矛盾している

Baiduは2026年11月12日に、リーダーボードに関する主張を引用ツイートした。その全文は「@Baidu_IncによるErnie 5.5 Flash Previewは、Code Arena: WebDevで1668 ptsを記録し、#2のオープンモデルになる勢いだ」というものだ。Baiduはパラメータ数——総計2800億、トークンあたり140億がアクティブ——を付け加え、コミュニティに「試してくれた」ことに感謝した。そして残りはそのままにした。問題は、その1668を生み出した行がオープンとラベル付けされていないことだ。同じCode Arena WebDevボードの、同じ11月10日スナップショットでは、ERNIE 5.5 Flash PreviewにはタグProprietary、スコア1668 ±16、ラベルAutoEvalが付いており、投票はN/Aと記載されている。それが上回ると名指しされたモデル——DeepSeek-V4.1-Flashは1664、Kimi K3は1658——は、それぞれ13,952票と22,405票の人間投票を持つランク付き行であり、D​eepSeekの行にはMITライセンスタグが付いている。つまりこの文は同時に三つのことをしている。実在するスコアを報告し、まだ存在しないライセンスを約束し、ボードが割り当てていない順位を説明しているのである。

そのどれも、その数値を間違いにはしない。それはその数値を、その文が売り込んでいるものとは別種の対象にする。そしてその違いは、リーダーボード自身の列で完全に読み取れる。

Arenaが投稿した内容、そしてBaiduが省いた一行

Arenaの投稿は2026年11月12日01:08:21 UTCに公開され、Baiduの引用の1分前だった。その全文は手元に置いておく価値がある。なぜなら、主張とその限定句が同じ段落にあるからだ：

• 「@Baidu_Inc の Ernie 5.5 Flash Preview は、Code Arena: WebDev で 1668 ポイントを記録し、第2位のオープンモデルになろうとしています。」

• 「重みは近日中にApache 2.0の下でオープンソース化される予定です。」

• 「そのスコアは、1664のDeepSeek-V4.1-Flash（Max）と1658のKimi K3（Max）をわずかに上回る位置にあります。」

Arenaはランキングを二度にわたってヘッジし——「〜になりつつある」——オープンウェイトというステータスを「soon」という語とともに将来の出来事に結びつけた。Baiduの引用ツイートはスコアとパラメータ数をそのまま再現し、Apache 2.0に関する文は完全に削除し、「latest from @arena」という枠組みは残した。Baiduの投稿だけを見た読者は、その主張のオープンモデル側の半分が将来を見据えた記述であることを知りようがない。なぜなら、それが述べられていた唯一の場所が、切り取られた側の半分だったからだ。

それは誤引用ではない。それは選択であり、それを確認したい読者に証明の負担を移す——この記事の残りの部分がまさにそうしている。

行を、列ごとに読んでください。

{{1}}Code Arena WebDev{{/1}}はフロントエンドのWeb開発作業を評価します。すなわち、複数の推論ステップとツール使用を伴うエージェント型コーディングタスクであり、チャットの品質でも一般的なコーディングでもありません。その11月10日時点のスナップショットには、158モデルにわたる995,980票が含まれています。以下は、ボードが表示するとおりの{{2}}ERNIE 5.5 Flash Preview{{/2}}の行であり、解釈は一切加えていません。

• スコア — 1668、1668 +16/-16 として公開されており、したがって約90パーセントの区間はおおよそ1652から1684です。

• 順位 — N/A。この行は順位番号なしで順位16と順位17の間に表示されます。

• 投票 — N/A。その行には人間による投票数がまったくありません。

• ラベル — AutoEval、Arena 自身の解説を指すリンク付きタグ。

• ライセンスタグ — プロプライエタリ。

• 料金 — 100万トークンあたり入力 $0.28、出力 $1.13 で、Qianfan の定価と一致します。

• コンテキスト — N/A、ベンダーのページで100万トークンのウィンドウと記載されているモデル上。

その7列のうち3列はN/Aであり、そのうちの1つはライセンス列で、まさにその主張が依存する列だ。それが上回ると主張している帯域と比較すると、状況は和らぐどころか鮮明になる：

• 1691 — Claude Opus 5（Max）、A​nthropic、プロプライエタリ。

• 1688 — Kimi K3.1 Pro（Max）、M​oonshot、「Kimi K3.1 Pro License」とタグ付けされており、Arena がオープンでもプロプライエタリでもないと判定するカスタムライセンス。

• 1682 — Gemini 4 Argon (High)、G​oogle、プロプライエタリ。

• 1679 — GPT-6.1 Terra（Max）、OpenAI、プロプライエタリ。

• 1676 — Qwen3.8-Max (0902)、A​libaba、プロプライエタリ、暫定版。

• 1673 — GPT-6 Sol（Max）、OpenAI、プロプライエタリ。

• 1670 — Qwen3.8-Max、A​libaba、プロプライエタリ、暫定。

• 1668 — ERNIE 5.5 Flash Preview、Baidu、プロプライエタリ、AutoEval。

• 1664 — DeepSeek-V4.1-Flash-20261017（Max）、D​eepSeek、MIT、13,952票。

• 1658 — Kimi K3（Max）、Moonshot、22,405票。

そのリストを主張と照らし合わせて読んでください。そのリストでERNIEより上にあるものは、1つのカスタムライセンスの行を除いてすべてProprietaryです。最初に本当にオープンライセンスのモデルとして出会うのは、D​eepSeekの行（その下）です。したがって「#2 open model」は、ERNIEがこの表のどこに位置するかを説明したものではありません。それは、重みがApache 2.0で公開され、AutoEvalスコアが人間の投票によるものと同等に扱われる場合に、ERNIEがどこに位置するかを説明したものです。どちらの条件も将来的なものか議論中のものであり、どちらも引用ツイートには見えていません。

{{1}}AutoEval{{/1}}とは実際何なのか、そしてなぜここで±16が重要なのか

Arenaは2026年7月30日にAutoEval手法を公開し、8月12日に最終改訂した。その仕組みは、人間の選好で訓練された報酬モデルを用いて自動的に投票を行うというもので、ライブのプロンプトと応答のペアをサンプリングし、対象モデルから応答を再生成し、報酬モデルに両方を採点させ、スコア差をソフトな確率投票に変換し、その後、それらの合成投票を他のモデルに対するライブの人間投票と組み合わせる。Arenaは、結果のスコアは「明確に『AutoEval』とラベル付けされ、検証するのに十分な人間投票が届き次第更新される」と述べており、ライブ評価とのランキング相関が0.98を超えると報告している。

それは初日のシグナルを得るための擁護可能な方法であり、モデルが出荷当日にボードへ登場できる理由でもある。同時に、Arena 自身の説明によれば、それはプレースホルダーである。その数値は構造上暫定的であり、動くことが想定されている。ERNIE の行にあるラベルは飾りではない。1668 を検証待ちの推定値として扱うよう求める指示である。

では、エラーバーを適用しよう。それは誰も引用しなかった行の部分だ。ERNIEの区間は約1652から1684に及ぶ。DeepSeek-V4.1-Flashの1664とKimi K3の1658はどちらもその中に入る。Qwen3.8-Maxの1670も、GPT-6 Solの1673も同様だ。「そのスコアは、1664のDeepSeek-V4.1-Flashと1658のKimi K3をわずかに上回る」という文は、点推定値については算術的に正しいが、比較としては統計的に裏付けられていない。この行自体が公表している不確実性に照らせば、ERNIEは1652から1684の間のどのモデルとも区別できない。DeepSeekより上かもしれないし、下かもしれない。現時点でボードはどちらかを示していない。

これは特定のベンダーを狙った技術的な揚げ足取りではない。トップ25全体が約200ポイントに広がるボード上での±16の区間は、この信頼水準では隣接する行のほぼすべてのペアが同点であることを意味し、任意の単一の隣接比較についての正直な読み方は——どのモデルにとっても——「同レベル」である。ここで異例なのは、結果としてあるベンダーがその隣接比較を誇張したことだけだ。

「#2」はどこから来るのか、そしてそれが依存するライセンスについて

数字から逆算すると、その主張が真になる方法はちょうど一つしかなく、それは検証可能であり、Arena が明言していないという理由で述べておく価値がある。

オープン集合を「Arena が Proprietary とタグ付けしていないすべての行」と解釈する。1668 より上では、ちょうど 1 行だけが残る。Kimi K3.1 Pro (Max) の 1688 で、「Kimi K3.1 Pro License」というタグが付いている。ERNIE より上の他のすべては Proprietary とタグ付けされている。その解釈では、Kimi K3.1 Pro が #1 で、ERNIE 5.5 Flash Preview が #2 になる — それは競合を打ち負かしたからではなく、その上位の競合がプロプライエタリだからだ。

その再構成は推論であって引用ではない。Arenaの投稿は、それが#1と見なすモデルを名指ししておらず、ボードはライセンスタグ以外にオープン対プロプライエタリの分類器を公開していない。もしその推論が正しければ、その主張の根幹を支える事実は他社モデルに対するカスタムライセンスである——ArenaはKimi K3.1 Proをオープンとして扱っており、「#2オープンモデル」という枠組み全体がその分類判断を継承している。もしArenaが代わりにカスタムライセンスをクローズドとして数えるなら、ERNIEの1668が非プロプライエタリの最上位行であり、その主張は「#1」と読むべきだった。それはプレビューについて公表するには、より奇妙な文だっただろう。

どちらにせよ、その一文は背後にあるデータ以上のことを担っている。数字は本物だ。順位は、誰も見たことのないライセンスを条件としている。

フレーミングが隠す距離

この投稿の誠実な版にはもう一つ数字が入るべきであり、それが欠けていることこそが、この投稿について最も示唆的な点だ。同じスナップショットにおける Code Arena WebDev の首位は Claude Fable 5.2 の 1836 である。1668 の ERNIE 5.5 Flash Preview はそこから 168 ポイント差であり、AutoEval の行が順位付けされていれば 158 件中 17 位で、1670 の Qwen3.8-Max と 1664 の DeepSeek-V4.1-Flash の間に位置する。

158モデルが並ぶボードで17位、リリース翌日、総パラメータ2800億のうち140億のアクティブパラメータというのは、本当に良い結果だ。ローンチ週の投稿を正当化する種類の結果である。表彰台入りのように装う必要がある種類の結果ではなく、そう装えば、正直な一文なら招かずに済んだはずの精査をまさに招き、ベンダーにとっては正直な一文よりも大きな信頼性の損失になる。

ベンダーのページが述べていることと述べていないこと

{{1}}BaiduのERNIE 5.5 Flash Previewに関する自社リリースページ{{/1}}は{{2}}2026年11月11日{{/2}}付で、「{{3}}総パラメータ数280B、アクティブ14B、1Mトークンのコンテキスト{{/3}}」と記載し、このモデルを{{4}}ERNIE 5.5 Flash Base{{/4}}上で初めて事後学習されたチェックポイントであり、そのベース重みは{{5}}11月5日{{/5}}に公開されたと説明している。ライセンスに関する記述、重みに関する記述、ベンチマーク数値は一切含まれていない — ページ内のベンチマークへの言及は、このモデルのスコアではなく、以前のERNIEリリースに関する見出しである。

そのギャップは、検討中の主張にとって重要である。「重みは間もなくApache 2.0の下でオープンソース化される」という記述はArenaの投稿に現れる。それはベンダーのリリースページには現れず、その投稿のベンダー自身による増幅にも現れない。もしApache 2.0のコミットメントが現実的かつ最新であれば、リリースページがそれを置く自然な場所であるが、そこにはない。もしそれが現実的だがまだ文書化されていないのであれば、このモデルに関するライセンスコミットメントの唯一の公開ソースはリーダーボードの発表である——それは、ベンダーがその上にランキングを構築しているときにライセンスが存在するには薄い場所である。

数字が確定する前に、これをどう使うか

今週モデルを選ぶ人にとって実用的な問いは、1668が良いスコアかどうかではない。プレビューチェックポイント上での暫定的なWebDev推定値が、入力$0.28・出力$1.13で、必須の推論が出力として課金されるという条件のもとで、すでに本番稼働している何かを置き換えるべきかどうかである。入手可能な証拠に基づけば、答えはノーだ。ただし、それを検証する方法は安価であり、投稿やこの記事のどちらかを信じる必要もない。

リーダーボード上ではなく、ルーティングされたモデルで比較を実行してください。DeepSeek-V4.1-Flash と Kimi K3 はどちらも、1つの OpenAI 互換キーの背後で OrcaRouter を通じて利用でき、プロバイダーの定価でマークアップなしなので、対照群のコストは2つ目の契約や2つ目の SDK ではなくプロバイダー自身の料金になります。実際の作業を表すフロントエンドタスクを20個作成してください — コンポーネントのリファクタリング、1つのブレークポイントでのみ発生するレイアウトバグ、ステートマシンの配線作業 — 各モデルを2回実行し、正しさだけでなく出力トークンも数えてください。それがリーダーボードのどの行も与えてくれない測定値です。なぜなら、それはあなた自身のものでなければならない唯一の数値、つまりトークン単価ではなくタスクあたりのコストだからです。

ERNIE 5.5 Flash Preview 自体を、採用する対象ではなく検証する対象として扱うこと。それは Qianfan 上にあり、当社のカタログにはない。そして、ベンダー自身が中間的なポストトレーニング・チェックポイントと呼ぶプレビューは、まさにプライマリの前に置くのではなく、プライマリの後ろにルーティングする類のものだ。もし実際に経路に載せるなら、フェイルオーバー付きの経路に載せ、そうすれば、Arena が 1668 を人間の投票による数値に置き換える日——あるいは Apache 2.0 の重みが公開される日、または公開されない日——に、ユーザーがそれを知るのは障害からではなくログの一行からになる。

何がそれを決着させるのか

3つの事柄を、実現する可能性が高い順に挙げる。いずれもこの記事の判断を単に飾るのではなく、変えることになるものだ。

その行のAutoEvalラベルを置き換える人間の投票。Arenaは、十分な投票が集まればスコアが更新されると述べている。投票がN/Aを表示しなくなれば、1668は比較対象とされた1664や1658と比較可能になり、±16の疑問は自然に解消する。点推定が動くのと同じくらい区間が狭まるかどうかに注目しよう。

• 名前付きライセンスの下で公開された重み。Apache 2.0 ファイルを含む実際のリポジトリは、オープンモデルの問題を永久に決着させ、「#2 open model」という枠組みを遡って公正なものにする。重みのないライセンス発表は何も決着させない。

• 独立した WebDev 測定。Arena の AutoEval は Arena 自身の計測器であり、Baidu がこのモデルについて公表したあらゆるベンチマーク数値は、Baidu 自身のハーネス上での Baidu 自身の実行によるものです。どちらも第三者による結果ではありません。ERNIE 5.5 Flash Preview に対する最初の真に独立したフロントエンド評価は、その両方よりも価値があるでしょう。

それまでは、正確な文は退屈なものだ。Baiduが11月11日に出したプレビューチェックポイントは、Code Arena WebDevで1668に着地した。AutoEvalの推定値であり、その区間はすぐ下の4モデルと重なり、ボードが依然としてProprietaryとタグ付けしている行に載っており、ベンダーはそれをオープンモデル間の近い将来の2位として誇張した。その各節は今日検証できる。ツイートされた版は間違っているというより未完成であり、完成したかのように公開された。