Beam 1.0 vs MathForm 8B: 一方のモデルの誤りはコンパイラが検出する

頼んでみよう。MathForm 8Bに定理を形式化してもらう。答えは、コンパイルが通るLean 4のステートメントか、通らないかのどちらかだ。次にBeam 1.0にバグ修正を頼む。答えは、実行できる差分か、実行できない差分のどちらかであり、この2つの隔たりこそが、これらのモデル間の違いのすべてである。MathForm 8Bは、OpenBMBによる81.9億パラメータの自動形式化モデルで、AlibabaのQwen3-8Bをベースに、約36万7,000件の検証済みLean 4サンプルからなるコーパスFormalVerseで、教師ありファインチューニングと、それに続くLeanのコンパイルおよび意味的一貫性のフィードバックに基づく強化学習を通じて訓練されたものであり、2026年8月14日にApache 2.0の下で公開された。Beam 1.0は、Reflectionによる5,013億パラメータのスパース混合エキスパートモデルで、1トークンあたり234億パラメータがアクティブであり、2026年10月5日に発表され、2026年10月16日にダウンロード可能な重みとして提供され、これもApache 2.0の下にある。パラメータ数の比は61対1だが、それはこのページで最も面白くない数字である。

興味深いのは、MathForm 8B は誰も信頼することなく機械が裁定できる出力を生成するのに対し、Beam 1.0 はそうではないという点です。以下のすべてはそこから導かれます。

各モデルに求められる出力

MathForm 8B には単一の出力契約がある。通常の散文で書かれた数学的記述を受け取り、Lean 4 の記述——ヘッダー、名前付き定理、仮定、ゴール——を返す。学習パイプラインはその形を中心に構築されている。Mathlib の知識検索によって記述を既存の定義に基づかせ、コンパイルと意味検証によって不適切な候補を棄却し、反復的な改善によってそれらを修正し、その後、生き残った例を学習データに変える軌道再構成を行う。論文は、6 つのベンチマークにわたって、構文チェック下で平均 Pass@8 88.06%、整合性チェック下で 72.37% のモデルを報告している。これらは OpenBMB の数値であり、他の誰によっても再現されておらず、評価の中でもより易しいセットに偏っている——しかしそれらは、正解が存在するタスクについての数値である。

Beam 1.0 にはそのような契約はない。これは汎用モデルである。そのカードには、チャットテンプレート、analysis チャネルと final チャネルを備えた Harmony 形式のワイヤフォーマット、8、32、64、128、256、512 のトークン予算に対応する6段階の推論努力、および関数をフラットな TypeScript として宣言し XML 本文内で呼び出すツール呼び出し規約が記載されている。その評価は、エージェント型コーディング（SWE-bench Verified 81.6%（BF16）、Terminal Bench v2.1 80.1、SWE Bench Pro v1 66.1、DeepSWE v1.1 43.3）、推論（GPQA Diamond 90.6、AIME 2026 97.7、LiveCodeBench 88.3）、ツール使用（MCP Atlas 80.8）、および汎用能力（LongBench v2 67.5、IFBench 79.6）を対象としている。すべての数値は Reflection 自身によるものである。それが書くコードが*正しい*かどうかは、それを実行する、レビューする、あるいは出荷して結果を見ることで判明する。

つまり、一方のモデルの失敗は自ら明らかになる。他方の失敗は、後からレビュー中や本番環境で発生するありふれたソフトウェア障害であり、これまでに遭遇したどのバグとも見分けがつかない。

ベンチマークは重複しておらず、それこそが知見である

2つの評価セットを並べると、差し引くものはほとんどない。

• Beam 1.0 が評価される項目 — リポジトリ規模の課題解決、ターミナルタスク、競技プログラミング、大学院レベルの科学問題、ツールオーケストレーション、長文コンテキストの想起、指示追従。

• MathForm 8B が何でスコア評価されるか — 構文チェッカーおよび意味的一貫性チェッカーの下での Pass@8 形式化精度を、6 つの数学ベンチマークにわたって、論文の 7B～32B の特化ベースラインと比較して。

• 重複は——実質ゼロです。同じ主体が同じタスクで両方のモデルを測定した行は存在せず、今後も存在しません。なぜなら、一方は汎用能力で測定され、他方は単一の検証可能な変換で測定されるからです。

• 概念上存在する唯一の共通次元——推論——は、異なる母集団で測定されている。Beam 1.0のGPQA Diamondにおける90.6は、多肢選択式の科学スコアだ。MathForm 8Bの72.37%という一貫性率は、形式化のチェックだ。どちらも他方を予測しない。

これが、ここでのサイズ比較が単に不格好というだけでなく、誤解を招くものである理由だ。Beam 1.0 はこのモデルの61倍であり、そのように訓練されない限り MathForm 8B の仕事をまったくこなせない——出力契約は十分に狭く、汎用能力はその代わりにはならない。正しいヘッダーを備えた名前付き Lean 定理を生成するよう求められた 501B の汎用モデルは、もっともらしく見えて頻繁に誤っているものを出力するだろう。これは証明支援システムにとって、考えうる最悪の故障モードである。

どちらか一方を実行するために必要なもの

MathForm 8B は Qwen3-8B のライセンスを継承しており、Hub はそれを Apache 2.0 として記録している。そしてこれがその実用上の根拠だ：81億9000万の密なパラメータ、英語専用モデル、一般的な推論ではなく Lean 出力への生成予算の絞り込み、クラスタではなくダウンロード。そのベースである Qwen3-8B は、そうでなければ読者がセルフホストするものだ — 32K のネイティブコンテキストを 131K まで拡張でき、119 言語をカバーする汎用 8B である。MathForm 8B は、そのほとんどすべてを一つのスキルと引き換えにしている。

Beam 1.0にはどこか住む場所が必要だ。モデルカードには、52層、トークンごとに8つがルーティングされる256のエキスパート、152,000トークンの語彙、2026年6月30日の知識カットオフ、1,000,000トークンのコンテキストウィンドウが記載されている。提供される重みは3種類 — BF16が501.3B、FP8が501.3B、NVFP4が255B — に加えて、投機的デコーディング用の2B DFlash2ドラフター。カードにはサービングの推奨はなく、Reflectionのプロパティのどこにも公開されたAPI価格はない。Artificial Analysisのこのモデルのページでは、価格フィールドは利用不可とされており、公開されているAPIは存在しないと注記されている。4ビット版が、これを仮説上のものではなく購入を検討できるものにしている。そして、それは依然としてGPUの話である。

OrcaRouter はどちらのモデルもルーティングしていませんし、このページもそう示唆してはいません。当社がルーティングするのは、それら2つが外側に位置する提供ティアです：単一の OpenAI 互換キーの背後にある 200 以上のモデルを、プロバイダーの定価のまま、マークアップ 0% で利用できます。そのため、ベンダーの値下げは発表されたその日にお客様の請求に反映されます。本当に必要なのが、明日コンパイルされるチェックポイントではなく、今日応答するモデルであるチームにとって、それはこの比較では提供できない行です。

検証可能性の違いを、平易な言葉で言えば

これが、ベンチマークとしてではなく運用上の事実として述べられた非対称性である。

MathForm 8Bの出力は、ゲートを備えたパイプラインに入る。Leanコンパイラはその命題を受理するか却下するかのどちらかである。意味論的一貫性チェックは合格するか失敗するかのどちらかである。不正な出力は自動的に破棄でき、何かが検証されるまで再試行するエージェントループにモデルを置くことができる——これはまさにRL段階がモデルに訓練したことである。誤った答えのコストは、出荷される欠陥ではなく、却下されたサンプルである。それは現在のオープンウェイト分野において真に稀な特性であり、形式数学のような形のパイプラインの中では、特化型8Bモデルがその100倍の規模の汎用モデルよりも有用になり得る理由である。

Beam 1.0の出力にはそのようなゲートがない。評価表は、SWE-benchでGitHubのissueをどれほど頻繁に解決したかを教えてくれるが、あなたのリポジトリ用に書くパッチが正しいかどうかは教えてくれない。なぜならそれはあなたのテストに関する問題だからだ。モデルカードはワイヤーフォーマットについては異常なほど具体的で、精度の問題については異常なほど沈黙している。そしてそれは、この分野が今どこにあるかを的確に表している。エージェント型コーディングモデルを取り巻くツール群は、コードを実行するのは得意だが、それを保証するのは苦手なのだ。

もしあなたの領域にチェッカー——型システム、証明支援系、スキーマ、シミュレータ——があるなら、そのチェッカーに特化したモデルのほうが、しばしばてこの効くダウンロードだ。もしなければ、あなたは能力を買い、評価のコストを自分で払っていることになり、より多くの能力を与えてくれるのは大きな汎用モデルのほうだ。

それらの中から選ぶこと

選ぶべきなのはMathForm 8Bだ。作業が形式化だけで、それ以外ではない場合 — 数学的散文のコーパスを、証明支援系が受け入れる Lean 4 に変換し、人間には一つ一つ確認できない規模で行う場合 — に限る。81.9億パラメータのフットプリント、Apache 2.0 条項、狭い出力形状は、そこではすべて利点になる。それ以外の用途で選んではならない。雑談はしないし、出荷に値する散文も書かないし、そのベースモデルのように 119 言語を扱うわけでもなく、訓練された唯一の変換以外に文書化された能力はない。

を選ぶべきBeam 1.0なのは、その作業が汎用的なエージェント型——大規模リポジトリでの課題解決、ツールの操作、長い多段階プランの実行——であり、501B MoE 用のハードウェアまたは配信パートナーがある場合です。1M トークンのコンテキスト、公開されている評価表、4ビットのチェックポイントは、いずれもそのワークロードを対象としています。推論トークンを見込んでおいてください。テンプレートにはオフスイッチがなく、配信時のデフォルトは最大エフォートレベルで、前のターンの推論を除去すると出力が劣化すると文書化されています。

この記事が本当に扱っているパイプラインを構築するなら、両方を選べ。理にかなったパターンは、曖昧な作業を担う汎用モデルと、ゲートのある部分を担う検証可能な専門特化モデルだ。そしてこの二つの役割は異なる形で失敗する。それこそが、両方を所有する価値がある唯一の理由である。

この比較が3か月後にどこが変わって見えるか

2行が欠けており、どちらも日付を特定できる。1つ目は Beam 1.0 の重みの独立評価で、これは2026年10月16日に可能になり、まだ実施されていない。このページが Reflection に帰属させている数値はすべて、依然として単一情報源によるものだ。2つ目は Beam の価格だ。5010億パラメータの評価表を持ちながら従量課金レートがないモデルは、ほとんどのチームが予算を組めないモデルであり、Reflection またはサービングパートナーがそれを公表するまで、この2つの間の誠実なコスト比較は、ダウンロード 対、まだ見積もりが出ていないレンタルになる。

MathForm 8Bのギャップは性質が異なり、待っても埋まるものではない。報告されている構文チェック88.06%、一貫性72.37%という数値は、検証器を備えたタスクに関するベンダー公表値であり、その検証こそが製品だ。モデルとLeanのインストール環境があれば誰でも自分で測定できる——このページに載っているほとんどの数値については、そうはいかない。狭い契約が手に入れるものとは、そういうことだ。

そうした話は決して仮定ではない。このようなリリースの背景にある、記録に残されたAIの障害やエージェントのインシデントはOrcaRouter AIインシデントアーカイブに集められており、各項目には独自の情報源、深刻度、信頼度グレード、係争中フラグが付されています。