Intern-Decision-0.8B vs MathForm 8B：このうちの一方は自分で自分の作業を検証できる

どんな小規模な専門モデルについてでも、最も有用な問いは「誰がそれを検証するのか」である。Intern-Decision-0.8B と MathForm 8B はどちらも、汎用モデルが狭い用途向けにファインチューニングされたから存在しており、どちらも Qwen の重みの Apache-2.0 派生で、どちらもマーケティングキャンペーンなしで Hugging Face に公開された——しかし、両者は、どのようにデプロイするかを決める線の反対側に位置している。MathForm 8B は OpenBMB の 8B 自動形式化モデルで、2026年8月14日に公開され、自然言語の数学を Lean 4 に翻訳し、その結果をコンパイラに渡す。コンパイラはそれを受け入れるか、受け入れないかのどちらかだ。Intern-Decision-0.8B は InternLM の 852,985,920 パラメータの決定ヘッドで、2026年9月26日にアップロードされ、あなたがあらかじめ用意した選択肢に対する較正済みの確率分布を返す——そして、それが返すラベルが正しいかどうかを独立に検証するものは、世界中のどこにもない。これらのモデルの一方は、証明付きの出力を生み出す。もう一方は、信頼スコア付きの出力を生み出す。そして、これら二つで何ができるかの違いこそが、この記事のすべてである。

その枠組みはまた、サイズの差——8B 対 0.8B、10 倍——がこの比較で最も面白みのない数字である理由も説明している。どちらのモデルも、相手が得意とすることを得意にしようとはしておらず、どちらか一方の評価も、もう一方について何も教えてくれない。両者に共通しているのはリリースのパターンと Qwen の系譜であり、それらはいずれも、検証という問いほど重要ではない。

それぞれが実際に何なのか

MathForm 8Bは、論文MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement（arXiv 2608.14221）で説明されている2段階のレシピの成果物として公開されています。生成器が実行される前に、検索プランナーがMathlibから関連する定義と既存の形式化を取得します。その後、生成された文はコンパイラの診断と意味的一貫性のフィードバックを用いて改訂されます。その結果得られたコーパスFormalVerseには、検証済みのLean 4の例が約367,000件含まれています。そしてMathForm 8Bは、Leanのコンパイルと意味的一貫性のシグナルを報酬として用いた強化学習へと続く教師ありファインチューニングを通じて、このコーパスで学習されています。これはQwen3-8Bをベースにしたテキスト専用モデルで、OpenAI互換APIを備えたTransformers、vLLM、またはSGLangを通じて提供され、推奨コンテキスト長は16,384トークン、最大生成予算は16,384トークンです。その評価パイプライン、ベンチマークファイル、Pass@kスクリプトはすべてOpenBMBのGitHubリポジトリにあり、学習データセットは公開されています。

Intern-Decision-0.8B は、誰も説明していないレシピの出荷済み成果物です。モデルカードには「Qwen3.5-0.8B からファインチューニングされたマルチモーダル構造化意思決定モデル」と書かれているだけで、そこで終わっています — データの説明も、学習手順も、論文も、リポジトリもありません。徹底的に文書化されているのは推論契約です。同梱エンジンは、各質問の選択肢を単一トークン記号にマッピングし、フィールドごとに 1 つの <decision> プレースホルダーを持つスケルトンをレンダリングし、因果フォワードパスを 1 回実行し、各プレースホルダーの直前の位置でロジットを読み取り、そのフィールドで許可された記号のみに対してソフトマックスを行い、適合済みキャリブレーションを適用し、記号をあなたの選択肢の値にマッピングし直します。generate() 呼び出しはなく、経路のどこにもサンプリングはありません。テキストと最大 8 枚の画像を受け付け、各 62 選択肢までの 1〜16 問を処理し、8,192 トークンを超える入力は切り詰めるのではなく拒否します。既定のキャリブレーション温度は 2.747760550703 で、1,728 件のケースに対する NLL 最小化によってチェックポイントごとに適合されています。

その2つの段落を並べて読むと、非対称性はあまりにも明白だ。MathForm 8Bには論文、データセット、評価パイプライン、リポジトリが付属している。Intern-Decision-0.8BにはAPIの説明とベンチマーク表しかない。

検証の非対称性、それこそが本当の話だ

MathForm 8B の出力は、人間以外の何かによって検証できる。これは Lean 4 を出力し、Lean 4 はコンパイルが通るか通らないかのどちらかである。OpenBMB の数値がまさにこの理由から 2 つの方式の下で報告されている。Syntax Check 下での Pass@8 は 88.06% で、これは出力がコンパイルされることを意味し、Consistency Check 下では 72.37% で、これはコンパイルが通るかつ意味的一貫性チェックが、形式文が非形式文の述べたとおりの意味であることに同意することを意味する。どちらの数値も 6 つのベンチマークにわたる平均であり、論文はさらに FATE-H で 63%、より難しい FATE-X サブセットで 37% という CC 通過率を報告しており、これが特化型 32B 自動形式化器を上回ると主張している。これらはベンダー報告値であり——OpenBMB が実行した——しかし重要な性質は統計的ではなく構造的である。MathForm 8B の出力を消費する下流のシステムは、モデルに判断を求めることなく、悪い形式化を棄却できる。コンパイラがオラクルである。

Intern-Decision-0.8B には型契約があり、オラクルはありません。出力の形は保証されています — 宣言されたフィールド choice は、あなたが列挙した選択肢値の分布を返し、score は、あなたのルーブリックに対する確率加重期待値を返し、noul は「はい」の確率を返します。モデルの外部からは、argmax が正しかったかどうかを知ることはできません。信頼度の値は、モデル自身による自分自身の正しさの推定値であり、カードのキャリブレーション作業は、その推定値を意味のあるものにしようとする正直な試みです — フィットされた温度は、argmax を保持しつつ確率を鋭くしたり鈍らせたりするもので、ホールドアウト事例で検証されます — しかし、よくキャリブレーションされた誤った答えは、依然として誤った答えです。パイプラインがラベルが正しいかどうかを知る必要があるなら、ラベル付きデータが必要であり、自分で測定する必要があります。

それはIntern-Decision-0.8Bに固有の欠陥ではない。あらゆる分類器が置かれている条件であり、TypeSafeのJevやConvaiのLayaを含む、意思決定モデルというカテゴリ全体における未解決の問題だ。Brierスコア列を備えたベンチマーク表は、キャリブレーションが検証であるかのような印象を与えうるから、これは明確に述べておく価値がある。そうではない。キャリブレーションが教えてくれるのは、このモデルが80%と言ったとき、評価対象の分布全体で約80%の割合で正しいということだ。これは閾値の設定や期待値の計算に確かに役立つが、項目ごとの正しさを保証するものではない。

スコアボード、両方のモデルが持つ行について

• パラメータ — Intern-Decision-0.8B: 1.50 GBの言語シャード、176 MBのビジョンシャード、25 MBのプロジェクターにわたる852,985,920。MathForm 8B: 8Bのdenseモデルで、Qwen3-8Bをベースとしています。

• ベースモデル — Intern-Decision-0.8B: Qwen3.5-0.8B、2026年2月リリース。MathForm 8B: Qwen3-8B。

• タスク — Intern-Decision-0.8B: 自分で書くスキーマに対する型付きの決定 — 選択・スコア・二値。MathForm 8B: 自然言語の数学をLean 4形式化へ。

• 出力 — Intern-Decision-0.8B: フィールドごとの較正済み分布と argmax、テキストは生成されません。MathForm 8B: Lean 4 ソースを生成し、通常は長文になります。

• 検証 — Intern-Decision-0.8B: 外部によるものなし。信頼度は自己申告。MathForm 8B: Lean 4コンパイラ、および意味的一貫性チェック。

• 公開されたエビデンス — Intern-Decision-0.8B：7つのベンチマークにわたるベンダーのベンチマーク表、再現されず、論文なし。MathForm 8B：論文、約367,000例の公開データセット、評価パイプラインとリポジトリ、ベンダー実施。

• ライセンス — どちらも Apache 2.0 であり、Intern-Decision-0.8B はさらに、上流の重みに対する保存済みの Qwen ライセンスファイルを同梱しています。

コストとレイテンシは比較できるものではなく、それは回避ではない

InternLMは、単一のRTX 4090上でローカルのHugging Faceパスを通じてIntern-Decision-0.8Bを計測し、クエリあたり平均33.98 ms、p95で37.50 msだった。その2Bの兄弟モデルは平均33.28 msを記録している。MathForm 8B自身のモデルカードは、temperature 0.6、top_p 0.95で、形式化あたり最大16,384の新規トークンを推奨している。これら2つの測定値は同じ量ではない。一方はプロンプトに対する単一のフォワードパスであり、もう一方は数千トークンに及ぶことのある自己回帰生成である。形式化の予算と34 msの判断を掛け合わせても、相対的な効率について何も分からない。なぜなら、モデルは同じ量の作業をしているわけではないからだ — 一方は読み取ってスコアを付け、もう一方は読み取って証明スクリプトを書く。スループットが制約なら、関係する事実は比率よりも単純だ。MathForm 8Bは1回の生成につき1つの文を形式化し、8Bのdenseモデルで出力あたり16Kトークンとなると、それはGPUを飽和させるワークロードであり、vLLMまたはSGLangを通じたバッチ処理の候補となる。OpenBMBはその両方を文書化している。Intern-Decision-0.8Bは、1回のパスでレコード全体をカバーする16の質問に答える。したがって作業単位はフィールドではなくレコードであり、レコードの予算は8,192トークンの入力上限である。これは、長い状態、豊富なスキーマ、最大8つの画像を詰め込むとき、読者が予想するよりも早く到来する。

それぞれが適切なツールとなる場面

MathForm 8B は、数学の人手レビューがボトルネックとなるパイプラインに属します。自動形式化が存在するのは、Lean を書くことがそれを読むことより遅いからであり、機械検証可能な命題は証明支援系がその後取り組める対象になるからです。それを信頼できるものにする性質 — コンパイラ検証済みの出力 — は、同時にその適用範囲を狭める性質でもあります。つまり形式化は行いますが、証明は行いません。そしてモデルカードは、コンパイルチェックには実行中の Kimina Lean Server が必要であること、および実験では Lean 4.21.0 を使用したことを明記しています。それを採用する人は、そのスタックを採用することになります。数日前や数週間前に出たばかりのオープンウェイトモデルと同様に、テスト経路をそれに向けて走らせ、行き詰まったら実績のあるモデルにフォールバックするのが、それを評価する低リスクな方法です。まさにフォールバックチェーン全体で自動フェイルオーバーを行うゲートウェイがそのためにあります — 応答が始まる前に成功する再試行により、停滞した形式化が呼び出し元に届くことはありません。

Intern-Decision-0.8B は、すでにコンテキストが存在し、それを取り出すためにテキストを生成するコストが純粋な無駄になるあらゆる場面に適しています。トリアージ、ルーティング、ルーブリック採点、書面によるポリシーに照らした記録の裁定 — 生成モデルがリストから選ぶための高価な手段として使われているケースです。利点は、決定論的であること、解析が必要な文字列ではなく使用可能な確率を返すこと、そしてディスク上で 1.73 GB と、ラップトップのブラウザのメモリコストを下回って動作することです。欠点は、ドキュメントが API 表面で止まっていること、InternLM 以外の誰もその結果を公開していないこと、そして問題を示唆する唯一の安全関連の列 — WildJBreak スコア 64.48 対 J の 96.48 — が説明されていないことです。自分でそのテストを実行せずに、敵対的入力の前に置かないでください。

両モデルには、特筆に値する共通の系譜があります。それは「オープン」であることが何をもたらすかを変えるからです。どちらも Qwen チェックポイントのファインチューニングであり、上流のライセンスを正しく保持しています。MathForm 8B は Apache 2.0 の下にあり、モデルカードに Qwen3-8B からの由来が明記されており、Intern-Decision-0.8B も Apache 2.0 の下にあり、リポジトリ内に別途 LICENSE-QWEN ファイルを備えています。どちらにも収益しきい値や用途分野の制限はありません — Liquid AI の LFM Open License v1.0 とは異なります。同ライセンスは、商用権の条件として、あなたの組織が年間収益 1,000 万ドル未満にとどまることを求めています。商用目的で開発しているなら、これはこれら 2 つのリリースを小規模モデルエコシステムの一部から区別する違いであり、両方に等しく当てはまります。

文書化されていないチェックポイントなしで意思決定レイヤーをお求めなら

「決定ヘッドがこの問題にとって正しい形だ」と「この特定の決定ヘッドがレビュアーに正当化できるものだ」の間のギャップを、ホスト型の代替手段が埋める。TypeSafeのJev 1.13は、InternLMがJevbenchで自社ファミリーと比較評価したモデルであり、Typed DecisionおよびToolACEでもそうであり、それは今日、単一のOpenAI互換エンドポイントを通じて、入力トークン100万あたり0.042ドル、出力の課金はゼロで呼び出せる — ベンダーが公表している料金で、途中で上乗せされるのではなく、マークアップなしでそのまま渡されている。決定ヘッドがそもそも役立つかどうかを、リポジトリが欠落した0.8Bチェックポイントにコミットする前に測りたい読者にとって、それは安価な最初の実験であり、Jev自身の第三者評価は、Intern-Decision-0.8Bがまだ持っていない文書化された実績をそれに与えている。

手短に言えば

これら二つは代替案ではない。MathForm 8Bは、プログラムが出力を検証できる専門家であり、検証が難しい部分であるタスクを対象とし、その主張を証明するための論文、データセット、評価ハーネスが付属している。Intern-Decision-0.8Bは、あなただけが出力を検証できる専門家であり、答えがすでに書き留められており、難しい部分はそれらに迅速かつ安価に到達することであったタスクを対象とし、推論モジュールとテーブルが付属している。形式化が必要なら、考慮すべきはこのうち一つだけだ。ラベルが必要で、それを確認するためのグラウンドトゥルースを構築する用意があるなら、0.8Bの方がより興味深いダウンロードだ — 高速で、決定論的で、Apache 2.0で、それが良いかどうかを知るためのコストが予算項目ではなく午後で済むほど小さい。