『AlphaProof Code vs TwIL-LM3-Pro』というタイトルの生成タイトルカード。サブタイトルは「どちらも購入できる製品ではない」。左パネルは「AlphaProof Code」と表示され、フラットなシールドアイコンと「エンドポイントなし、重みなし、価格なし」の一文を備える。右パネルは「TwIL-LM3-Pro」と表示され、小型チップのアイコンと「3.66B、2.09 GiB 量子化済み、ライセンスは申請に応じて」の一文を備える。フッターには「一方は入手不可能、もう一方はかろうじて入手可能。」と記されている。OrcaRouter のロゴは拡張キャンバスの右下にある。
Guides & Insights

AlphaProof Code 対 TwIL-LM3-Pro:購入すらできないフレームワーク vs かろうじてダウンロードできるモデル

著者

Rowan Sterling

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

AlphaProof Code と TwIL-LM3-Pro を比較するうえで最も有用な知識は、どちらも製品ではないということだ。AlphaProof Code は Google DeepMind のエージェント型形式検証フレームワークで、2026年11月10日に公開された。Signal のコンパイル済み libsignal バイナリを4週間かけて検証した Lean 成果物が付属するが、その背後にエンドポイントはない。TwIL-LM3-Pro は webAI の36.6億パラメータの形式論理推論モデルで、2026年9月3日から Hugging Face にある。その重みはメール申請フォームと商用利用を禁じるライセンスの背後にある。一方は「そもそも入手できるのか」と問い、もう一方は「意味があるほど安く実行できるのか」と問う。形式手法に携わる人にとって、どちらの問いも今まさに重要な問いであり、どちらの答えも「はい」ではない。

TwIL-LM3-Proとは、仕組み上何なのか

Strip the marketing and TwIL-LM3-Pro is a dense Granite decoder: forty layers, hidden size 2,560, forty attention heads against eight key-value heads, derived from IBM's granite-4.2-3b. The real parameter total is 3,659,737,600, and the 131,072-token context is the base model's, carried through unchanged. It emits a <think>…</think> block before answering and was evaluated with greedy decoding at a 2,048-token budget.

このサイズのモデルとしては異例なほど詳細に文書化されたトレーニングスタックです。合成形式論理コーパスに対するrank-64 LoRAの教師ありファインチューニング、プロンプトごとに複数の推論トレースを得るマルチパス蒸留、最終チェックポイントを採用するのではなくパラメータ空間でのチェックポイント融合、TIESとDARE-SLERPを用いてベースへマージし戻すα = 0.15のWiSE-FT補間、そしてプログラムによる検証器に対してwebAIがMGPOと呼ぶエントロピー重み付きGRPO段階をステップ2580まで実行しています。公開されている成果物はマージ済みポリシーであり、これが実用的な詳細です。bf16で6.82 GiB、またはQ4_K_M GGUFとして2.09 GiBでCPU上または4 GBのVRAMで実行できます。

最後の一文が価値提案のすべてだ。ラップトップ上で動き、形式論理の問いに答える3.66Bモデルは、5人の研究者と4週間、40〜80エージェントのチームを必要とした検証フレームワークとは別種のものだ。TwIL-LM3-Proは形式推論の低コスト側であり、AlphaProof Codeは形式保証の高コスト側だ。両者は代替物ではない。比較に意味があるのは、人々が両方を「AI for formal methods」の下に一括りにし続けているからにすぎない。

それぞれの側のベンチマークが実際に何を立証しているか

TwIL-LM3-Proのカードは、自身のTrack Aについて4つの要約行を報告している。マクロゲート0.5539、strict-7 0.2879、6レーン平均0.5389、macro_primary 0.5875である。Qwen3-8Bに対しては、マクロゲートは0.5539対0.5336であり、カードにはマーケティングページなら削除していたであろう一文が書かれている。0.020のゲート差は各レーンn = 200でのサンプリングノイズより小さいため、その行は勝利ではなく同等である。引き分けでないのは次の点である:

• Strict-7 — 0.2879 対 Qwen3-8B の 0.2093。しかもこの行はどこでも緩い一致への加点を使用していないため、書式上の偶然によってこの結果が生じることはない。

• 厳密なMCQ — 0.4100 対 0.0000、報告された11行の中で最大のレーン差。

• ルール帰納 — 0.4195 対 0.3680。

• コーパス適合性 — 全アーム中最低の lm_corpus パープレキシティ 2.3130(対して 2.5478)。

• ホールドアウト・スイート — カードは率直だ:「TwIL-LM3-Proはそれをリードしていない」。10データセットのマクロは0.7901で、自社ベースの0.7942と統計的に同水準、Qwen3-8Bの0.8493とgpt-oss-120bの0.8689には大きく後れを取っている。

カード自体が示している注意点はさらに2つある。Track A の生成は平均1,902トークンで、前世代の564トークンに対して、24.2%が長さ上限に達しており、カードはこれを「正確ではなく指標的なもの」と呼んでいる。また、スループットの数値は比較列よりも新しい vLLM で測定されたものである。

AlphaProof Code にはそのような表は存在しない。表で答えられる質問に答えているのではないからだ。主張は、特定のバイナリ——{{1}}libsignal v0.105.4(spqr v1.6.0 付き)、rustc 1.98.1 でビルドされ、静的リンクされた単一の AArch64 実行ファイル{{/1}}——が、{{2}}10 個の記号的定理と具体的なバウンドを伴う計算トラック{{/2}}を満たすというものだ。それはおよそ {{3}}650 万行の Lean{{/3}} によって証明され、カーネルによって検査される。比較可能な検証はネガティブテストだ:{{4}}実際に存在した、以前修正済みの 2 つのバグが隔離されたコピーに再導入され{{/4}}、どちらも{{5}}機械検証済みの、安全性が成り立たないことの証明{{/5}}を生み出した。それはスコアではない。それは、システムが正しいコードと壊れたコードを区別できることの実証であり、{{6}}strict-7 における TwIL の 0.2879{{/6}} よりも強い主張であり、はるかに狭い主張でもある——{{7}}1 つのバイナリ、1 つの仕様、5 人で 1 週間{{/7}}。

A generated two-column scoreboard headed 'AlphaProof Code vs TwIL-LM3-Pro - the scoreboard'. Left column 'AlphaProof Code' rows: 'What it is: verification framework', 'Weights: none', 'Access: published artifacts', 'Licence: not stated', 'Runs on: nothing you own', 'Claim: 6.5M lines of Lean'. Right column 'TwIL-LM3-Pro' rows: 'What it is: 3.66B logic model', 'Weights: by email request', 'Access: Hugging Face', 'Licence: non-commercial', 'Runs on: 4 GB of VRAM', 'Claim: strict-7 score 0.2879'. Footer: 'TwIL-LM3-Pro figures vendor-reported by webAI; AlphaProof Code per the DeepMind paper.'

実際の決定ポイントとなるライセンス

TwIL-LM3-Pro は商用利用を禁じるライセンスの下で提供されており、互いに同等ではない3つのチャネルで配布されています。重みは Hugging Face 上にあります。チェックポイントは定期的に改訂されます — 現在のものは2026年9月30日に公開されました。そして2026年10月1日、webAI はオンデバイスの Android および iOS 推論向け LiteRT-LM ビルドを公開しました。これが、2.09 GiB という GGUF の数値をスマートフォンアプリにとって意味のあるものにするチャネルです。3つのチャネルのうち1つはフォームであり、商用利用の場合はベンチマーク表を読む前にライセンスを読むべきです。

AlphaProof Codeの配布をめぐる問題は別物で、おそらくより深刻だ。成果物は github.com/google-deepmind/code-verification で公開されている——Lean開発、467命令と31システムコールを対象とする7,578行のAArch64セマンティクス、libsignalバインディング、記号的仕様と計算的仕様——だが、ランディングページにはライセンスが一切明記されていない。それは「寛容」ではない。未解決なのだ。ブログ記事は、DeepMindがコミュニティ利用のために検証成果物をオープンソース化していると述べるだけだ。ライセンスのないLean開発の上にパイプラインを構築する前に、誰かに聞いてほしい。

つまり、一方の成果物は商用利用できないモデルで、もう一方は利用条件が明記されていないコードベースです。趣味で使う人にとっては前者は現実的ですが、企業にとってはどちらもゴーサインにはなりません。

それぞれが実際にパイプラインのどこに位置するか

TwIL-LM3-Proは形式論理に関する推論をテキスト上で行います。証明義務、規則体系、前提群を与えると、人間が読める散文と記号の形式で導出を生成します。これは推論支援ツールであり、このカード自身のベンチマークスイート——規則帰納、厳密な多肢選択、コーパス適合——は、その作業を中心に構築されています。

AlphaProof Code はテキスト上の論理について推論するのではない。そのエージェントは Lean を書き、その Lean は検査される。この2段階は原理上相補的である。仕様の形を提案する小規模モデル、それをレビューする強力な汎用モデル、そしてカーネルに対して証明を閉じる proof-agent ハーネスである。両者の間に欠けているのは橋渡しだ — TwIL-LM3-Pro は Lean ステートメント生成で評価されておらず、そのカードにはそのために訓練されたことを示唆するものは何もない。そのスタックにおける自然な隣人は MathForm-8B、OpenBMB の Lean 4 自動形式化器であり、検証フレームワークではない。

DeepMind自身による人的ボトルネックについての説明こそ、ここで興味深い点だ。証明作業が始まる前に、研究者たちはSignalのセキュリティ目標を複数のモデルを組み合わせて形式仕様に翻訳し、専門家がすべての仕様をレビューした。そうした記述を、もっともらしく低コストで起草できる小型で高速なローカルモデルは、その段階で本当に有用だろう。そして依然として専門家のレビューが必要だ。なぜなら、誤った仕様は、誤った定理の証明を完璧に検証された形で生み出すからだ。

A screenshot of the Hugging Face model page for webAI-Official/TwIL-LM3-Pro, showing the org and repo name, the 3.66B parameter badge, the GraniteForCausalLM architecture label, the tags for TextGeneration, Transformers, Safetensors, the formal-logic dataset and English, the licence line reading 'License: webai-non-commercial-license-ver.-1.0', and the Files and versions tab.

今日実行できること、そしてそれにかかるコスト

• TwIL-LM3-Pro — Hugging Faceから非商用ライセンスの下でリクエストに応じて提供される重み。2026年10月1日以降のLiteRT-LMオンデバイスビルド。私が確認できる限り、webAIによるホスト型APIはなし。bf16重み6.82 GiB、またはQ4_K_Mで2.09 GiBでセルフホスト可能。

• AlphaProof Code — 実行不可。成果物は公開済みだが、エンドポイント、重み、価格、ウェイトリスト、ライセンスの記載はいずれもない。

• AlphaProof Code 内部のモデル — 証明エージェントは当社が提供していない G​emini 4 Carbon 上で実行されました。Claude Opus 5.5 は仕様書の起草とレビューを行うモデル群の一つとして使用され、OrcaRouter のカタログにて入力 100 万トークンあたり $4、出力 100 万トークンあたり $20 で提供されており、プロバイダーの定価を 0% のマークアップでそのまま適用しています。

• TwIL-LM3-Pro の比較対象となるモデル — Qwen3-8B クラスのモデルは、3.66B の形式論理チェックポイントにとって標準的な比較セットであり、それらを単一のキーでまとめて扱う狙いは、仕様ドラフト作成ループが同じ義務を小型の専門モデルと汎用モデルに送り、2 つ目の契約なしで結果を差分比較できるようにすることにあります。 モデル融合は同じことを 1 回の呼び出しで行います:パネルが一緒に回答する形で、これはおおよそ DeepMind チームが仕様段階で複数モデルの混合を用いて行ったことです。

A headless-Chromium capture of the AlphaProof Code technical page at google-deepmind.github.io/code-verification, headed 'AlphaProof Code: Verifying Signal's Security at the Machine-Code Level', dated 2026-11-10, with the author list and the opening of the abstract describing roughly 6.5 million lines of machine-checked Lean resting on about 26,000 lines of trusted specifications.

正直な結論は、おそらくどちらも必要ないということです。

本番コードの形式検証を望むなら、AlphaProof Code は論文であり Lean による開発物です。読んで引用し、それを中心にスプリントを計画しないでください。DeepMind 自身の位置づけでは、この手法のスケールアップには「継続的な研究が必要」であり、論文もこのプロセスには最適化の余地が大きいと述べています。クリーンビルドまでの中央値は数時間で、1行のソース変更が大規模な証明の修正を引き起こす可能性があります。

ラップトップ上で形式論理を推論する小型モデルが欲しいなら、TwIL-LM3-Pro は実在し、量子化時 2.09 GiB で動作し、そのモデルカード自体が、どこで勝るかではなくどこで互角になるかを教えてくれます。ベンチマークを確認する前にライセンスを確認してください。ライセンスのほうが読む量が少なく、より決定的だからです。

両方のリリースに共通するのは、注目に値する形だ。形式手法の最前線は、何百ものエージェント時間を費やせる研究所によって非常に高価な端で押し進められている一方、手頃な端では、狭い能力と非商用条件を備えた小規模モデルが生み出されている。中間、つまり仕様を受け取り、自社が所有するコードに対する検証済みの証明を返す商用ツールを、チームが予算化できる価格で提供するものは、依然として空白のままだ。注目すべきは、これら二つの成果物の間のギャップではなく、そのギャップである。