Eine generierte Titelkarte mit dem Titel „AlphaProof Code vs TwIL-LM3-Pro" und dem Untertitel „Keines von beiden ist ein Produkt, das man kaufen kann", ein linkes Panel mit der Beschriftung „AlphaProof Code", einem flachen Schild-Symbol und der Zeile „Kein Endpoint, keine Gewichte, kein Preis", ein rechtes Panel mit der Beschriftung „TwIL-LM3-Pro", einem Small-Chip-Symbol und der Zeile „3,66B, 2,09 GiB quantisiert, Lizenz auf Anfrage", sowie eine Fußzeile mit dem Text „Das eine ist nicht erhältlich; das andere kaum erhältlich."; das OrcaRouter-Logo befindet sich unten rechts auf der erweiterten Arbeitsfläche.
Guides & Insights

AlphaProof Code vs. TwIL-LM3-Pro: Ein Framework, das man nicht kaufen kann, gegen ein Modell, das man kaum herunterladen kann

Autor

Rowan Sterling

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Am nützlichsten beim Vergleich von AlphaProof Code und TwIL-LM3-Pro ist die Erkenntnis, dass keines der beiden ein Produkt ist. AlphaProof Code ist Google DeepMinds agentisches Framework zur formalen Verifikation, veröffentlicht am 10. November 2026 zusammen mit den Lean-Artefakten einer vierwöchigen Verifikation von Signals kompiliertem libsignal-Binärprogramm – und ohne dahinterstehenden Endpunkt. TwIL-LM3-Pro ist webAIs formallogisches Reasoning-Modell mit 3,66 Milliarden Parametern, seit dem 3. September 2026 auf Hugging Face, dessen Gewichte hinter einem E-Mail-Anfrageformular und einer Lizenz liegen, die kommerzielle Nutzung verbietet. Beim einen fragt man sich: „Kann ich das überhaupt bekommen?“; beim anderen: „Kann ich das günstig genug betreiben, dass es relevant wird?“ Für jeden, der im Bereich formale Methoden arbeitet, sind beide Fragen die drängenden, und keine der beiden Antworten lautet Ja.

Was TwIL-LM3-Pro mechanisch ist

Strip the marketing and TwIL-LM3-Pro is a dense Granite decoder: forty layers, hidden size 2,560, forty attention heads against eight key-value heads, derived from IBM's granite-4.2-3b. The real parameter total is 3,659,737,600, and the 131,072-token context is the base model's, carried through unchanged. It emits a <think>…</think> block before answering and was evaluated with greedy decoding at a 2,048-token budget.

Der Trainings-Stack ist für ein Modell dieser Größe ungewöhnlich gut dokumentiert: ein überwachtes Fine-Tuning mit Rank-64-LoRA auf einem synthetischen Korpus formaler Logik, Multipfad-Distillation für mehrere Reasoning-Traces pro Prompt, Checkpoint-Fusion im Parameterraum statt der Übernahme des endgültigen Checkpoints, eine WiSE-FT-Interpolation bei α = 0,15, die mit TIES und DARE-SLERP zurück in Richtung Basis zusammengeführt wird, und eine entropiegewichtete GRPO-Phase, die webAI als MGPO gegen einen programmatischen Verifier bezeichnet und die bis Schritt 2580 läuft. Das veröffentlichte Artefakt ist die zusammengeführte Policy, was das praktische Detail ist: Man kann sie in bf16 mit 6,82 GiB betreiben oder als Q4_K_M-GGUF mit 2,09 GiB auf einer CPU oder mit 4 GB VRAM.

Der letzte Satz ist das gesamte Wertversprechen. Ein Modell mit 3,66 Mrd. Parametern, das auf einem Laptop läuft und Fragen der formalen Logik beantwortet, ist eine andere Art von Objekt als ein Verifikationsframework, für das fünf Forschende, vier Wochen und Teams aus 40 bis 80 Agenten nötig waren. TwIL-LM3-Pro ist das billige Ende der formalen Beweisführung; AlphaProof Code ist das teure Ende der formalen Absicherung. Sie ersetzen einander nicht, und der Vergleich lohnt sich nur, weil beide immer wieder unter „KI für formale Methoden“ eingeordnet werden.

Was die Benchmarks auf beiden Seiten tatsächlich belegen

Die Karte von TwIL-LM3-Pro meldet vier Übersichtszeilen auf ihrem eigenen Track A: ein Makro-Gate von 0.5539, strict-7 von 0.2879, einen Sechs-Lane-Durchschnitt von 0.5389 und macro_primary von 0.5875. Gegenüber Qwen3-8B beträgt das Makro-Gate 0.5539 gegenüber 0.5336, und die Karte schreibt den Satz, den eine Marketingseite gestrichen hätte: Der Gate-Vorsprung von 0.020 ist kleiner als das Stichprobenrauschen bei n = 200 pro Lane, sodass diese Zeile Parität ist, kein Sieg. Wo es kein Gleichstand ist:

• Strict-7 — 0.2879 gegenüber Qwen3-8B mit 0.2093, und diese Zeile nutzt nirgends Gutschrift für lockere Übereinstimmung, sodass Formatierungsglück sie nicht erzeugen kann.

• Striktes MCQ — 0.4100 vs. 0.0000, die größte Lücke zwischen den Lanes in den elf gemeldeten Zeilen.

• Regelinduktion — 0,4195 vs. 0,3680.

• Korpus-Fit — die niedrigste lm_corpus-Perplexität aller Arme bei 2,3130 gegenüber 2,5478.

Hold-out-Suite — die Karte ist unmissverständlich: „TwIL-LM3-Pro führt sie nicht an.“ Der Makro-Wert über die 10 Datensätze liegt bei 0,7901, statistisch auf Augenhöhe mit der eigenen Basis bei 0,7942 und deutlich hinter Qwen3-8B bei 0,8493 und gpt-oss-120b bei 0,8689.

Zwei weitere Einschränkungen nennt die Karte selbst: Track-A-Generierungen umfassen durchschnittlich 1.902 Token gegenüber 564 beim Vorgänger, wobei 24,2 % das Längenlimit erreichen, was die Karte als „indikativ statt exakt" bezeichnet; und die Durchsatzwerte wurden auf einer neueren vLLM-Version gemessen als die Werte in den Vergleichsspalten.

AlphaProof Code hat keine solche Tabelle, weil es keine Frage beantwortet, die eine Tabelle beantworten kann. Die Behauptung ist, dass ein bestimmtes Binary — libsignal v0.105.4 mit spqr v1.6.0, gebaut von rustc 1.98.1, statisch gelinkt, eine AArch64-Executable — zehn symbolische Theoreme und einen Berechnungspfad mit einer konkreten Schranke erfüllt, bewiesen durch ungefähr 6,5 Millionen Zeilen Lean und vom Kernel geprüft. Die vergleichbare Validierung ist der Negativtest: Zwei echte, zuvor behobene Fehler wurden in eine isolierte Kopie wieder eingeführt, und beide erzeugten maschinengeprüfte Beweise der Unsicherheit. Das ist kein Punktestand. Es ist eine Demonstration, dass das System korrekten Code von kaputtem Code unterscheiden kann, was eine stärkere Aussage ist als TwILs 0.2879 auf strict-7 und eine viel engere — ein Binary, eine Spezifikation, eine Woche Zeit von fünf Personen.

A generated two-column scoreboard headed 'AlphaProof Code vs TwIL-LM3-Pro - the scoreboard'. Left column 'AlphaProof Code' rows: 'What it is: verification framework', 'Weights: none', 'Access: published artifacts', 'Licence: not stated', 'Runs on: nothing you own', 'Claim: 6.5M lines of Lean'. Right column 'TwIL-LM3-Pro' rows: 'What it is: 3.66B logic model', 'Weights: by email request', 'Access: Hugging Face', 'Licence: non-commercial', 'Runs on: 4 GB of VRAM', 'Claim: strict-7 score 0.2879'. Footer: 'TwIL-LM3-Pro figures vendor-reported by webAI; AlphaProof Code per the DeepMind paper.'

Die Lizenz, die der eigentliche Entscheidungspunkt ist

TwIL-LM3-Pro wird unter einer Lizenz ausgeliefert, die kommerzielle Nutzung verbietet, und über drei Kanäle vertrieben, die nicht gleichwertig sind. Die Gewichte liegen auf Hugging Face. Der Checkpoint wird regelmäßig überarbeitet – der aktuelle wurde am 30. September 2026 veröffentlicht. Und am 1. Oktober 2026 veröffentlichte webAI einen LiteRT-LM-Build für On-Device-Inferenz auf Android und iOS, also den Kanal, der die Angabe von 2,09 GiB GGUF für eine Smartphone-Anwendung bedeutsam macht. Einer der drei Kanäle ist ein Formular, und wenn Ihre Nutzung kommerziell ist, sollten Sie die Lizenz lesen, bevor Sie die Benchmark-Tabelle lesen.

Die Distributionsfrage von AlphaProof Code ist anders gelagert und wohl sogar schlimmer. Die Artefakte sind unter github.com/google-deepmind/code-verification veröffentlicht – die Lean-Entwicklung, die 7.578 Zeilen umfassende AArch64-Semantik, die 467 Instruktionen und 31 Systemaufrufe abdeckt, die libsignal-Bindung, die symbolischen und rechnerischen Spezifikationen –, und die Landingpage nennt überhaupt keine Lizenz. Das ist nicht „permissiv“, sondern ungeklärt. Der Blogbeitrag sagt nur, dass DeepMind die Verifikationsartefakte als Open Source zur Nutzung durch die Community veröffentlicht. Bevor du eine Pipeline auf einer Lean-Entwicklung ohne Lizenz aufbaust, frag jemanden.

Also: Bei einem Artefakt handelt es sich um ein Modell, das du nicht kommerziell nutzen darfst; beim anderen um eine Codebasis, deren Bedingungen nicht genannt sind. Für einen Hobbyisten ist Ersteres machbar. Für ein Unternehmen ist keines von beiden grünes Licht.

Wo jedes Einzelne tatsächlich in einer Pipeline seinen Platz hätte

TwIL-LM3-Pro führt Schlussfolgerungen über formale Logik als Text durch. Man gibt ihm eine Beweisverpflichtung, ein Regelsystem und eine Menge von Prämissen; es erzeugt eine Ableitung in Prosa-und-Symbol-Form, die ein Mensch liest. Es ist eine Denkhilfe, und die eigene Benchmark-Suite der Karte — Regelinduktion, strikte Multiple-Choice, Korpuspassung — ist auf diese Aufgabe zugeschnitten.

AlphaProof Code argumentiert nicht über Logik in Text. Seine Agenten schreiben Lean, und das Lean wird geprüft. Die beiden Stufen sind im Prinzip komplementär: ein kleines Modell, das die Form einer Spezifikation vorschlägt, ein starkes allgemeines Modell, das sie überprüft, und ein Proof-Agent-Harness, das sie gegen einen Kernel abschließt. Was zwischen ihnen fehlt, ist eine Brücke — TwIL-LM3-Pro wurde nicht auf die Generierung von Lean-Aussagen evaluiert, und nichts in seiner Karte deutet darauf hin, dass es dafür trainiert wurde. Sein natürlicher Nachbar in diesem Stack ist MathForm-8B, OpenBMBs Lean-4-Autoformalizer, kein Verifikationsframework.

Der interessante Teil hier ist DeepMinds eigene Darstellung des menschlichen Engpasses. Bevor jegliche Beweisführung begann, übersetzten Forschende Signals Sicherheitsziele mit einer Mischung aus Modellen in formale Spezifikationen, und ein Experte überprüfte jede Spezifikation. Ein kleines, schnelles, lokales Modell, das diese Aussagen plausibel und kostengünstig entwerfen könnte, wäre in dieser Phase wirklich nützlich – und bräuchte weiterhin die Expertenprüfung, denn eine falsche Spezifikation erzeugt einen Beweis des falschen Theorems, der perfekt verifiziert ist.

A screenshot of the Hugging Face model page for webAI-Official/TwIL-LM3-Pro, showing the org and repo name, the 3.66B parameter badge, the GraniteForCausalLM architecture label, the tags for TextGeneration, Transformers, Safetensors, the formal-logic dataset and English, the licence line reading 'License: webai-non-commercial-license-ver.-1.0', and the Files and versions tab.

Was Sie heute ausführen können und was es kostet

• TwIL-LM3-Pro — Gewichte auf Anfrage von Hugging Face unter einer nichtkommerziellen Lizenz; seit dem 1. Oktober 2026 ein LiteRT-LM-On-Device-Build; keine gehostete API von webAI, die ich verifizieren kann. Selbsthosting auf 6,82 GiB bf16-Gewichten oder 2,09 GiB bei Q4_K_M.

• AlphaProof Code — nicht ausführbar. Artefakte veröffentlicht, kein Endpoint, keine Gewichte, kein Preis, keine Warteliste, keine Lizenz angegeben.

• Die Modelle in AlphaProof Code – die Proof-Agenten liefen auf G​emini 4 Carbon, das wir nicht anbieten; Claude Opus 5.5 wurde unter den Modellen eingesetzt, die Spezifikationen entwarfen und prüften, und ist in OrcaRouters Katalog zu 4 $ pro Million Input- und 20 $ pro Million Output-Tokens erhältlich, zum Listenpreis des Anbieters ohne Aufschlag (0 %).

• Die Modelle, gegen die TwIL-LM3-Pro gemessen wird — Modelle der Qwen3-8B-Klasse sind der übliche Vergleichssatz für einen 3,66B-Checkpoint für formale Logik, und der Sinn, sie hinter einem Schlüssel zusammenzufassen, besteht darin, dass eine Spezifikationsentwurfsschleife dieselbe Verpflichtung an einen kleinen Spezialisten und ein allgemeines Modell senden und die Ergebnisse abgleichen kann, ohne einen zweiten Vertrag. Modellfusion erledigt dasselbe in einem einzigen Aufruf: ein Panel, das gemeinsam antwortet, was ungefähr dem entspricht, was das DeepMind-Team mit einer Mischung von Modellen in der Spezifikationsphase getan hat.

A headless-Chromium capture of the AlphaProof Code technical page at google-deepmind.github.io/code-verification, headed 'AlphaProof Code: Verifying Signal's Security at the Machine-Code Level', dated 2026-11-10, with the author list and the opening of the abstract describing roughly 6.5 million lines of machine-checked Lean resting on about 26,000 lines of trusted specifications.

Das ehrliche Fazit lautet, dass du wahrscheinlich keines von beiden brauchst.

Wenn Sie eine formale Verifikation von Produktionscode wünschen, sind AlphaProof Code ein Paper und eine Lean-Entwicklung. Lesen Sie es, zitieren Sie es, und planen Sie keinen Sprint darum herum – DeepMinds eigene Formulierung lautet, dass die Skalierung der Technik „kontinuierliche Forschung erfordert“, und das Paper sagt, dass der Prozess erhebliches Optimierungspotenzial hat. Die mediane Zeit bis zu einem sauberen Build beträgt Stunden, und eine einzeilige Quellcodeänderung kann umfangreiche Proof-Reparaturen auslösen.

Wenn du ein kleines Modell willst, das auf einem Laptop über formale Logik nachdenkt, ist TwIL-LM3-Pro echt, läuft quantisiert mit 2,09 GiB, und seine eigene Karte sagt dir, wo es eher gleichauf liegt als gewinnt. Prüfe die Lizenz, bevor du die Benchmarks prüfst, denn die Lizenz ist die kürzere Lektüre und die entscheidendere.

Was beide Releases gemeinsam haben, ist eine Form, die Beachtung verdient: Die Grenze der formalen Methoden wird am sehr teuren Ende von einem Labor vorangetrieben, das Hunderte Agentenstunden zur Verfügung hat, während am erschwinglichen Ende kleine Modelle mit schmaler Kompetenz und nichtkommerziellen Bedingungen entstehen. Die Mitte – ein kommerzielles Werkzeug, das eine Spezifikation entgegennimmt und einen geprüften Beweis für Code liefert, den man selbst besitzt, zu einem Preis, den ein Team einplanen kann – ist noch leer. Diese Lücke, nicht die Lücke zwischen diesen beiden Artefakten, ist die, die man im Auge behalten sollte.