Eine generierte Titelkarte mit der Aufschrift „AREX-2 vs. MathForm-8B – Zwei Wege, geprüft zu werden“, mit zwei Panels. Das linke Panel, überschrieben mit MathForm-8B, listet auf: 8B dense, ausgeliefert im Aug. 2026; schreibt Lean-4-Theoremaussagen; geprüft vom Lean-Compiler; Pass@8 88,06 % syntaxgeprüft. Das rechte Panel, überschrieben mit AREX-2, listet auf: Repo erstellt am 29. Sep. 2026; keine Dateien, keine Karte; nichts zum Herunterladen oder Ausführen; es gibt keine Zahlen, die geprüft werden könnten. Eine Fußzeile lautet: „Das eine wird von einem Compiler bewertet. Das andere hat noch nichts, was bewertet werden könnte.“ Das OrcaRouter-Logo ist in die untere rechte Ecke eingefügt.
Guides & Insights

AREX-2 vs. MathForm-8B: Ein Beweisprüfer und eine Suchschleife sind unterschiedliche Arten der Verifikation.

Autor

Gideon Frost

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

MathForm-8B und AREX-2 sind die beiden am strengsten verifizierbaren Modelle in dieser Reihe, und sie verifizieren auf entgegengesetzte Weise. MathForm-8B ist OpenBMBs Autoformalisierer mit 8 Milliarden Parametern, veröffentlicht im August 2026: Gibt man ihm ein in einfachem Englisch geschriebenes Mathematikproblem, erzeugt es eine formal korrekte Lean-4-Aussage dieses Problems, die dann ein Compiler eines Beweisassistenten prüft. AREX-2 ist ein Hugging-Face-Repository, das BAAI am 29. September 2026 um 17:56 UTC erstellt hat und das eine .gitattributes und keine Gewichte, keine Modellkarte, kein Lizenz-Tag und keine Ankündigung enthält — ein reservierter Name für eine wahrscheinliche zweite Generation von BAAIs AREX-Deep-Research-Agenten, deren erste Generation sich selbst verifiziert, indem sie ihre eigene Antwort erneut gegen die ihr vorgegebenen Einschränkungen prüft.

Die interessante Frage hier ist also nicht, welches Modell besser ist. Sie lautet, was es bedeutet, dass ein Modell überprüfbar ist, denn eines dieser beiden wird von einem Compiler geprüft, dem egal ist, was irgendjemand glaubt, und das andere wird, wenn der Präzedenzfall der Familie gilt, von einer Schleife geprüft, die dasselbe Modell ausführt. Diese Unterscheidung bleibt bestehen, obwohl eine Seite des Duells noch nicht ausgeliefert wurde, und sie ist der Grund, warum diese beiden überhaupt in dasselbe Gespräch gehören.

Die Seite, die existiert, und der Grund, warum sie überprüfbar ist

MathForm-8B hat eine eng gefasste Aufgabenbeschreibung, und es ist wert, sie präzise zu formulieren, weil die Engfassung das Entscheidende ist. Es löst keine mathematischen Probleme und behauptet auch nicht, dies zu tun. Es wurde auf FormalVerse feinabgestimmt, einem Korpus von etwa 367.000 verifizierten Lean-4-Beispielen, und seine Trainingsbelohnung stammte vom Lean-Compiler statt von einem menschlichen Präferenzmodell. Angesichts einer informellen Aussage gibt es die Importe, Typen und den Theorem-Header aus — wobei die Beweisverpflichtung selbst offen bleibt —, damit ein Compiler bestätigen kann, dass die Formalisierung das aussagt, was das informelle Problem aussagte.

Die veröffentlichten Zahlen – alle vom Anbieter OpenBMB gemeldet und keine unabhängig reproduziert – ergeben einen durchschnittlichen Pass@8 von 88,06 % unter einer Syntaxprüfung und 72,37 % unter einer strengeren Konsistenzprüfung über sechs Benchmarks, sinkend auf 63 % und 37 % in den schwierigsten Teilmengen FATE-H und FATE-X. Lies sie als das, was sie sind: ein Modell, gemessen an einem formalen System, bei dem eine falsche Antwort ein Kompilierungsfehler ist und keine Meinungsverschiedenheit über Qualität. Das ist eine seltene Eigenschaft. Die meisten Benchmark-Behauptungen in diesem Blog stützen sich auf einen Bewerter, dem man vertrauen muss; diese hier stützt sich auf Arithmetik, die eine Maschine ausführt.

Die Seite, die noch nicht existiert, und warum ihre Verifizierung anders ist

Die einzigen bestätigbaren Fakten zu AREX-2 sind die Organisation, der Name und der Zeitstempel. Es wurde nichts hochgeladen, und BAAI hat sich nicht geäußert. Die Familie hinter dem Namen existiert jedoch, und sie wurde am 23. Juli 2026 als AREX-Base veröffentlicht — ein Mixture-of-Experts mit 122 Milliarden Parametern und 10 Milliarden aktiven Parametern auf einer Qwen3.5-122B-A10B-Basis — zusammen mit AREX-Turbo, einem dichten 4B-Modell. Beide unter Apache 2.0, beide Agents statt Chat-Modelle.

Das AREX-Design ist ein Forschungsframework mit zwei Schleifen, wobei die äußere Schleife ein Verifikationsschritt ist. Eine innere Schleife sammelt Belege aus Suche und Browsing, integriert sie und erzeugt eine Kandidatenantwort mit einer beigefügten Konfidenzangabe. Die äußere Schleife prüft diesen Kandidaten dann gegen die ursprünglichen Einschränkungen und entscheidet: akzeptieren, verfeinern oder die Trajektorie verwerfen und neu starten. Zwischen den Iterationen führt das Modell einen Kontextblock mit verifizierten Befunden, offenen Kandidaten, ungelösten Einschränkungen und dem nächsten Plan, wodurch es eine lange Untersuchung verfolgen kann, ohne den Faden zu verlieren. BAAI meldet 82,5 bei BrowseComp, 85,4 bei GAIA und 89,9 bei DeepSearch QA für die Base sowie 70,7 / 81,6 / 78,5 für die Turbo — die eigenen Zahlen des Anbieters, nicht reproduziert.

Das ist eine echte und nützliche Form der Selbstüberprüfung. Sie ist zugleich kategorisch schwächer als ein Compiler. Wenn die äußere AREX-Schleife entscheidet, dass eine Antwort ihre Einschränkungen erfüllt, stammt das Urteil von einem Sprachmodell, das die Einschränkungen liest. Wenn Lean eine MathForm-8B-Formalisierung akzeptiert, stammt das Urteil von einem Typprüfer, der einen festen Kalkül implementiert. Keines von beiden ist frei von Fehlern — eine Formalisierung kann gültiges Lean sein, das den falschen Satz erfasst —, aber nur eines von beiden kann falsch sein, ohne dass es jemand bemerkt, und der Unterschied ist keine Frage des Grades.

• Verfügbarkeit — MathForm-8B kann von OpenBMB mit einer veröffentlichten Karte heruntergeladen werden. AREX-2 ist ein Repository, in dem keine Dateien enthalten sind.

• Parameter — 8B dicht für MathForm-8B. Unbekannt für AREX-2; die Familie umfasst ein 122B-Mixture-of-Experts und ein dichtes 4B.

• Was es erzeugt — Lean-4-Theorem-Aussagen für MathForm-8B, wobei der Beweis absichtlich offen gelassen wird. Unbekannt für AREX-2; die erste Generierung erzeugte eine recherchierte Antwort mit einer Konfidenzangabe.

• Wie es geprüft wird — der Lean-Compiler, für MathForm-8B. Eine Verifikationsschleife innerhalb desselben Modells, auf der Grundlage der Nachweise von AREX-Base.

• Lizenz — eigene Bedingungen von OpenBMB für MathForm-8B; für AREX-2 wurde noch nichts angegeben. Die erste AREX-Generation war Apache 2.0.

• Eckdaten — 88,06 % syntaxgeprüft und 72,37 % konsistenzgeprüft Pass@8 für MathForm-8B, vom Anbieter angegeben. Für AREX-2 liegen keine vor.

A screenshot of the Hugging Face model card for openbmb/MathForm-8B, showing the OpenBMB author line, tags for Text Generation, Transformers, Safetensors, the openbmb/FormalVerse training dataset and arXiv 2608.14221, and the opening of the card describing MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement, with the note that the model is trained on FormalVerse through supervised fine-tuning followed by reinforcement learning using Lean compilation and semantic-consistency feedback.A generated card headed 'Two ways a model can be checked' with rows contrasting MathForm-8B (8B dense, shipped August 2026; emits a Lean 4 theorem statement with the proof obligation left open; checked by the Lean compiler, a type checker implementing a fixed calculus; published figures Pass@8 88.06% syntax-checked and 72.37% consistency-checked, vendor-reported, with FATE-H and FATE-X at 63% and 37%) against AREX-2 (repository created 29 Sep 2026 with no weights, card or licence tag; nothing to check yet), and a row noting the AREX-Base outer loop re-reads the agent's own answer against its constraints - a model reading a model - with BrowseComp 82.5, GAIA 85.4 and DeepSearch QA 89.9 for the 122B Base, unreproduced. A footer reads 'A compiler fails a wrong answer. A verification loop has to notice one.' The OrcaRouter logo is composited in the bottom-right corner.

Zwei Jobs, die ein Stack gleichzeitig aufnehmen kann

Diese Modelle überschneiden sich in ihrer Funktion nicht, und es lohnt sich, das klarzustellen, bevor jemand ein „versus“ als Entscheidung liest. MathForm-8B ist ein Frontend für einen Beweisassistenten. Seine Ausgabe ist eine Theoremaussage, mit der ein Mathematiker oder ein automatischer Beweiser dann arbeitet. Sein natürlicher Platz ist innerhalb einer Verifikationspipeline für Mathematik, formale Methoden oder Spezifikationsarbeit, wo der Wert darin liegt, dass ein nachgelagertes Werkzeug die Ausgabe konsumieren kann, ohne dem Modell zu vertrauen.

AREX-2 ist, wenn es seine Familie fortsetzt, ein Back-End für Fragen, die keinen Compiler haben. „Welche dieser drei Einreichungen ist mit den anderen beiden unvereinbar“ hat kein formales System, gegen das man sie prüfen könnte, und die einzige verfügbare Verteidigung besteht darin, mehr Belege zu sammeln und die eigene Argumentation erneut zu prüfen – was die äußere Schleife von AREX ist. Ein Team, das beides braucht, würde sie an verschiedenen Stellen einsetzen: Formalisierung für den Teil des Problems, der formalisiert werden kann, und einen Such-und-Verifizier-Agenten für den Teil, der es nicht kann.

Diese Aufteilung ist auch die ehrliche Antwort darauf, mit welcher von beiden du diese Woche tatsächlich etwas anfangen kannst. MathForm-8B ist ausgeliefert, dokumentiert und jetzt nutzbar. AREX-2 ist ein Name.

Wie die Routing-Story aussieht, wenn Verifizierung das Thema ist

Da die beiden so unterschiedlich verwendet werden, teilt sich auch die Infrastrukturfrage.

Für MathForm-8B besteht die Arbeitslast aus einem Schub kurzer, deterministischer Generierungen, deren Ausgabe direkt in einen Compiler fließt. Entscheidend ist, dass das Modell erreichbar ist und dass ein fehlgeschlagener Aufruf erneut versucht wird, denn eine Formalisierungs-Pipeline, die eine Anfrage fallen lässt, sieht identisch aus wie eine Formalisierungs-Pipeline, die fehlgeschlagen ist – und nur bei einer von beiden handelt es sich um eine Tatsache über das Modell. Automatisches Failover über Anbieter hinweg ist genau die Funktion, die diese beiden auseinanderhält. OrcaRouter führt heute weder MathForm-8B noch AREX-2, daher stammen die OpenBMB-Gewichte aus OpenBMBs eigener Distribution und jeder gehostete Endpunkt gehört jemand anderem; was wir anbieten, ist das Routing davor, mit durchgereichtem Listenpreis des Anbieters und nichts pro Token obendrauf.

Für einen Agenten wie AREX-Base ist die Form schwieriger und der Fall für Routing stärker. Eine Deep-Research-Trajektorie erzeugt Dutzende Modellaufrufe pro Anfrage, von denen jeder einen Kontext erneut liest, der mit der Anhäufung von Belegen wächst, und die Fehlermodi verstärken sich: Ein Anbieter, der bei Schritt neunzehn von fünfundzwanzig eine Zeitüberschreitung hat, verschlechtert die Antwort nicht, sondern erzeugt eine selbstsicher falsche Antwort. Das ist das Argument dafür, die Schleife hinter einer API für über 200 Modelle mit einer Failover-Regel, die zur Laufzeit entscheidet, zu legen, sodass ein einzelner schlechter Anbieter ein Wiederholungsversuch statt einer falschen Quellenangabe ist.

Das Eine, worauf man achten sollte, und das Eine, was man nicht voraussetzen sollte

Drei Fakten würden die meisten offenen Fragen zu AREX-2 beantworten, und alle drei sind von außen sichtbar: ob in jenem Repository Dateien auftauchen, welche Parameterzahl die Modellkarte angibt und ob es das Apache-2.0-Tag trägt, das seine beiden Vorgänger trugen. Bis sie das tun, ist die einzige vertretbare Aussage über AREX-2, dass BAAI den Namen am 29. September 2026 reserviert hat und nichts angekündigt hat.

Was man nicht annehmen sollte, ist, dass eine zweite Generation die Form der ersten erbt. Eine „2“ ist ein Produktname, keine Architektur. Sie könnte größer als die 122B Base sein oder eine kleine Destillation desselben Frameworks – und da die Familie bereits gleichzeitig sowohl eine Qualitätsstufe als auch eine Serving-Kosten-Stufe auf den Markt gebracht hat, sind beide Lesarten plausibel. Was in diesem Moment nicht plausibel ist, ist die Veröffentlichung einer Spezifikation dafür.