Beam 1.0 vs. MathForm 8B: Die Fehler eines Modells werden von einem Compiler erkannt

Bitten Sie MathForm 8B, ein Theorem zu formalisieren, und die Antwort ist entweder eine Lean-4-Anweisung, die kompiliert, oder eine, die nicht kompiliert. Bitten Sie Beam 1.0, einen Bug zu beheben, und die Antwort ist ein Diff, der läuft, oder einer, der nicht läuft, und der Abstand zwischen diesen beiden Dingen ist der gesamte Unterschied zwischen diesen Modellen. MathForm 8B ist OpenBMBs Autoformalisierungsmodell mit 8,19 Milliarden Parametern, gebaut auf Alibabas Qwen3-8B und trainiert auf FormalVerse, einem Korpus von ungefähr 367.000 verifizierten Lean-4-Beispielen, durch überwachtes Feintuning, gefolgt von Reinforcement Learning anhand von Feedback aus Lean-Kompilierung und semantischer Konsistenz; es wurde am 14. August 2026 unter Apache 2.0 veröffentlicht. Beam 1.0 ist das Sparse-Mixture-of-Experts-Modell von Reflection mit 501,3 Milliarden Parametern und 23,4 Milliarden aktiven Parametern pro Token, angekündigt am 5. Oktober 2026 und am 16. Oktober 2026 als herunterladbare Gewichte ausgeliefert, ebenfalls unter Apache 2.0. Das Größenverhältnis beträgt 61 zu eins, und es ist die am wenigsten interessante Zahl auf der Seite.

Das Interessante daran ist, dass MathForm 8B Ausgaben erzeugt, die eine Maschine beurteilen kann, ohne irgendjemandem vertrauen zu müssen, während Beam 1.0 das nicht tut. Alles Folgende ergibt sich daraus.

Was jedes Modell produzieren soll

MathForm 8B hat einen einzigen Ausgabe-Vertrag. Es nimmt eine mathematische Aussage in gewöhnlicher Prosa entgegen und gibt eine Lean-4-Aussage zurück – einen Header, ein benanntes Theorem, die Hypothesen und das Ziel. Die Trainingspipeline ist um diese Form herum aufgebaut: Mathlib-Wissensabruf, um die Aussage in vorhandenen Definitionen zu verankern, Kompilierung und semantische Verifikation, um schlechte Kandidaten zu verwerfen, iterative Verfeinerung, um sie zu reparieren, und anschließend Trajektorien-Rekonstruktion, um die überlebenden Beispiele in Trainingsdaten zu verwandeln. Die Arbeit berichtet für das Modell von durchschnittlich 88,06 % Pass@8 unter Syntaxprüfung und 72,37 % unter Konsistenzprüfung über sechs Benchmarks hinweg. Das sind OpenBMBs Zahlen, von niemandem sonst reproduziert und gewichtet zugunsten der leichteren Sets in der Evaluation – aber es sind Zahlen zu einer Aufgabe, die eine richtige Antwort hat.

Beam 1.0 hat keinen solchen Vertrag. Es ist ein allgemeines Modell: Seine Modellkarte beschreibt das Chat-Template, das Harmony-artige Wire-Format mit Analyse- und finalen Kanälen, sechs Stufen des Reasoning-Aufwands, zugeordnet zu Token-Budgets von 8, 32, 64, 128, 256 und 512, und eine Tool-Aufrufkonvention, bei der Funktionen als flaches TypeScript deklariert und in XML-Bodies aufgerufen werden. Seine Evaluierung umfasst agentisches Coding (SWE-bench Verified 81,6 % auf BF16, Terminal Bench v2.1 80,1, SWE Bench Pro v1 66,1, DeepSWE v1.1 43,3), Reasoning (GPQA Diamond 90,6, AIME 2026 97,7, LiveCodeBench 88,3), Tool-Nutzung (MCP Atlas 80,8) und allgemeine Fähigkeiten (LongBench v2 67,5, IFBench 79,6). Jede Zahl stammt von Reflection selbst. Ob der Code, den es schreibt, *korrekt* ist, wird dadurch festgestellt, dass man ihn ausführt, überprüft oder ausliefert und es herausfindet.

Also: Die Fehler des einen Modells kündigen sich von selbst an. Die des anderen sind gewöhnliche Softwarefehler, die später auftreten – im Review oder in der Produktion – und aussehen wie jeder andere Bug, den man je hatte.

Die Benchmarks überschneiden sich nicht, und das ist das Ergebnis

Stellen Sie die beiden Evaluierungssets nebeneinander, und es gibt fast nichts abzuziehen.

• Worauf Beam 1.0 bewertet wird – Issue-Lösung auf Repository-Ebene, Terminal-Aufgaben, kompetitives Programmieren, wissenschaftliche Fragen auf Graduierten-Niveau, Tool-Orchestrierung, Long-Context-Recall und Instruktionsbefolgung.

• Woran MathForm 8B gemessen wird — Pass@8-Formalisierungsgenauigkeit unter einem Syntaxprüfer und unter einem Prüfer für semantische Konsistenz, über sechs mathematische Benchmarks hinweg, gegen die spezialisierten 7B-bis-32B-Baselines des Papers.

• Die Überschneidung – praktisch null. Es gibt keine Zeile, in der beide Modelle von derselben Partei bei derselben Aufgabe gemessen wurden, und das wird es auch nicht geben, weil das eine an der allgemeinen Leistungsfähigkeit und das andere an einer einzelnen verifizierbaren Transformation gemessen wird.

• Die eine gemeinsame Dimension, die konzeptionell tatsächlich existiert – das Reasoning –, wird an unterschiedlichen Populationen gemessen. Beam 1.0s 90,6 auf GPQA Diamond ist ein Multiple-Choice-Score für Naturwissenschaften. Die Konsistenzrate von MathForm 8B von 72,37 % ist eine Formalisierungsprüfung. Keines von beiden sagt das andere voraus.

Deshalb wäre ein Größenvergleich hier irreführend statt bloß unvorteilhaft. Beam 1.0 ist einundsechzig Mal so groß wie das Modell, und es kann die Aufgabe von MathForm 8B überhaupt nicht erledigen, ohne darauf trainiert zu werden – der Ausgabekontrakt ist so eng gefasst, dass allgemeine Fähigkeiten kein Ersatz dafür sind. Ein 501B-Generalist, der darum gebeten wird, ein benanntes Lean-Theorem mit korrektem Header zu erzeugen, wird etwas erstellen, das plausibel aussieht und häufig falsch ist, was für einen Beweisassistenten den denkbar schlechtesten Fehlermodus darstellt.

Was Sie benötigen, um eines von beiden auszuführen

MathForm 8B erbt die Lizenz von Qwen3-8B, die der Hub als Apache 2.0 verzeichnet, und das ist der praktische Fall dafür: 8,19 Milliarden dichte Parameter, ein rein englisches Modell, eine Verengung des Generierungsbudgets auf Lean-Ausgabe statt allgemeines Reasoning und ein Download statt eines Clusters. Sein Basismodell, Qwen3-8B, ist das, was ein Leser andernfalls selbst hosten würde – ein allgemeines 8B-Modell mit nativem 32K-Kontext, erweiterbar auf 131K, und Abdeckung von 119 Sprachen. MathForm 8B gibt fast all das für eine einzige Fähigkeit auf.

Beam 1.0 braucht einen Ort, an dem es leben kann. Die Modellkarte nennt 52 Schichten, 256 Experten, von denen acht pro Token geroutet werden, ein Vokabular von 152.000 Token, einen Wissens-Cutoff vom 30. Juni 2026 und ein Kontextfenster von 1.000.000 Token. Es kommt in drei Gewichtungen — BF16 mit 501,3B, FP8 mit 501,3B, NVFP4 mit 255B — dazu ein 2B-DFlash2-Drafter für spekulative Dekodierung. Es gibt keine Serving-Empfehlung auf der Karte und keinen veröffentlichten API-Preis irgendwo auf den Webseiten von Reflection; die Seite von Artificial Analysis zu dem Modell führt die Preisfelder als nicht verfügbar und merkt an, dass keine öffentlich verfügbare API existiert. Der 4-Bit-Build ist das, was daraus einen plausiblen Kauf statt eines hypothetischen macht, und es bleibt eine GPU-Frage.

OrcaRouter routet keines der beiden Modelle, und diese Seite legt nichts anderes nahe. Was wir routen, ist die bediente Stufe, außerhalb derer diese beiden liegen: mehr als 200 Modelle hinter einem einzigen OpenAI-kompatiblen Schlüssel zum Listenpreis des Anbieters mit 0 % Aufschlag, sodass eine Preissenkung eines Anbieters Ihre Rechnung am Tag ihrer Ankündigung erreicht. Für ein Team, dessen eigentlicher Bedarf ein Modell ist, das heute antwortet, statt eines Checkpoints, der morgen kompiliert wird, ist das die Zeile, die dieser Vergleich nicht liefern kann.

Der Unterschied bei der Überprüfbarkeit, einfach ausgedrückt

Hier ist die Asymmetrie als operative Tatsache formuliert und nicht als Benchmark.

Eine Ausgabe von MathForm 8B gelangt in eine Pipeline, die über ein Gate verfügt. Der Lean-Compiler akzeptiert die Aussage entweder oder verwirft sie. Die semantische Konsistenzprüfung besteht entweder oder schlägt fehl. Eine fehlerhafte Ausgabe kann automatisch verworfen werden, und das Modell kann in einer Agentenschleife belassen werden, die so lange wiederholt, bis etwas verifiziert wird – genau das, wozu die RL-Phase es trainiert hat. Die Kosten einer falschen Antwort sind ein abgelehntes Sample, kein ausgelieferter Defekt. Das ist eine wirklich seltene Eigenschaft im aktuellen Open-Weights-Feld, und deshalb kann ein spezialisiertes 8B-Modell in einer Pipeline, die nach Art der formalen Mathematik geformt ist, nützlicher sein als ein allgemeines, das hundertmal so groß ist.

Die Ausgaben von Beam 1.0 haben keine solche Sperre. Die Bewertungstabelle kann Ihnen sagen, wie oft es ein GitHub-Issue auf SWE-bench gelöst hat, aber sie kann Ihnen nicht sagen, ob der Patch, den es für Ihr Repository schreibt, korrekt ist, denn das ist eine Frage Ihrer Tests. Die Modellkarte ist ungewöhnlich spezifisch bezüglich des Wire-Formats und ungewöhnlich schweigsam bezüglich der Genauigkeitsfrage, und das beschreibt treffend, wo das Feld steht: Die Tooling-Landschaft rund um agentische Coding-Modelle ist gut darin, Code auszuführen, und schlecht darin, ihn zu zertifizieren.

Wenn Ihre Domäne einen Prüfer hat – ein Typsystem, einen Beweisassistenten, ein Schema, einen Simulator –, ist ein Spezialist, der auf diesen Prüfer ausgerichtet ist, oft der Download mit der größeren Hebelwirkung. Wenn nicht, kaufen Sie Leistungsfähigkeit und bezahlen die Bewertung selbst, und das größere allgemeine Modell ist dasjenige, das Ihnen mehr davon bietet.

Zwischen ihnen wählen

Wählen Sie MathForm 8B, wenn es um Formalisierung und nichts anderes geht — darum, einen Korpus mathematischer Prosa in Lean 4 zu verwandeln, das ein Beweisassistent akzeptiert, in einem Umfang, in dem ein Mensch nicht jedes einzelne überprüfen kann. Der Umfang von 8,19 Milliarden Parametern, die Apache-2.0-Bedingungen und die eng gefasste Ausgabeform sind dort allesamt von Vorteil. Wählen Sie es für nichts anderes: Es chattet nicht, es schreibt keine Prosa, die es wert wäre, ausgeliefert zu werden, es beherrscht nicht 119 Sprachen so, wie es sein Basismodell tut, und es hat keine dokumentierte Fähigkeit außerhalb der einen Transformation, für die es trainiert wurde.

Wähle Beam 1.0, wenn die Arbeit die allgemeine agentische Art ist — Probleme in großen Repositories lösen, Tools steuern, lange mehrstufige Pläne ausführen — und wenn Sie die Hardware oder einen Serving-Partner für ein 501B-MoE haben. Der 1M-Token-Kontext, die veröffentlichte Evaluierungstabelle und der 4-Bit-Checkpoint sind alle auf diese Arbeitslast ausgerichtet. Planen Sie die Reasoning-Tokens ein: Die Vorlage hat keinen Ausschalter, der Standard im Serving ist die maximale Aufwandsstufe, und das Entfernen von Reasoning aus vorherigen Turns führt laut Dokumentation zu schlechteren Ausgaben.

Nimm beides, wenn du die Pipeline baust, um die es in diesem Artikel wirklich geht. Das Muster, das Sinn ergibt, ist ein allgemeines Modell, das die mehrdeutige Arbeit erledigt, und ein überprüfbarer Spezialist, der den Teil mit einem Gate übernimmt — und die beiden Rollen scheitern auf unterschiedliche Weise, was der einzige Grund dafür ist, dass es sich lohnt, beide zu besitzen.

Inwiefern dieser Vergleich in drei Monaten anders aussehen wird

Zwei Zeilen fehlen, und beide lassen sich datieren. Bei der ersten handelt es sich um eine unabhängige Evaluierung der Gewichte von Beam 1.0, die am 16. Oktober 2026 möglich wurde und noch nicht stattgefunden hat; jede Zahl, die diese Seite Reflection zuschreibt, hat weiterhin nur eine einzige Quelle. Bei der zweiten handelt es sich um den Preis von Beam. Ein Modell mit einer Evaluierungstabelle mit 501 Milliarden Parametern und ohne nutzungsabhängigen Tarif ist ein Modell, für das die meisten Teams kein Budget aufstellen können, und solange Reflection oder ein Serving-Partner keinen veröffentlicht, ist der ehrliche Kostenvergleich zwischen diesen beiden ein Download gegen eine Miete, für die noch kein Preis genannt wurde.

Die Lücke von MathForm 8B ist anders und wird sich nicht durch Warten schließen. Die gemeldeten Werte von 88,06 % Syntaxprüfung und 72,37 % Konsistenz sind die Zahlen eines Anbieters bei einer Aufgabe mit einem Verifizierer, und die Verifikation ist das Produkt – jeder, der das Modell und eine Lean-Installation hat, kann sie selbst messen, was sich von den meisten Zahlen auf dieser Seite nicht behaupten lässt. Das ist es, was ein eng gefasster Vertrag einem bietet.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agent-Vorfälle, die hinter Releases wie diesem stehen, finden sich im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und sein Umstritten-Flag führt.