Ember-1 vs. MathForm-8B: Zwei Modelle, gebaut durch die Verengung einer geliehenen Basis

Ember-1 und MathForm-8B verfolgen dieselbe Strategie, die jedoch kein Labor als solche bewirbt: Beide sind Verengungen eines Modells, das jemand anderes trainiert hat. Ember-1 ist das spezialisierte Derivat von Fireworks Research, das auf Kimi K3 von Moonshot AI basiert, veröffentlicht am 23. September 2026, neu trainiert, sodass es die Genauigkeit von K3 mit etwa 40 % weniger Tokens erreicht. MathForm-8B ist das 8B-Autoformalisierungsmodell von OpenBMB, das am 14. August 2026 in aller Stille als Apache-2.0-Fine-Tuning des Qwen3-8B von Alibaba veröffentlicht wurde und informelle Mathematik in Lean-4-Theoremsätze umwandelt, die ein Compiler prüfen kann. Die eine Verengung beseitigte verschwendete Überlegungen und ließ die allgemeine Leistungsfähigkeit intakt. Die andere entfernte fast die gesamte allgemeine Leistungsfähigkeit und erkaufte stattdessen Verifizierbarkeit. Sie zusammenzubringen ist der klarste Weg zu sehen, was eine Spezialisierung tatsächlich kostet, weil die beiden Modelle ihre Trainingsbudgets auf den gegenüberliegenden Seiten dieses Hauptbuchs ausgegeben haben.

Zwei Arten der Verengung

Die Intervention von Fireworks Research ist verhaltensbasiert. Ember-1 behält die Architektur von Kimi K3 und deren Breite bei – Mathematik, Coding, Anweisungsbefolgung, Konversation, Suche, Werkzeugnutzung und Softwareentwicklung sind alle im Trainingsmix vertreten – und ändert nur, wie lange das Modell vor der Antwort nachdenkt. Das berichtete Ergebnis: Die Reasoning-Länge sank um 35–50 % ohne Genauigkeitsverlust über sieben Benchmarks und zwei A/B-Tests im Kunden-Produktivbetrieb, wobei eine Coding-Workload im Produktivbetrieb von 49,3K auf 29,9K Ausgabe-Tokens zurückging, während ihr Score bei 0,753 gegenüber 0,751 blieb. Sämtliche Zahlen stammen vom Anbieter und wurden nicht reproduziert.

OpenBMBs Intervention ist vertraglich. MathForm-8B nimmt Qwen3-8B und richtet das gesamte Trainingsbudget auf eine einzige Ausgabeform aus: ein Lean-4-Statement mit einem Imports-Header und einem benannten Theorem. Die Pipeline besteht aus überwachtem Fine-Tuning auf FormalVerse – einem Korpus von rund 367.000 verifizierten Lean-4-Beispielen, den OpenBMB erstellt und zusammen mit dem Modell veröffentlicht hat –, gefolgt von Reinforcement Learning, das Lean-Kompilierung und Feedback zur semantischen Konsistenz als Belohnungssignal nutzt. Das Modell löst keine Beweise. Es schreibt das Statement, das ein Prover abschließen wird, und die eigene Rahmung des Papers beschreibt die Evaluierung anhand von sechs Benchmarks als den eigentlichen Zweck der Übung.

Was jeder Einzelne aufgab

Ember-1 hat auf dem Papier nur sehr wenig eingebüßt, und genau das ist die Behauptung. Sein veröffentlichtes Datenblatt zeigt einen Sieg bei Terminal Bench 2.1 mit 82,0 % gegenüber 80,9 % von Kimi K3 Max und bei DeepSWE 1.1 mit 75,2 % gegenüber 66,4 % sowie knappe Niederlagen bei SWE-bench Verified mit 92,2 % gegenüber 93,2 % und bei SWE-Interact mit 20,0 % gegenüber 21,3 %. Das sind Herstellerzahlen auf vom Hersteller ausgewählten Sets, aber das Muster ist konsistent: ein Modell, das nicht so sehr an Fähigkeit verloren hat, als vielmehr umgelenkt hat, wo es Aufwand investiert. Die Token-Einsparungen reichen allerdings von 51,9 % bei Terminal Bench bis hinunter zu 5,9 % bei τ-2 Bench Airline, sodass „etwa 40 %“ ein Durchschnitt über eine sehr breite Spanne ist.

MathForm-8B hat das meiste aufgegeben, wofür Qwen3-8B bekannt ist. Es führt keine allgemeinen Gespräche, deckt nicht die 119 Sprachen und Dialekte ab, auf denen Qwen3-8B trainiert wurde, und akzeptiert weder Bilder noch Audio. Sein Generierungsbudget ist auf Lean-Ausgabe ausgelegt, nicht auf erweitertes gemischtes Reasoning. Was es behalten hat, ist eine permissive Lizenz und ein geringer Platzbedarf: vier Safetensors-Shards in BF16, die unter Transformers, vLLM oder SGLang hinter einem OpenAI-kompatiblen Endpunkt laufen, mit einem Kompilierungspfad, der einen Kimina Lean Server auf Lean 4.21.0 voraussetzt.

Die Zahlen messen unterschiedliche Dinge, und die Lücke ist der springende Punkt.

Die zentrale Kennzahl von Ember-1 ist ein Prozentsatz der von einem Agenten korrekt abgeschlossenen Aufgaben – Terminal Bench 2.1, 89 Stichproben, 82,0 %. Die zentralen Kennzahlen von MathForm-8B sind durchschnittliche Pass@8-Werte über sechs Autoformalisierungs-Benchmarks: 88,06 % bei einer Syntaxprüfung und 72,37 % bei einer strengeren Konsistenzprüfung. Diese liegen nicht auf derselben Achse. Die eine misst, ob ein Agent eine Aufgabe in einem Terminal abgeschlossen hat; die andere misst, ob eine generierte Theoremaussage geparst werden kann und ob sie dasselbe bedeutet wie das informelle Problem, aus dem sie stammt.

Die Spanne von 88,06 gegenüber 72,37 innerhalb von MathForms eigenen Ergebnissen ist die aufschlussreichere Zahl. Die Lücke zwischen „das kompiliert“ und „das kompiliert und sagt, was ich gemeint habe“ beträgt ungefähr sechzehn Punkte, und sie ist der Fehlermodus, der Autoformalisierung schwierig macht: Eine Aussage, die den Typtest besteht und dabei stillschweigend die ursprüngliche Behauptung abschwächt, ist schlimmer als ein offensichtlicher Fehler, weil nichts nachgelagert sie kennzeichnet. Bei den schwierigsten Sets fällt die Konsistenzprüfung auf 63 % bei FATE-H und 37 % bei FATE-X, während einfache Sets wie FormalIMATH bei 95,06 % und ProverBench bei 94,83 % liegen. Das ist ein Spezialist, der ehrlich benennt, wo ein Spezialist schwach ist, und das ist nützlicher als ein einzelner Durchschnitt.

Der Kontrast, Dimension für Dimension

• Basismodell — Ember-1: Kimi K3. MathForm-8B: Qwen3-8B.

• Was das Training verändert hat — Ember-1: wie lange das Modell überlegt, während die Leistungsfähigkeit konstant gehalten wird. MathForm-8B: was das Modell ausgibt, während die Allgemeinheit weitgehend aufgegeben wird.

• Parameter — Ember-1: nicht offengelegt. MathForm-8B: ~8B, dicht, BF16.

• Ausgabevertrag — Ember-1: gewöhnlicher Text und Tool-Aufrufe, in K3-Qualität. MathForm-8B: eine Lean-4-Aussage mit einem Header und einem benannten Theorem.

• Lizenz und Gewichte — Ember-1: nichts veröffentlicht; Forschungsvorschau über die eigene Plattform des Anbieters. MathForm-8B: Apache 2.0, sowohl Gewichte als auch Datensatz herunterladbar.

• Gemeldete Schlagzeile — Ember-1: 82,0 % Terminal Bench 2.1 mit 51,9 % weniger Tokens. MathForm-8B: 88,06 % Pass@8 im Durchschnitt unter Syntaxprüfung, 72,37 % unter Konsistenzprüfung.

• Unabhängige Verifizierung — keine von beiden; beide sind vom Anbieter angegeben und nicht reproduziert.

Die Lizenzzeile entscheidet mehr als die Benchmarks.

So groß der numerische Unterschied auch sein mag – der praktische Unterschied zwischen diesen beiden Releases ist die Distribution. MathForm-8B ist eine Datei. OpenBMB hat die Gewichte, den FormalVerse-Datensatz und das Paper am selben Tag unter Apache 2.0 veröffentlicht, ohne Ankündigung und ohne gehostete API – die Modellkarte ist der Launch. Du kannst es heute Nachmittag herunterladen und auf einer einzigen GPU laufen lassen, und niemand kann es zurücknehmen. Ember-1 ist ein Dienst. Es gibt keine Gewichte, keinen veröffentlichten Preis, und das Zugriffsfenster wird als zweiwöchige serverlose Phase beschrieben, deren Fortsetzung von der Nachfrage abhängt. Du kannst es heute aufrufen, aber du kannst nicht sicher sein, dass du es im November noch aufrufen kannst.

Dieser Unterschied bestimmt auch, wofür jedes Modell verwendet werden kann. Eine Formalisierungskomponente gehört in eine Pipeline, die man selbst kontrolliert, an eine Version gepinnt, mit der Lean-Toolchain auf derselben Maschine — weshalb ein Apache-2.0-Checkpoint ohne Zugangsbeschränkung die richtige Form für die Aufgabe von MathForm-8B ist und weshalb der fehlende GitHub-Code-Link in seinem README (zum Zeitpunkt des Verfassens noch ein Platzhalter) eine ärgerlichere Lücke ist als jede Benchmark-Zahl. Ein Reasoning-Kostenmodell gehört hinter eine API, wo die Token-Abrechnung das ist, was optimiert wird, und wo Anbieter über Preis und Latenz konkurrieren. Auch die Form von Ember-1 passt zu der Aufgabe, für die dieses Modell gedacht ist; das bedeutet nur, dass die Abhängigkeit kommerziell statt technisch ist.

Wo eine Pipeline beides verwenden würde

Diese beiden Modelle ergänzen sich, statt zu konkurrieren, und die Zusammensetzung ist leicht zu beschreiben: Ein Spezialist für Formalisierung überführt ein Problem in eine überprüfbare Aussage, und ein Reasoning-Modell arbeitet an der Aussage oder an der umgebenden Engineering-Arbeit. Keines von beiden ist auf OrcaRouter – MathForm-8B ist ausschließlich selbst gehostet, und Ember-1 läuft in der eigenen Vorschau des Anbieters –, doch die Zusammensetzung selbst ist ein Muster, für das unsere Routing-DSL existiert. Mehrere Modelle in einen einzigen Aufruf zu kombinieren ist der Weg, auf dem eine Pipeline einen Spezialisten und einen Generalisten erhält, ohne zwei Integrationspfade und zwei Verträge pflegen zu müssen, und Modellfusion geht noch einen Schritt weiter, indem sie ein Panel von Modellen gemeinsam antworten lässt, wenn der Fehlermodus eines einzelnen teuer ist.

Gerade bei einem Formalisierungs-Stack ist das Argument für Komposition stärker als üblich. Der sichtbare Fehlermodus ist eine Aussage, die kompiliert und etwas leicht anderes bedeutet, und die billigste Verteidigung gegen einen stillen Fehler ist ein zweites Modell, das dasselbe Problem liest – was eine Routing-Entscheidung ist, keine Trainingsentscheidung.

Welches ist der bessere Kauf?

Wenn Sie maschinell überprüfbare Mathematik benötigen, ist MathForm-8B das einzige der beiden, das überhaupt solche Ergebnisse liefert, und sein Hauptkostenpunkt ist die Allgemeinheit, die Sie für diese Aufgabe ohnehin nicht nutzen wollten. Laden Sie es herunter, planen Sie den Lean-Server im Budget ein und erstellen Sie Ihre eigene Evaluierung – das Paper von OpenBMB wird Ihnen nicht sagen, wie es auf Ihrer Verteilung abschneidet.

Wenn Sie einen allgemeinen Reasoner mit kleinerer Token-Rechnung brauchen, richtet sich Ember-1 an Sie, und der richtige nächste Schritt ist Shadow-Traffic gegen das, was Sie heute betreiben, statt eines Benchmark-Vergleichs. Sein Risiko ist die Verfügbarkeit, nicht die Fähigkeit, und dieses Risiko können Sie absichern, indem Sie die Routing-Schicht zwischen Ihrer Anwendung und dem Modell beibehalten.

Die unbequeme Schlussfolgerung für alle, die hoffen, dass eines davon die Frage klärt, lautet, dass keines von beiden unabhängig bewertet wurde. MathForm-8B ist seit sechs Wochen öffentlich, und keine dritte Partei hat eine Reproduktion veröffentlicht; Ember-1 ist seit einem Tag öffentlich. Beide verlangen von Ihnen, dass Sie selbst bewerten – was die normale Situation beim Auswählen eines spezialisierten Modells im Jahr 2026 ist.

Was sie beweisen, ist, dass die Verengungsstrategie in beide Richtungen funktioniert. Ein Frontier-Modell kann günstiger gemacht werden, ohne schlechter zu werden, und ein kleines Basismodell kann rigoros gemacht werden, indem man sein Training auf einen Compiler ausrichtet. Die interessante Frage ist nicht, welcher dieser beiden Ansätze gewinnt, sondern wie viel länger jeder von ihnen noch notwendig bleibt, sobald die Techniken in ihnen zur gängigen Praxis werden.