Kolibri vs. MathForm-8B: Eine dieser Genauigkeitsbehauptungen kann von einem Compiler überprüft werden

Kolibri und MathForm-8B teilen eine Lizenz und sonst fast nichts. Beide sind Apache 2.0, beide sind Open-Weight, beide wurden in den letzten drei Monaten veröffentlicht – Aleph Alphas Kolibri am 3. Oktober 2026, MathForm-8B von OpenBMB am 14. August 2026 – und beide widmen einen großen Teil ihrer Modellkarten der Mathematik. Dort endet die Ähnlichkeit. Kolibri ist ein Mixture-of-Experts-Modell mit 78,1 Milliarden Parametern für Deutsch und Englisch, das 3,46 Milliarden Parameter pro Token aktiviert und für den Einsatz in einem regulierten Dokumenten-Workflow gedacht ist. MathForm-8B ist ein dichtes Modell mit 8 Milliarden Parametern, das aus Qwen3-8B feinabgestimmt wurde und eine einzige Aufgabe hat: ein in gewöhnlichem Englisch geschriebenes Mathematikproblem zu nehmen und dafür eine formal korrekte Aussage in Lean 4 auszugeben. Der Unterschied, der für alle zählt, die eines der beiden bewerten, ist nicht die Parameteranzahl. Er besteht darin, dass die Genauigkeitsaussage von MathForm-8B ausführbar ist. Man kann seine Ausgabe mit einem Compiler überprüfen. Die von Kolibri lässt sich durch nichts anderes als einen weiteren Benchmark-Lauf überprüfen.

Diese Asymmetrie ist der ganze Artikel, und sie lässt sich weit über diese beiden Modelle hinaus verallgemeinern. Eine Benchmark-Tabelle eines Anbieters ist eine Behauptung. Ein Beweisassistent, der eine Formalisierung akzeptiert, ist ein Ergebnis. Wenn der gesamte Ausgaberaum eines Modells etwas ist, das eine Maschine verifizieren kann, verschwindet die Marketingebene – entweder akzeptiert der Lean-Compiler die Aussage oder nicht, und keine wie auch immer geartete Launch-Post-Formulierung ändert daran etwas.

Was MathForm-8B tatsächlich erzeugt

Autoformalisierung ist eine eng gefasste, unglamouröse und wirklich schwierige Aufgabe, und die Modellkarte ist erfrischend konkret, was das Setup angeht.

• Eingabe und Ausgabe — ein mathematisches Statement in natürlicher Sprache hinein, eine Lean-4-Formalisierung heraus, komplett mit einem Theorem-Header.

• Basismodell — Qwen/Qwen3-8B, feinabgestimmt; Apache 2.0 wie beim Rest von OpenBMBs Veröffentlichung.

• Training — überwachtes Feintuning, gefolgt von Reinforcement Learning auf dem FormalVerse-Datensatz, wobei Lean-Kompilierung und Feedback zur semantischen Konsistenz das Verstärkungssignal antreiben.

• Datenpipeline — Mathlib-Wissensabruf, Kompilierung und semantische Verifizierung, iterative Verfeinerung, dann Trajektorienrekonstruktion. Das Pipeline-Diagramm auf der Modellkarte ist das Informativste in der Veröffentlichung.

• Bewertung — Pass@8-Bestehensraten unter zwei separaten Prüfungen, Syntax Check und Consistency Check, über sechs Benchmarks hinweg, angegeben als gleich gewichteter Makrodurchschnitt in einer Abbildung auf der Karte statt als Tabelle, die wir Zeile für Zeile zitieren können.

• Toolchain — ein laufender Kimina Lean Server für die Kompilierungsprüfungen, Lean 4.21.0 für die Experimente und eine maximale Sequenz von 16.384 Tokens mit Temperatur 0,6 und Top-p 0,95.

• Bereitstellung — vLLM oder SGLang bei einem 16.384-Token-Kontext, über eine OpenAI-kompatible Chat-Schnittstelle zugänglich. Dieses letzte Detail ist wichtiger, als es aussieht, denn es bedeutet, dass sich das Modell als gewöhnlicher Endpunkt in eine bestehende Pipeline einfügt.

Beachten Sie die beiden separaten Prüfungen. Bei der Syntaxprüfung geht es darum, ob die Lean-Aussage überhaupt geparst und typgeprüft werden kann. Bei der Konsistenzprüfung geht es darum, ob die formale Aussage dasselbe bedeutet wie das natürlichsprachliche Problem – eine weitaus schwierigere Eigenschaft, denn eine syntaktisch gültige Lean-Aussage, die den falschen Satz formalisiert, ist schlimmer als ein Compilerfehler. OpenBMB gibt beides an, was genau die richtige Vorgehensweise ist und der Grund dafür, dass diese Aufgabe eine Verifikationsgeschichte hat, die dem allgemeinen Schlussfolgern fehlt.

Was Kolibri mit Mathematik macht und warum es eine andere Art von Zahl ist

Kolibri ist im Benchmark-Sinne gut in Mathematik. In Aleph Alphas eigenem Post-Training-Harness erreicht es bei hohem Reasoning-Aufwand 96,9 auf AIME 2025 in Englisch und 87,5 in Deutsch, 96,0 und 90,0 auf AIME 2026 sowie einen englischen Durchschnitt von 96,5 über seine Mathematik-Suite gegenüber 88,8 in Deutsch. Zum Kontext in derselben Tabelle liegt Kolibris 96,9 auf AIME 2025 Englisch über Nemotron 3 Super 120B-A12B mit 91,7 und Qwen3.6 35B-A3B mit 84,6 und knapp unter Qwen3.8 27B mit 97,9.

Jede dieser Zahlen ist vom Anbieter gemeldet, auf einer Anbieter-Testumgebung, ohne unabhängige Reproduktion, und es gibt keine Artificial-Analysis-Seite für Kolibri, mit der man abgleichen könnte. Das ist keine Kritik an den Zahlen; es ist eine Aussage darüber, um welche Art von Objekt es sich handelt. Eine AIME-Punktzahl ist ein Prozentsatz richtiger Endantworten in einer Multiple-Choice-Prüfung. Sie sagt Ihnen, dass das Modell eine ganze Zahl erreichen kann. Sie sagt Ihnen nichts darüber aus, ob die Argumentation, die zu der richtigen Antwort geführt hat, stichhaltig war, und es bleibt kein Artefakt zurück, das eine dritte Partei überprüfen kann.

Neben die Ausgabe von MathForm-8B gestellt, ist dieser Unterschied eklatant. Eine Kolibri-Antwort auf ein AIME-Problem ist eine Zahl. Eine MathForm-8B-Ausgabe ist eine Lean-4-Theorem-Aussage, die entweder gegen Mathlib kompiliert oder nicht. Wenn Sie ein System bauen, in dem eine mathematische Behauptung belastbar sein muss – eine Pipeline zur formalen Verifikation, ein Proof-Assistant-Workflow, ein Audit-Trail –, ist das zweite Artefakt erheblich mehr wert als das erste, und keine Benchmark-Zeile drückt das aus.

Wo die beiden tatsächlich aufeinandertreffen würden

Als Kampf dargestellt, ist diese Gegenüberstellung uninteressant: Ein 8B-Spezialist schlägt einen 78B-Generalisten beim Formalisieren von Mathematik und verliert bei allem anderen, darunter deutsche Verwaltungsprosa, Dokumenten-Reasoning mit langem Kontext und Tool-Calling über eine hundertstufige Agenten-Trajektorie. Aber die beiden sind kein Ersatz füreinander, und die nützliche Frage ist, wie eine Pipeline aussieht, die aus beiden gebaut wird.

Die natürliche Komposition ist eine Routing-Komposition. Ein Generalist mit starkem Reasoning und Tool-Calling übernimmt die Ingestion, die Disambiguierung und den Abruf; ein Spezialist wird für die zwei Prozent der Fälle herangezogen, die ein formales Artefakt benötigen. Das manuell zu erledigen bedeutet zwei Anbieter, zwei Verträge, zwei SDKs, zwei Sätze von Zugangsdaten und eine Dispatch-Schicht, die jemand pflegt. Es ist der Fall, in dem ein einzelner Endpunkt sich bezahlt macht: ein OpenAI-kompatibler Schlüssel, eine Routing-Regel, die die mathematikförmigen Anfragen an den Formalisierer-Endpunkt sendet und alles andere an den Generalisten, und Failover, wenn einer der beiden langsam ist. Das ist die Aufgabe der Routing-DSL — mehrere Modelle in einem Aufruf zu komponieren, statt eine Auswahl zur Entwicklungszeit fest zu verdrahten — und wo ein Panel von Modellen, die zusammen antworten, nützlich ist, deckt die Modellfusion das ab. Weder Kolibri noch MathForm-8B ist auf OrcaRouter heute; wir haben den Katalog für beide unter jeder Anbieter- und Modellschreibweise durchsucht, und keines von beiden ist dort. Beim Kompositionsargument geht es um die Form des Problems, nicht um diese beiden spezifischen Endpunkte.

Was im Katalog steht, ist die generalistische Hälfte dieses Musters zu einem Preis, den man messen kann. Qwen3.8-27B ist mit 0,33 $ pro Million Input-Tokens und 2,40 $ für Output bei einem 262.144-Token-Fenster gelistet, Qwen3.8-Max mit 2,00 $ und 6,00 $ bei einem 1M-Token-Fenster. Für ein Team, das untersucht, ob es überhaupt sinnvoll ist, einen Formalisierungsschritt zu einer Dokumentenpipeline hinzuzufügen, besteht das kostengünstige Experiment darin, die generalistische Arbeit dorthin zu leiten, das Volumen der Anfragen zu messen, die tatsächlich ein Lean-Artefakt benötigen, und erst dann zu entscheiden, ob es sich lohnt, einen spezialisierten Endpunkt mit 16.384 Tokens bereitzustellen. Der Listenpreis des Anbieters wird ohne Aufschlag pro Token durchgereicht, sodass sich die Zahlen an dem Tag ändern, an dem ein Anbieter sie ändert.

Die Lizenz ist die einzige Zeile, in der sie identisch sind

Beide stehen unter Apache 2.0, und in einer Kategorie, in der maßgeschneiderte Forschungslizenzen und Zusatzklauseln zur akzeptablen Nutzung üblich sind, ist das ein echter Punkt der Gleichwertigkeit, den es zu benennen lohnt – er bedeutet, dass keines der beiden Modelle eine rechtliche Prüfung erfordert, bevor es kommerziell genutzt, verändert oder weiterverbreitet werden kann.

An anderer Stelle weichen die Verpflichtungen voneinander ab. Kolibri bringt einen Gewichts-Footprint von rund 78 GB mit sowie eine Hardware-Mindestanforderung von zwei A100-Karten mit 80 GB, zwei H100 SXM5, einer H200, einer B200 oder einer B300, dazu das aleph-alpha-inference-Paket und das vLLM-Plugin des Anbieters. MathForm-8B in bfloat16 umfasst ungefähr 16 GB Gewichte und läuft auf einem einzelnen modernen Beschleuniger mit einem 16.384-Token-Kontext; seine Abhängigkeiten sind eine Lean-Toolchain und, für die Evaluierungs-Pipeline, ein laufender Kimina Lean Server. Eine dieser Bereitstellungen passt in eine Workstation. Die andere nicht.

Die Kontextzahlen schlagen in die andere Richtung aus – und das mit großem Abstand. Kolibris natives Fenster umfasst 262.144 Token, validiert bis 1.048.576, und genau das macht es zu einem Dokumentmodell: Eine vollständige deutsche regulatorische Einreichung oder ein Wartungshandbuch für die Luft- und Raumfahrt passt in einen einzigen Aufruf. MathForm-8B ist konstruktionsbedingt auf 16.384 Token begrenzt, denn eine Formalisierungsanfrage ist eine einzelne Problemstellung, und es gibt keinen Grund, warum sie länger sein sollte. Keine der beiden Zahlen ist ein Mangel. Sie beschreiben schlicht unterschiedliche Aufgaben.

Auswählen und die Verifizierungsfrage darunter

• Wählen Sie MathForm-8B, wenn Ihre Ausgabe überprüfbar sein muss. Wenn ein nachgelagertes System Lean 4 konsumiert oder wenn der eigentliche Sinn darin besteht, dass ein Beweisassistent das Ergebnis absegnet, kann kein Generalist es ersetzen, und die Pass@8-Zahlen unter Syntax Check und Consistency Check sind diejenigen, die zu hinterfragen sind – nicht irgendeine AIME-Zeile.

• Wählen Sie Kolibri, wenn Sie ein Modell brauchen, das deutsche und englische Dokumente bei langem Kontext liest, über sie hinweg Schlussfolgerungen zieht, Tools aufruft, auf eine Antwort verzichtet, wenn der Kontext sie nicht hergibt, und innerhalb Ihres eigenen Perimeters unter einer Lizenz betrieben werden kann, die Sie in einer Zeile angeben können. Mathematik ist eine Fähigkeit, die es hat, nicht ein Produkt, das es ist.

• Berücksichtigen Sie beide, wenn Sie eine Formalisierungspipeline aufbauen. Nicht als Alternativen, sondern als zwei Endpunkte hinter einer Routing-Regel, wobei der Spezialist für den schmalen Ausschnitt von Anfragen hinzugezogen wird, die ihn benötigen.

Und wenn Sie eines der beiden anhand einer Benchmark-Zahl bewerten, wenden Sie zuerst einen Test an: Fragen Sie, welches Artefakt die Zahl hinterlässt. Für MathForm-8B gibt es eine Lean-Datei und einen Compiler, der sie entweder akzeptiert oder nicht, und beides können Sie heute Nachmittag selbst ausführen. Für Kolibri gibt es einen Prozentsatz in einer Launch-Tabelle, vom Anbieter angegeben, nicht reproduziert, ohne unabhängige Indexseite, gegen die man ihn prüfen könnte — und die einzige Möglichkeit, ihn zu widerlegen, besteht darin, 78 GB an Gewichten herunterzuladen, die Hardware zu mieten und den Test-Harness erneut auszuführen. Diese Asymmetrie ist mehr wert als die Punktzahl selbst, wenn Sie entscheiden, was Sie in Produktion einsetzen.