
Kolibri vs. MathForm-8B: Eine dieser Genauigkeitsaussagen lässt sich von einem Compiler überprüfen
- OrcaNEUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 pro 1 Mio. Tokens · 187 tok/s
- openaiNEUOpenAI: GPT-6.2 Astra2026-11-17$8.00 / $40.00 pro 1 Mio. Tokens · 80 tok/s
- openaiNEUOpenAI: GPT-6.2 Sol2026-11-17$2.00 / $10.00 pro 1 Mio. Tokens · 155 tok/s
- tencentNEUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 pro 1 Mio. Tokens · 196 tok/s
- AlibabaNEUQwen: Qwen4 Max2026-11-16$1.50 / $4.50 pro 1 Mio. Tokens · 85 tok/s
- GoogleNEUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 pro 1 Mio. Tokens · 705 tok/s
- AnthropicNEUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 pro 1 Mio. Tokens · 246 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 pro 1 Mio. Tokens · 97 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 pro 1 Mio. Tokens · 139 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 pro 1 Mio. Tokens · 84 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 pro 1 Mio. Tokens · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 pro 1 Mio. Tokens · 102 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 pro 1 Mio. Tokens · 69 tok/s
- openaiOpenAI: GPT-6.1 Terra2026-10-26$1.00 / $5.00 pro 1 Mio. Tokens · 35 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 pro 1 Mio. Tokens · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 pro 1 Mio. Tokens · 38 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligenz
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 pro 1 Mio. Tokens · 230 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligenz
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 pro 1 Mio. Tokens · 101 tok/s
Kolibri und MathForm-8B teilen eine Lizenz und sonst fast nichts. Beide sind Apache 2.0, beide sind Open-Weight, beide wurden in den letzten drei Monaten veröffentlicht – Aleph Alphas Kolibri am 3. Oktober 2026, OpenBMBs MathForm-8B am 14. August 2026 – und beide verwenden einen großen Teil ihrer Modellkarten auf Mathematik. Dort endet die Ähnlichkeit. Kolibri ist ein Mixture-of-Experts-Modell mit 78,1 Milliarden Parametern für Deutsch und Englisch, das pro Token 3,46 Milliarden Parameter aktiviert und in einem regulierten Dokumenten-Workflow eingesetzt werden soll. MathForm-8B ist ein dichtes Modell mit 8 Milliarden Parametern, das aus Qwen3-8B feinabgestimmt wurde und nur eine Aufgabe hat: ein in gewöhnlichem Englisch verfasstes Mathematikproblem zu nehmen und eine formal korrekte Lean-4-Aussage dafür auszugeben. Der Unterschied, der für alle relevant ist, die eines der beiden Modelle bewerten, ist nicht die Parameterzahl. Er besteht darin, dass die Genauigkeitsangabe von MathForm-8B ausführbar ist. Man kann seine Ausgabe mit einem Compiler prüfen. Die von Kolibri kann von nichts außer einem weiteren Benchmark-Lauf geprüft werden.
Diese Asymmetrie ist der Kern des gesamten Artikels, und sie lässt sich weit über diese beiden Modelle hinaus verallgemeinern. Eine Benchmark-Tabelle eines Anbieters ist eine Behauptung. Ein Beweisassistent, der eine Formalisierung akzeptiert, ist ein Ergebnis. Wenn der gesamte Ausgaberaum eines Modells etwas ist, das eine Maschine verifizieren kann, verschwindet die Marketingebene – entweder akzeptiert der Lean-Compiler die Aussage oder nicht, und daran ändert auch die noch so sorgfältige Rahmung in einem Launch-Post nichts.
Was MathForm-8B tatsächlich erzeugt
Autoformalisierung ist eine eng umrissene, wenig glamouröse und wirklich schwierige Aufgabe, und die Modellkarte ist erfrischend konkret, was das Setup betrifft.
• Eingabe und Ausgabe — ein mathematischer Satz in natürlicher Sprache hinein, eine Lean-4-Formalisierung heraus, vollständig mit Theorem-Header.
• Basismodell — Qwen/Qwen3-8B, feinabgestimmt; Apache 2.0 wie der Rest von OpenBMBs Veröffentlichung.
• Training — überwachtes Fine-Tuning, gefolgt von Reinforcement Learning auf dem FormalVerse-Datensatz, wobei Lean-Kompilierung und Feedback zur semantischen Konsistenz das Verstärkungssignal treiben.
• Datenpipeline — Abruf von Mathlib-Wissen, Kompilierung und semantische Verifikation, iterative Verfeinerung und anschließend Trajektorienrekonstruktion. Das Pipeline-Diagramm auf der Model Card ist das Informativste an der Veröffentlichung.
• Bewertung — Pass@8-Bestehensraten unter zwei separaten Prüfungen, Syntax Check und Consistency Check, über sechs Benchmarks hinweg, angegeben als gleich gewichteter Makrodurchschnitt in einer Abbildung auf der Karte statt als Tabelle, die wir Zeile für Zeile zitieren können.
• Toolchain — ein laufender Kimina Lean Server für die Kompilierungsprüfungen, Lean 4.21.0 für die Experimente und eine maximale Sequenz von 16.384 Token mit Temperatur 0,6 und Top-p 0,95.
• Bereitstellung – vLLM oder SGLang mit einem Kontext von 16.384 Token, bereitgestellt über eine OpenAI-kompatible Chat-Schnittstelle. Dieses letzte Detail ist wichtiger, als es aussieht, denn es bedeutet, dass sich das Modell als gewöhnlicher Endpunkt in eine bestehende Pipeline einfügen lässt.
Beachten Sie die zwei getrennten Prüfungen. Die Syntaxprüfung prüft, ob die Lean-Aussage überhaupt geparst wird und die Typprüfung besteht. Die Konsistenzprüfung prüft, ob die formale Aussage dasselbe bedeutet wie die natürlichsprachige Problemstellung – eine weit schwierigere Eigenschaft, denn eine syntaktisch gültige Lean-Aussage, die den falschen Satz formalisiert, ist schlimmer als ein Compilerfehler. OpenBMB meldet beides, was genau der richtige Weg ist und der Grund dafür, dass diese Aufgabe eine Verifikationsgeschichte hat, die allgemeines Schlussfolgern nicht hat.
Was Kolibri mit Mathematik macht und warum es eine andere Art von Zahl ist
Kolibri ist im Benchmark-Sinne gut in Mathematik. In Aleph Alphas eigenem Post-Training-Harness erzielt es bei Reasoning-Effort hoch 96,9 auf AIME 2025 in Englisch und 87,5 in Deutsch, 96,0 und 90,0 auf AIME 2026 sowie einen englischen Durchschnitt von 96,5 über seine Mathematik-Suite gegenüber 88,8 in Deutsch. Zum Kontext in derselben Tabelle liegt Kolibris 96,9 auf AIME 2025 Englisch über Nemotron 3 Super 120B-A12B mit 91,7 und Qwen3.6 35B-A3B mit 84,6 und knapp unter Qwen3.8 27B mit 97,9.
Jede dieser Zahlen ist vom Anbieter gemeldet, auf einer Testumgebung des Anbieters, ohne unabhängige Reproduktion, und es gibt keine Artificial Analysis-Seite für Kolibri, gegen die man sie abgleichen könnte. Das ist keine Kritik an den Zahlen; es ist eine Aussage darüber, um welche Art von Objekt es sich handelt. Ein AIME-Wert ist der Prozentsatz richtiger Endantworten in einer Multiple-Choice-Prüfung. Er sagt Ihnen, dass das Modell zu einer ganzen Zahl gelangen kann. Er sagt Ihnen nichts darüber, ob die Argumentation, die dazu geführt hat, stichhaltig war, und es bleibt kein Artefakt zurück, das eine dritte Partei prüfen könnte.
Stellt man sie neben die Ausgabe von MathForm-8B, ist dieser Unterschied eklatant. Eine Kolibri-Antwort auf ein AIME-Problem ist eine Zahl. Eine Ausgabe von MathForm-8B ist eine Lean-4-Theoremaussage, die entweder gegen Mathlib kompiliert oder nicht. Wenn Sie ein System bauen, in dem eine mathematische Aussage belastbar sein muss – eine Pipeline zur formalen Verifikation, ein Proof-Assistant-Workflow, ein Prüfpfad –, ist das zweite Artefakt deutlich mehr wert als das erste, und keine Benchmark-Zeile bringt das zum Ausdruck.

Wo die beiden tatsächlich aufeinandertreffen würden
Als Wettkampf betrachtet ist dieser Vergleich uninteressant: Ein 8B-Spezialist schlägt einen 78B-Generalisten beim Formalisieren von Mathematik und verliert in allem anderen, einschließlich deutscher Verwaltungsprosa, Dokumentenreasoning mit langem Kontext und Tool-Calling entlang einer hundertstufigen Agenten-Trajektorie. Doch die beiden sind kein Ersatz füreinander, und die nützliche Frage ist, wie eine Pipeline aussieht, die aus beiden gebaut wird.
Die natürliche Komposition ist eine Routing-Komposition. Ein Generalist mit starker Reasoning- und Tool-Calling-Fähigkeit übernimmt die Ingestion, die Disambiguierung und das Retrieval; ein Spezialist wird für die zwei Prozent der Fälle hinzugezogen, die ein formales Artefakt benötigen. Das von Hand zu machen bedeutet zwei Anbieter, zwei Verträge, zwei SDKs, zwei Sätze Zugangsdaten und eine Dispatch-Schicht, die jemand pflegt. Dies ist der Fall, in dem ein einzelner Endpunkt sich bezahlt macht: ein OpenAI-kompatibler Schlüssel, eine Routing-Regel, die die mathematikförmigen Anfragen an den Formalisierer-Endpunkt und alles andere an den Generalisten weiterleitet, sowie Failover, wenn einer von ihnen langsam ist. Das ist die Aufgabe der Routing-DSL — mehrere Modelle zu einem Aufruf zusammenzusetzen, statt eine Wahl zur Entwicklungszeit fest zu verdrahten — und wo ein Panel von Modellen, die gemeinsam antworten, nützlich ist, deckt Model Fusion das ab. Weder Kolibri noch MathForm-8B ist auf OrcaRouter heute zu finden; wir haben den Katalog für beide unter jeder Anbieter- und Modellschreibweise durchsucht, und keines ist dort zu finden. Das Kompositionsargument betrifft die Form des Problems, nicht diese beiden spezifischen Endpunkte.
Was im Katalog steht, ist die allgemeine Hälfte dieses Musters zu einem Preis, den man messen kann. Qwen3.8-27B ist mit 0,33 US-Dollar pro Million Eingabe-Token und 2,40 US-Dollar für die Ausgabe bei einem Kontextfenster von 262.144 Token gelistet, Qwen3.8-Max mit 2,00 und 6,00 US-Dollar bei einem Kontextfenster von 1 Mio. Token. Für ein Team, das erkundet, ob sich ein Formalisierungsschritt überhaupt lohnt, um ihn einer Dokumenten-Pipeline hinzuzufügen, besteht das günstige Experiment darin, die allgemeine Arbeit dorthin zu leiten, das Volumen der Anfragen zu messen, die wirklich ein Lean-Artefakt benötigen, und erst dann zu entscheiden, ob es sich lohnt, einen Spezialisten-Endpunkt mit 16.384 Token bereitzustellen. Der Listenpreis des Anbieters wird durchgereicht, ohne dass pro Token etwas aufgeschlagen wird, sodass sich die Zahlen an dem Tag ändern, an dem ein Anbieter sie ändert.

Die Lizenz ist die einzige Zeile, in der sie identisch sind.
Beide stehen unter Apache 2.0, und in einer Kategorie, in der maßgeschneiderte Forschungslizenzen und Zusatzklauseln zur zulässigen Nutzung üblich sind, ist das ein echter Paritätspunkt, der Erwähnung verdient — er bedeutet, dass keines der beiden Modelle eine rechtliche Prüfung erfordert, bevor es kommerziell genutzt, verändert oder weiterverbreitet werden kann.
Die Anforderungen unterscheiden sich an anderer Stelle. Kolibri bringt einen Gewichtsumfang von ~78 GB und eine Hardware-Mindestausstattung von zwei A100-80-GB-Karten, zwei H100 SXM5, einer H200, einer B200 oder einer B300 mit, zuzüglich des aleph-alpha-inference-Pakets und vLLM-Plugins des Anbieters. MathForm-8B in bfloat16 hat ungefähr 16 GB Gewichte und läuft auf einem einzigen modernen Beschleuniger mit einem 16.384-Token-Kontext; seine Abhängigkeiten sind eine Lean-Toolchain und für die Evaluationspipeline ein laufender Kimina Lean Server. Eine dieser Bereitstellungen passt auf eine Workstation. Die andere nicht.
Die Kontextwerte sprechen in die andere Richtung – und das mit großem Abstand. Kolibris natives Fenster umfasst 262.144 Tokens, validiert bis 1.048.576; genau das macht es zu einem Dokumentenmodell: Eine vollständige deutsche regulatorische Einreichung oder ein Wartungshandbuch für die Luft- und Raumfahrt passt in einen einzigen Aufruf. MathForm-8B ist konstruktionsbedingt auf 16.384 Tokens begrenzt, denn eine Formalisierungsanfrage ist eine einzelne Problemstellung, und es gibt keinen Grund, warum sie länger sein sollte. Keine der beiden Zahlen ist ein Mangel. Sie beschreiben schlicht unterschiedliche Aufgaben.

Auswählen und die darunter stehende Verifizierungsfrage
• Wählen Sie MathForm-8B, wenn Ihre Ausgabe überprüfbar sein muss. Wenn ein nachgelagertes System Lean 4 nutzt oder wenn es gerade darum geht, dass ein Proof-Assistent das Ergebnis absegnet, kann kein Generalist es ersetzen, und die Pass@8-Zahlen unter Syntax Check und Consistency Check sind diejenigen, die man hinterfragen sollte, nicht irgendeine AIME-Zeile.
• Wählen Sie Kolibri, wenn Sie ein Modell benötigen, das deutsche und englische Dokumente mit langem Kontext liest, über sie hinweg schlussfolgert, Tools aufruft, keine Antwort gibt, wenn der Kontext eine Antwort nicht stützt, und sich innerhalb Ihres eigenen Perimeters unter einer Lizenz bereitstellen lässt, die Sie in einer Zeile nennen können. Mathematik ist eine Fähigkeit, die es besitzt, kein Produkt, das es ist.
• Berücksichtigen Sie beides, wenn Sie eine Formalisierungspipeline aufbauen. Nicht als Alternativen, sondern als zwei Endpunkte hinter einer Routing-Regel, wobei der Spezialist für den schmalen Ausschnitt von Anfragen hinzugezogen wird, die ihn benötigen.
Und wenn Sie eines der beiden anhand einer Benchmark-Zahl bewerten, wenden Sie zuerst einen Test an: Fragen Sie, welches Artefakt die Zahl hinterlässt. Für MathForm-8B gibt es eine Lean-Datei und einen Compiler, der sie entweder akzeptiert oder nicht, und Sie können beides heute Nachmittag selbst ausführen. Für Kolibri gibt es einen Prozentwert in einer Launch-Tabelle, vom Anbieter gemeldet, nicht reproduziert, ohne unabhängige Indexseite, gegen die man ihn prüfen könnte – und die einzige Möglichkeit, ihn zu widerlegen, besteht darin, 78 GB an Gewichten herunterzuladen, die Hardware zu mieten und den Harness erneut auszuführen. Diese Asymmetrie ist mehr wert als der Score selbst, wenn Sie entscheiden, was Sie in die Produktion bringen.
