Kolibri vs MathForm-8B: Een van deze nauwkeurigheidsclaims kan door een compiler worden gecontroleerd

Kolibri en MathForm-8B delen een licentie en vrijwel niets anders. Beide zijn Apache 2.0, beide zijn open-weight, beide zijn in de afgelopen drie maanden uitgebracht — de Kolibri van Aleph Alpha op 3 oktober 2026, MathForm-8B van OpenBMB op 14 augustus 2026 — en beide besteden een groot deel van hun modelkaarten aan wiskunde. Daar houdt de gelijkenis op. Kolibri is een Duits- en Engelstalig mixture-of-expertsmodel met 78,1 miljard parameters dat 3,46 miljard parameters per token activeert en bedoeld is voor inzet in een gereguleerde documentworkflow. MathForm-8B is een dense model met 8 miljard parameters dat is gefinetuned op basis van Qwen3-8B met één taak: neem een wiskundeprobleem geschreven in gewoon Engels en produceer een formeel correcte Lean 4-formulering ervan. Het verschil dat van belang is voor iedereen die een van beide evalueert, is niet het aantal parameters. Het is dat de nauwkeurigheidsclaim van MathForm-8B uitvoerbaar is. Je kunt de uitvoer ervan met een compiler controleren. Die van Kolibri kan door niets anders dan nog een benchmarkrun worden gecontroleerd.

Die asymmetrie is het hele artikel, en ze generaliseert ruim voorbij deze twee modellen. Een benchmarktabel van een leverancier is een claim. Een bewijsassistent die een formalisatie accepteert, is een resultaat. Wanneer de volledige outputruimte van een model iets is dat een machine kan verifiëren, verdwijnt de marketinglaag — ofwel accepteert de Lean-compiler de bewering, ofwel niet, en geen enkele hoeveelheid framing in een lanceringspost verandert daar iets aan.

Wat MathForm-8B daadwerkelijk produceert

Autoformalisatie is een nauwe, onglamoureuze en oprecht moeilijke taak, en de modelkaart is verfrissend specifiek over de opzet.

• Invoer en uitvoer — een wiskundige bewering in natuurlijke taal erin, een Lean 4-formalisering eruit, compleet met een theorem-header.

• Basismodel — Qwen/Qwen3-8B, fijn afgestemd; Apache 2.0 met de rest van de release van OpenBMB.

• Training — supervised fine-tuning gevolgd door reinforcement learning op de FormalVerse-dataset, waarbij Lean-compilatie en feedback over semantische consistentie het reinforcement-signaal aansturen.

• Datapijplijn — Mathlib-kennisretrieval, compilatie en semantische verificatie, iteratieve verfijning en dan trajectreconstructie. Het pijplijndiagram op de modelkaart is het meest informatieve ding in de release.

• Evaluatie — Pass@8-slaagpercentages onder twee afzonderlijke controles, Syntaxiscontrole en Consistentiecontrole, over zes benchmarks, gerapporteerd als een gelijk gewogen macro-gemiddelde in een figuur op de kaart in plaats van als een tabel die we rij voor rij kunnen citeren.

• Toolchain — een draaiende Kimina Lean Server voor de compilatiecontroles, Lean 4.21.0 voor de experimenten, en een maximale sequentie van 16.384 tokens met temperatuur 0,6 en top-p 0,95.

• Serveren — vLLM of SGLang met een context van 16.384 tokens, ontsloten via een OpenAI-compatibele chatinterface. Dat laatste detail is belangrijker dan het lijkt, want het betekent dat het model als een gewoon endpoint in een bestaande pipeline kan worden opgenomen.

Let op de twee afzonderlijke controles. Bij Syntaxiscontrole gaat het erom of het Lean-statement überhaupt parseert en typecheckt. Bij Consistentiecontrole gaat het erom of de formele bewering hetzelfde betekent als het probleem in natuurlijke taal — een veel moeilijkere eigenschap, want een syntactisch geldig Lean-statement dat de verkeerde stelling formaliseert is erger dan een compilatiefout. OpenBMB rapporteert beide, wat precies de juiste manier is om het te doen, en dat is de reden dat deze taak een verificatieverhaal heeft dat algemeen inzetbaar redeneren niet heeft.

Wat Kolibri met wiskunde doet, en waarom het een ander soort getal is

Kolibri is goed in wiskunde in de benchmarkzin. Op Aleph Alpha's eigen post-training-harness, bij reasoning effort hoog, scoort het 96,9 op AIME 2025 in het Engels en 87,5 in het Duits, 96,0 en 90,0 op AIME 2026, en een Engels gemiddelde van 96,5 over zijn wiskundesuite tegenover 88,8 in het Duits. Ter context, in dezelfde tabel staat Kolibri's 96,9 op AIME 2025 Engels boven Nemotron 3 Super 120B-A12B met 91,7 en Qwen3.6 35B-A3B met 84,6, en net onder Qwen3.8 27B met 97,9.

Elk van die cijfers is door de leverancier gerapporteerd, op een leveranciersharnas, zonder onafhankelijke reproductie, en er is geen Artificial Analysis-pagina voor Kolibri om tegen te controleren. Dat is geen kritiek op de cijfers; het is een uitspraak over wat voor soort object ze zijn. Een AIME-score is een percentage correcte eindantwoorden op een meerkeuzetoets. Het vertelt je dat het model een geheel getal kan bereiken. Het zegt niets over of de redenering die ertoe leidde deugdelijk was, en er blijft geen artefact achter dat een derde partij kan inspecteren.

Als je dat naast de output van MathForm-8B legt, is dat verschil schril. Een Kolibri-antwoord op een AIME-probleem is een getal. Een output van MathForm-8B is een Lean 4-stelling die ofwel tegen Mathlib compileert of niet. Als je een systeem bouwt waarin een wiskundige bewering verdedigbaar moet zijn — een formal-verificatiepijplijn, een workflow met een proof assistant, een audittrail — dan is het tweede artefact aanzienlijk meer waard dan het eerste, en geen enkele benchmarkrij brengt dat tot uitdrukking.

Waar de twee elkaar daadwerkelijk zouden ontmoeten

Als je dit als een gevecht ziet, is deze confrontatie oninteressant: een 8B-specialist verslaat een 78B-generalist in het formaliseren van wiskunde en verliest op al het andere, waaronder Duitse ambtelijke taal, redeneren over documenten met een lange context en tool-calling gedurende een agent-traject van honderd stappen. Maar de twee zijn geen vervangers van elkaar, en de nuttige vraag is hoe een pipeline die uit beide is opgebouwd eruitziet.

De natuurlijke compositie is een routerende. Een generalist met sterk redeneervermogen en tool-calling behandelt de ingestie, de disambiguatie en de retrieval; een specialist wordt aangeroepen voor de twee procent van de gevallen die een formeel artefact nodig hebben. Dat met de hand doen betekent twee leveranciers, twee contracten, twee SDK's, twee sets inloggegevens en een dispatchlaag die iemand moet onderhouden. Het is het geval waarin één endpoint zijn bestaansrecht verdient: één OpenAI-compatibele sleutel, een routeringsregel die de wiskundig gevormde verzoeken naar het formaliseerder-endpoint stuurt en al het andere naar de generalist, en failover wanneer een van beide traag is. Dat is de taak van de routing-DSL — meerdere modellen samenstellen tot één aanroep in plaats van een keuze hard te coderen op het moment van ontwikkeling — en waar een panel van modellen die samen antwoorden nuttig is, dekt model fusion dat. Noch Kolibri noch MathForm-8B staat vandaag op OrcaRouter; we hebben de catalogus voor beide doorzocht onder elke spelling van leverancier en model en geen van beide staat erin. Het compositieargument gaat over de vorm van het probleem, niet over deze twee specifieke endpoints.

Wat in de catalogus staat, is de generalistische helft van dat patroon tegen een prijs die je kunt meten. Qwen3.8-27B staat vermeld voor $0,33 per miljoen inputtokens en $2,40 voor output met een venster van 262.144 tokens, en Qwen3.8-Max voor $2,00 en $6,00 met een venster van 1 miljoen tokens. Voor een team dat onderzoekt of een formalisatiestap überhaupt de moeite waard is om aan een documentpijplijn toe te voegen, is het goedkope experiment om het generalistische werk daarheen te routeren, het volume te meten van aanvragen die echt een Lean-artefact nodig hebben, en pas dan te beslissen of een gespecialiseerd endpoint van 16.384 tokens het waard is om in te richten. De lijstprijs van de provider wordt één-op-één doorgegeven, zonder dat er iets per token wordt toegevoegd, dus de cijfers veranderen op de dag dat een leverancier ze verandert.

Licentie is de enige regel waarop ze identiek zijn.

Beide zijn Apache 2.0, en in een categorie waarin licenties op maat voor onderzoek en aanvullende voorwaarden voor acceptabel gebruik gangbaar zijn, is dat een reëel punt van gelijkwaardigheid dat het verdient om benoemd te worden — het betekent dat geen van beide modellen een juridische beoordeling vereist voordat het commercieel kan worden gebruikt, gewijzigd of herverdeeld.

De verplichtingen lopen elders uiteen. Kolibri brengt een gewichtsfootprint van ~78 GB met zich mee en een hardwareminimum van twee A100 80 GB-kaarten, twee H100 SXM5's, één H200, één B200 of één B300, plus het aleph-alpha-inference-pakket van de leverancier en de vLLM-plugin. MathForm-8B in bfloat16 is ongeveer 16 GB aan gewichten en draait op één moderne accelerator met een context van 16.384 tokens; de afhankelijkheden zijn een Lean-toolchain en, voor de evaluatiepijplijn, een draaiende Kimina Lean Server. Een van die implementaties past in een workstation. De andere niet.

De contextcijfers wijzen de andere kant op, en met een ruime marge. Het native venster van Kolibri is 262.144 tokens, gevalideerd tot 1.048.576, en dat maakt het een documentmodel: een volledige Duitse regelgevende indiening of een lucht- en ruimtevaartonderhoudshandboek past in één aanroep. MathForm-8B is door het ontwerp beperkt tot 16.384 tokens, omdat een formaliseringsverzoek één probleemstelling is en er geen reden is om langer te zijn. Geen van beide getallen is een tekortkoming. Ze beschrijven simpelweg verschillende taken.

Kiezen, en de verificatievraag eronder

• Kies MathForm-8B als je output controleerbaar moet zijn. Als een downstreamsysteem Lean 4 gebruikt, of als het er juist om gaat dat een proof-assistent het resultaat goedkeurt, dan is er geen enkele generalist die het kan vervangen, en zijn de Pass@8-cijfers onder Syntax Check en Consistency Check de cijfers die je onder de loep moet nemen in plaats van welke AIME-rij dan ook.

• Kies Kolibri als je één model nodig hebt dat Duitse en Engelse documenten met een lange context leest, over de documenten heen redeneert, tools aanroept, zich onthoudt van een antwoord wanneer de context een antwoord niet ondersteunt, en binnen je eigen perimeter kan worden uitgerold onder een licentie die je in één regel kunt vermelden. Wiskunde is een capaciteit die het heeft, niet een product dat het is.

• Overweeg beide als je een formalisatiepijplijn bouwt. Niet als alternatieven, maar als twee eindpunten achter één routeringsregel, waarbij de specialist wordt ingeschakeld voor het beperkte deel van de verzoeken dat dit nodig heeft.

En als je een van beide beoordeelt op basis van een benchmarkcijfer, pas dan eerst één test toe: vraag welk artefact het cijfer achterlaat. Voor MathForm-8B is er een Lean-bestand en een compiler die het al dan niet accepteert, en je kunt beide vanmiddag zelf uitvoeren. Voor Kolibri is er een percentage in een lanceringstabel, door de leverancier gerapporteerd, niet gereproduceerd, zonder een onafhankelijke indexpagina om het tegen te controleren — en de enige manier om het te weerleggen is 78 GB aan gewichten te downloaden, de hardware te huren en de harness opnieuw te draaien. Die asymmetrie is meer waard dan de score zelf wanneer je beslist wat je in productie neemt.