Kolibri vs MathForm-8B: Ett av dessa noggrannhetspåståenden kan kontrolleras av en kompilator

Kolibri och MathForm-8B delar en licens och nästan inget annat. Båda är Apache 2.0, båda har öppna vikter, båda släpptes under de senaste tre månaderna — Aleph Alphas Kolibri den 3 oktober 2026, OpenBMB:s MathForm-8B den 14 augusti 2026 — och båda ägnar en stor del av sina modellkort åt matematik. Det är där likheten slutar. Kolibri är en tysk- och engelskspråkig mixture-of-experts-modell med 78,1 miljarder parametrar som aktiverar 3,46 miljarder parametrar per token och är avsedd att ingå i ett reglerat dokumentarbetsflöde. MathForm-8B är en tät modell med 8 miljarder parametrar som finjusterats från Qwen3-8B med en enda uppgift: att ta ett matematikproblem skrivet på vanlig engelska och generera ett formellt korrekt Lean 4-påstående av det. Skillnaden som spelar roll för den som utvärderar någon av dem är inte antalet parametrar. Det är att MathForm-8B:s noggrannhetsanspråk är körbart. Du kan kontrollera dess utdata med en kompilator. Kolibris kan inte kontrolleras med något annat än ännu en benchmarkkörning.

Den asymmetrin är hela artikeln, och den generaliserar långt bortom dessa två modeller. En leverantörs benchmarktabell är ett påstående. En bevisassistent som accepterar en formalisering är ett resultat. När en modells hela utdatautrymme är något som en maskin kan verifiera, försvinner marknadsföringslagret — antingen accepterar Lean-kompilatorn påståendet eller inte, och ingen mängd inramning i lanseringsinlägg ändrar på det.

Vad MathForm-8B faktiskt producerar

Autoformalisering är en snäv, oglamorös och genuint svår uppgift, och modellkortet är uppfriskande specifikt om upplägget.

• Indata och utdata — ett matematiskt påstående på naturligt språk in, en Lean 4-formalisering ut, komplett med ett teoremhuvud.

• Basmodell — Qwen/Qwen3-8B, finjusterad; Apache 2.0 med resten av OpenBMB:s släpp.

• Träning — övervakad finjustering följd av förstärkningsinlärning på FormalVerse-datasetet, med Lean-kompilering och återkoppling om semantisk konsistens som driver förstärkningssignalen.

• Datapipeline — Mathlib-kunskapshämtning, kompilering och semantisk verifiering, iterativ förfining, därefter trajektorierekonstruktion. Pipelinediagrammet på modellkortet är det mest informativa i utgåvan.

• Utvärdering — Pass@8-passfrekvenser vid två separata kontroller, syntaxkontroll och konsekvenskontroll, över sex benchmarks, rapporterade som ett likaviktat makromedelvärde i en figur på kortet i stället för som en tabell som vi kan återge rad för rad.

• Verktygskedja — en körande Kimina Lean Server för kompileringskontrollerna, Lean 4.21.0 för experimenten, och en maximal sekvenslängd på 16 384 token med temperatur 0,6 och top-p 0,95.

• Servering – vLLM eller SGLang med en kontext på 16 384 token, exponerad via ett OpenAI-kompatibelt chattgränssnitt. Den sista detaljen spelar större roll än den verkar, eftersom den innebär att modellen kan sättas in i en befintlig pipeline som en vanlig slutpunkt.

Notera de två separata kontrollerna. Syntaxkontroll är huruvida Lean-påståendet överhuvudtaget parsas och typkontrolleras. Konsistenskontroll är huruvida det formella påståendet betyder samma sak som problemet formulerat i naturligt språk — en mycket svårare egenskap, eftersom ett syntaktiskt giltigt Lean-påstående som formaliserar fel teorem är värre än ett kompileringsfel. OpenBMB rapporterar båda, vilket är precis rätt sätt att göra det på och är anledningen till att den här uppgiften har en verifieringsansats som allmän resonemangsförmåga inte har.

Vad Kolibri gör med matematik, och varför det är en annan sorts tal

Kolibri är bra på matematik i benchmarkavseende. I Aleph Alphas egen efterträningsrigg, vid hög resonemangsansträngning, får den 96,9 på AIME 2025 på engelska och 87,5 på tyska, 96,0 och 90,0 på AIME 2026, samt ett engelskt genomsnitt på 96,5 över sin matematiksvit mot 88,8 på tyska. För kontext i samma tabell ligger Kolibris 96,9 på AIME 2025 engelska över Nemotron 3 Super 120B-A12B på 91,7 och Qwen3.6 35B-A3B på 84,6, och strax under Qwen3.8 27B på 97,9.

Var och en av dessa siffror är rapporterade av leverantören, i leverantörens egen testmiljö, utan oberoende reproduktion, och det finns ingen Artificial Analysis-sida för Kolibri att korsverifiera mot. Det är inte en kritik av siffrorna; det är ett påstående om vilken sorts objekt de är. En AIME-poäng är en procentsats korrekta slutsvar på ett flervalsprov. Den säger att modellen kan nå ett heltal. Den säger ingenting om huruvida resonemanget som producerade den var hållbart, och det finns ingen artefakt kvar som en tredje part kan granska.

Sätter man det bredvid MathForm-8B:s utdata är skillnaden slående. Ett Kolibri-svar på ett AIME-problem är ett tal. MathForm-8B:s utdata är ett Lean 4-teoremsats som antingen kompilerar mot Mathlib eller inte. Om du bygger ett system där ett matematiskt påstående måste kunna försvaras — en pipeline för formell verifiering, ett arbetsflöde för bevisassistent, ett revisionsspår — är den andra artefakten betydligt mer värd än den första, och ingen benchmark-rad uttrycker det.

Där de två faktiskt skulle mötas

Om man ser det som en kamp är den här matchningen ointressant: en 8B-specialist slår en 78B-generalist på att formalisera matematik och förlorar på allt annat, inklusive tysk förvaltningsprosa, dokumentresonemang med lång kontext och verktygsanrop genom en hundra steg lång agentbana. Men de två är inte utbytbara, och den användbara frågan är hur en pipeline byggd av båda ser ut.

Den naturliga kompositionen är en routningslösning. En generalist med stark resonemangsförmåga och verktygsanrop hanterar intaget, disambigueringen och hämtningen; en specialist anropas för de två procent av fallen som kräver en formell artefakt. Att göra det manuellt innebär två leverantörer, två kontrakt, två SDK:er, två uppsättningar autentiseringsuppgifter och ett dispatchlager som någon underhåller. Det är här en enda slutpunkt förtjänar sin plats: en OpenAI-kompatibel nyckel, en routningsregel som skickar de matematikformade förfrågningarna till formaliseringsslutpunkten och allt annat till generalisten, samt failover när en av dem är långsam. Det är routnings-DSL:ens uppgift – att sammanfoga flera modeller till ett anrop i stället för att hårdkoda ett val vid utvecklingstid – och där en panel av modeller som svarar tillsammans är användbar täcker modellfusion det. Varken Kolibri eller MathForm-8B finns på OrcaRouter i dag; vi genomsökte katalogen efter båda under varje leverantörs- och modellstavning och ingen av dem finns där. Kompositionsargumentet handlar om problemets form, inte om dessa två specifika slutpunkter.

Det som finns i katalogen är generalisthalvan av det mönstret till ett pris du kan mäta. Qwen3.8-27B listas till 0,33 USD per miljon indatatokens och 2,40 USD för utdata med ett fönster på 262 144 tokens, och Qwen3.8-Max till 2,00 USD och 6,00 USD med ett fönster på 1M tokens. För ett team som undersöker om ett formaliseringssteg överhuvudtaget är värt att lägga till i en dokumentpipeline, är det billiga experimentet att dirigera generalistarbetet dit, mäta volymen av förfrågningar som verkligen behöver en Lean-artefakt, och först därefter avgöra om en specialistendpoint på 16 384 tokens är värd att etablera. Leverantörens listpris förs vidare utan något påslag per token, så siffrorna ändras samma dag som en leverantör ändrar dem.

Licens är den enda raden där de är identiska.

Båda är Apache 2.0, och i en kategori där skräddarsydda forskningslicenser och tilläggsklausuler om godtagbar användning är vanliga är det en genuin paritetspunkt värd att nämna — det innebär att ingen av modellerna kräver en juridisk granskning innan den kan användas kommersiellt, modifieras eller vidaredistribueras.

Förpliktelserna skiljer sig åt på andra punkter. Kolibri medför ett viktavtryck på cirka 78 GB och ett hårdvarugolv på två A100 80 GB-kort, två H100 SXM5, en H200, en B200 eller en B300, plus leverantörens aleph-alpha-inference-paket och vLLM-plugin. MathForm-8B i bfloat16 är ungefär 16 GB vikter och körs på en enda modern accelerator med en kontext på 16 384 token; dess beroenden är en Lean-verktygskedja och, för utvärderingspipelinen, en körande Kimina Lean Server. En av dessa driftsättningar får plats i en arbetsstation. Den andra gör det inte.

Kontextsiffrorna talar i motsatt riktning, och med stor marginal. Kolibris inbyggda fönster är 262 144 tokens, validerat upp till 1 048 576, vilket är vad som gör det till en dokumentmodell: en komplett tysk regulatorisk inlämning eller en underhållsmanual för flyg- och rymdteknik ryms i ett enda anrop. MathForm-8B har ett tak på 16 384 tokens av design, eftersom en formaliseringsbegäran är en enda problemformulering och det inte finns någon anledning för den att vara längre. Ingendera siffran är en brist. De beskriver helt enkelt olika uppgifter.

Att välja, och verifieringsfrågan därunder

• Välj MathForm-8B om din utdata måste kunna kontrolleras. Om ett nedströms system konsumerar Lean 4, eller om själva poängen är att en bevisassistent godkänner resultatet, kan ingen generalistmodell ersätta den, och det är Pass@8-siffrorna under Syntax Check och Consistency Check som man bör granska, snarare än någon AIME-rad.

• Välj Kolibri om du behöver en modell som läser tyska och engelska dokument i lång kontext, resonerar över dem, anropar verktyg, avstår från att svara när kontexten inte stöder ett svar och kan driftsättas inom din egen perimeter under en licens du kan ange på en rad. Matematik är en förmåga den har, inte en produkt den är.

• Överväg båda om du bygger en formaliseringspipeline. Inte som alternativ, utan som två slutpunkter bakom en och samma routingregel, där specialisten tillkallas för den smala andel förfrågningar som behöver den.

Och om du utvärderar någon av dem utifrån ett benchmarkvärde bör du först göra ett test: fråga vilken artefakt siffran lämnar efter sig. För MathForm-8B finns en Lean-fil och en kompilator som antingen accepterar den eller inte, och du kan köra båda själv i eftermiddag. För Kolibri finns en procentandel i en lanseringstabell, leverantörsrapporterad, ej reproducerad, utan någon oberoende indexsida att kontrollera den mot – och det enda sättet att falsifiera den är att ladda ner 78 GB vikter, hyra hårdvaran och köra om testramverket. Den asymmetrin är värd mer än själva poängen när du ska bestämma vad du sätter i produktion.