Ember-1 vs MathForm-8B: Två modeller byggda genom att snäva in en lånad bas

Ember-1 and MathForm-8B share a strategy that neither lab advertises as one: both are narrowings of a model somebody else trained. Ember-1 is Fireworks Research's specialized derivative of Moonshot AI's Kimi K3, published 23 September 2026, retrained so it reaches K3's accuracy on roughly 40% fewer tokens. MathForm-8B is OpenBMB's 8B autoformalization model, released quietly on 14 August 2026 as an Apache-2.0 fine-tune of Aliba​ba's Qwen3-8B that turns informal mathematics into Lean 4 theorem statements a compiler can check. One narrowing removed wasted deliberation and kept general capability intact. The other removed almost all general capability and bought verifiability instead. Putting them together is the cleanest way to see what a specialization actually costs, because the two models spent their training budgets on opposite sides of that ledger.

Två typer av avsmalning

Fireworks Researchs intervention är beteendemässig. Ember-1 behåller Kimi K3:s arkitektur och dess bredd — matematik, kodning, instruktionsföljning, konversation, sökning, verktygsanvändning och mjukvaruutveckling ingår alla i träningsmixen — och ändrar bara hur länge modellen överväger innan den svarar. Det rapporterade resultatet är att resonemangslängden sjönk med 35–50 % utan noggrannhetsförlust över sju benchmarks och två produktions-A/B-tester hos kunder, där en produktionsarbetsbelastning för kodning minskade från 49,3K till 29,9K utdatatokens medan dess poäng låg kvar på 0,753 mot 0,751. Varje siffra är leverantörsrapporterad och inte reproducerad.

OpenBMB:s ingripande är avtalsenligt. MathForm-8B tar Qwen3-8B och riktar hela träningsbudgeten mot en enda utdataform: ett Lean 4-påstående med en imports-rubrik och en namngiven sats. Pipeline är övervakad finjustering på FormalVerse — en korpus med omkring 367 000 verifierade Lean 4-exempel som OpenBMB byggde och släppte tillsammans med modellen — följt av förstärkningsinlärning som använder Lean-kompilering och återkoppling om semantisk konsistens som belöningssignal. Modellen löser inte bevis. Den skriver det påstående som en bevisare kommer att slutföra, och artikelns egen inramning beskriver utvärderingen med sex riktmärken som själva poängen med övningen.

Vad var och en gav upp

Ember-1 gav upp väldigt lite på papper, vilket är hela påståendet. Dess publicerade tabell visar en vinst på Terminal Bench 2.1 med 82,0 % mot Kimi K3 Max 80,9 % och på DeepSWE 1.1 med 75,2 % mot 66,4 %, samt knappa förluster på SWE-bench Verified med 92,2 % mot 93,2 % och SWE-Interact med 20,0 % mot 21,3 %. Det är leverantörssiffror på leverantörsvalda set, men formen är konsekvent: en modell som inte så mycket har förlorat förmåga som omdirigerat var den lägger sin ansträngning. Tokenbesparingarna varierar dock från 51,9 % på Terminal Bench ned till 5,9 % på τ-2 Bench Airline, så "ungefär 40 %" är ett genomsnitt över en mycket bred spridning.

MathForm-8B avstod från det mesta som Qwen3-8B är känt för. Den kan inte föra ett allmänt samtal, täcker inte de 119 språk och dialekter som Qwen3-8B tränades på, och tar inte emot bilder eller ljud. Dess genereringsbudget är dimensionerad för Lean-utdata, inte för utökat blandat resonemang. Det den behöll är en tillåtande licens och ett litet fotavtryck: fyra safetensors-shards i BF16, som körs under Transformers, vLLM eller SGLang bakom en OpenAI-kompatibel slutpunkt, med en kompileringsväg som förväntar sig en Kimina Lean Server på Lean 4.21.0.

Siffrorna mäter olika saker, och gapet är poängen

Ember-1:s huvudresultat är en procentandel uppgifter som en agent har slutfört korrekt – Terminal Bench 2.1, 89 prover, 82,0 %. MathForm-8B:s huvudresultat är genomsnittliga Pass@8-poäng över sex autoformaliseringsbenchmarks: 88,06 % vid en syntaxkontroll och 72,37 % vid en strängare konsekvenskontroll. De ligger inte på samma axel. Den ena mäter om en agent slutförde ett jobb i en terminal; den andra mäter om ett genererat satsuttalande kan parsas och om det betyder samma sak som det informella problem det härstammar från.

Spridningen 88,06 mot 72,37 i MathForms egna resultat är den mer lärorika siffran. Gapet mellan ”det här kompilerar” och ”det här kompilerar och säger vad jag menade” är ungefär sexton punkter, och det är det felmönster som gör autoformalisering svårt: ett påstående som typkontrollerar samtidigt som det tyst försvagar det ursprungliga påståendet är värre än ett uppenbart fel, eftersom inget nedströms flaggar det. På de svåraste uppsättningarna sjunker konsekvenskontrollen till 63 % på FATE-H och 37 % på FATE-X, medan lätta uppsättningar som FormalIMATH ligger på 95,06 % och ProverBench på 94,83 %. Det är en specialist som är ärlig om var en specialist är svag, och det är mer användbart än ett enda genomsnitt.

Kontrasten, dimension för dimension

• Basmodell — Ember-1: Kimi K3. MathForm-8B: Qwen3-8B.

• Vad träningen förändrade — Ember-1: hur länge modellen resonerar, med förmågan oförändrad. MathForm-8B: vad modellen matar ut, med generaliteten i stort sett uppgiven.

• Parametrar — Ember-1: ej offentliggjorda. MathForm-8B: ~8B, tät, BF16.

• Utdataavtal — Ember-1: vanlig text och verktygsanrop, med kvalitet på K3-nivå. MathForm-8B: ett Lean 4-påstående med en header och ett namngivet teorem.

• Licens och vikter — Ember-1: inga publicerade; forskningsförhandsvisning via leverantörens egen plattform. MathForm-8B: Apache 2.0, både vikter och dataset nedladdningsbara.

• Rapporterad rubrik — Ember-1: 82,0 % Terminal Bench 2.1 med 51,9 % färre tokens. MathForm-8B: 88,06 % genomsnittligt Pass@8 under syntaxkontroll, 72,37 % under konsistenskontroll.

• Oberoende verifiering – ingen av dem; båda är leverantörsrapporterade och inte reproducerade.

Licensraden avgör mer än vad benchmarks gör

Trots den numeriska skillnaden är den praktiska skillnaden mellan dessa två släpp distributionen. MathForm-8B är en fil. OpenBMB publicerade vikterna, datasetet FormalVerse och artikeln samma dag, under Apache 2.0, utan tillkännagivande och utan hostat API – modellkortet är lanseringen. Du kan ladda ner det i eftermiddag och köra det på en enda GPU, och ingen kan ta tillbaka det. Ember-1 är en tjänst. Det finns inga vikter, inget publicerat pris, och åtkomstfönstret beskrivs som en två veckor lång serverless-period vars fortsättning beror på efterfrågan. Du kan anropa den i dag och du kan inte vara säker på att kunna anropa den i november.

Den skillnaden avgör också vad varje modell kan användas till. En formaliseringskomponent hör hemma i en pipeline som du kontrollerar, låst till en version, med Lean-verktygskedjan på samma maskin — vilket är varför en icke-gated Apache-2.0-checkpoint är rätt form för MathForm-8B:s uppgift, och varför den saknade GitHub-kodlänken i dess README (fortfarande en platshållare när detta skrivs) är en mer irriterande lucka än någon benchmark-siffra. En modell för resonemangskostnad hör hemma bakom ett API, där tokenkostnaden är det som optimeras, och där leverantörer konkurrerar med pris och latens. Ember-1:s form passar också för dess uppgift; det innebär bara att beroendet är kommersiellt snarare än tekniskt.

Där en pipeline skulle använda båda

Dessa två modeller kompletterar snarare än konkurrerar med varandra, och kompositionen är lätt att beskriva: en formaliseringsspecialist omvandlar ett problem till ett kontrollerbart påstående, och en resonemangsmodell arbetar med påståendet eller den omgivande ingenjörskonsten. Ingen av dem finns på OrcaRouter – MathForm-8B är endast självhostad, och Ember-1 finns i leverantörens egen förhandsversion – men själva kompositionen är ett mönster som vårt routing-DSL finns till för. Att komponera flera modeller till ett enda anrop är hur en pipeline får en specialist och en generalist utan att underhålla två integrationsvägar och två kontrakt, och modellfusion går ett steg längre genom att låta en panel av modeller svara tillsammans när en enskild modells felmod är dyr.

För en formaliseringsstack specifikt är argumentet för komposition starkare än vanligt. Det synliga felsättet är ett påstående som kompilerar och betyder något lite annat, och det billigaste försvaret mot ett tyst fel är en andra modell som läser samma problem – vilket är ett routingbeslut, inte ett träningsbeslut.

Vilket är det bättre köpet?

Om du behöver maskinkontrollerbar matematik är MathForm-8B den enda av de två som producerar någon sådan, och dess främsta kostnad är den generalitet som du ändå inte skulle använda för den här uppgiften. Ladda ner den, budgetera för Lean-servern och bygg din egen utvärdering — OpenBMB:s artikel kommer inte att berätta hur den presterar på din distribution.

Om du behöver en generell resonemangsmotor med lägre tokenräkning riktar sig Ember-1 till dig, och nästa rätta steg är skuggtrafik mot vad du än kör idag snarare än en benchmark-jämförelse. Dess risk är tillgänglighet, inte förmåga, och det är en risk du kan säkra genom att behålla routningslagret mellan din applikation och modellen.

Den obekväma slutsatsen för den som hoppas att någon av dessa ska avgöra frågan är att ingen av dem har utvärderats oberoende. MathForm-8B har varit offentlig i sex veckor och ingen tredje part har publicerat en reproduktion; Ember-1 har varit offentlig i en dag. Båda ber dig att vara utvärderaren, vilket är det normala tillståndet när man väljer en specialiserad modell 2026.

Det de faktiskt bevisar är att avsmalningsstrategin fungerar i båda riktningarna. En frontiermodell kan göras billigare utan att bli sämre, och en liten basmodell kan göras stringent genom att rikta sin träning mot en kompilator. Den intressanta frågan är inte vilken av dessa två strategier som vinner, utan hur mycket längre någon av dem förblir nödvändig när teknikerna i dem blir standardpraxis.