Beam 1.0 vs MathForm 8B: En modells fel fångas av en kompilator

Be MathForm 8B att formalisera ett teorem och svaret är antingen ett Lean 4-påstående som kompilerar eller ett som inte gör det. Be Beam 1.0 att åtgärda en bugg och svaret är en diff som körs eller en som inte gör det, och avståndet mellan dessa två saker är hela skillnaden mellan dessa modeller. MathForm 8B är OpenBMB:s autoformaliseringsmodell med 8,19 miljarder parametrar, byggd på Alibabas Qwen3-8B och tränad på FormalVerse, en korpus med ungefär 367 000 verifierade Lean 4-exempel, genom övervakad finjustering följt av förstärkningsinlärning på Lean-kompilering och återkoppling om semantisk konsistens; den publicerades den 14 augusti 2026 under Apache 2.0. Beam 1.0 är Reflections sparse mixture-of-experts-modell med 501,3 miljarder parametrar och 23,4 miljarder aktiva per token; den tillkännagavs den 5 oktober 2026 och levererades som nedladdningsbara vikter den 16 oktober 2026, även under Apache 2.0. Storleksförhållandet är 61 mot ett och det är det minst intressanta talet på sidan.

Det intressanta är att MathForm 8B producerar utdata som en maskin kan bedöma utan att lita på någon, medan Beam 1.0 inte gör det. Allt nedan följer av det.

Vad varje modell ombeds att producera

MathForm 8B har ett enda utdatakontrakt. Den tar ett matematiskt påstående skrivet i vanlig prosa och returnerar ett Lean 4-påstående — ett header, ett namngivet teorem, hypoteserna och målet. Träningspipelinen är uppbyggd kring den formen: hämtning av kunskap från Mathlib för att förankra påståendet i befintliga definitioner, kompilering och semantisk verifiering för att förkasta dåliga kandidater, iterativ förfining för att reparera dem, och därefter rekonstruktion av trajektorier för att omvandla de överlevande exemplen till träningsdata. Artikeln rapporterar att modellen ligger på i genomsnitt 88,06 % i Pass@8 vid syntaxkontroll och 72,37 % vid konsistenskontroll över sex benchmarks. De är OpenBMB:s siffror, som ingen annan har reproducerat, och viktade mot de enklare uppsättningarna i utvärderingen — men de är siffror om en uppgift som har ett rätt svar.

Beam 1.0 har inget sådant kontrakt. Det är en allmän modell: dess kort beskriver chattmallen, det Harmony-liknande wire-formatet med analys- och slutkanaler, sex nivåer av resonemangsansträngning som mappar till tokenbudgetar på 8, 32, 64, 128, 256 och 512, samt en konvention för verktygsanrop där funktioner deklareras som platt TypeScript och anropas i XML-kroppar. Dess utvärdering omfattar agentisk kodning (SWE-bench Verified 81,6 % på BF16, Terminal Bench v2.1 80,1, SWE Bench Pro v1 66,1, DeepSWE v1.1 43,3), resonemang (GPQA Diamond 90,6, AIME 2026 97,7, LiveCodeBench 88,3), verktygsanvändning (MCP Atlas 80,8) och allmän förmåga (LongBench v2 67,5, IFBench 79,6). Varje siffra är Reflections egen. Huruvida koden den skriver är *korrekt* fastställs genom att köra den, granska den eller släppa den och få reda på det.

Så: den ena modellens fel är självannonserande. Den andras är vanliga mjukvarufel som dyker upp senare, vid granskning eller i produktion, och ser ut som alla andra buggar du någonsin har haft.

Benchmarkarna överlappar inte, och det är resultatet

Ställ de två utvärderingsseten sida vid sida och det finns nästan ingenting att subtrahera.

• Vad Beam 1.0 poängsätts på — lösning av problem i repositoriestor skala, terminaluppgifter, tävlingsprogrammering, naturvetenskapliga frågor på avancerad nivå, verktygsorkestrering, återkallning i långa kontexter och instruktionsföljning.

• Vad MathForm 8B poängsätts utifrån – Pass@8-formaliseringsnoggrannhet under en syntaxgranskare och under en granskare för semantisk konsistens, över sex matematiska benchmarkar, mot artikelns specialiserade baslinjer från 7B till 32B.

• Överlappningen – i praktiken noll. Det finns ingen rad där båda modellerna mättes av samma part på samma uppgift, och det kommer inte att finnas någon, eftersom den ena mäts på allmän förmåga och den andra på en enda verifierbar transformation.

• Den enda gemensamma dimension som begreppsligt sett faktiskt finns – resonemang – mäts på olika populationer. Beam 1.0:s 90,6 på GPQA Diamond är en poäng för naturvetenskapliga flervalsfrågor. MathForm 8B:s konsistensgrad på 72,37 % är en formaliseringskontroll. Ingen av dem förutsäger den andra.

Det är därför en storleksjämförelse här skulle vara missvisande snarare än bara ofördelaktig. Beam 1.0 är sextioen gånger modellens storlek, och den kan inte alls göra MathForm 8B:s jobb utan att tränas för det — utdatakontraktet är tillräckligt snävt för att allmän förmåga inte är en ersättning för det. En 501B-generalist som ombeds producera ett namngivet Lean-teorem med ett korrekt huvud kommer att producera något som ser rimligt ut och ofta är fel, vilket är den värsta tänkbara felmoden för en bevisassistent.

Vad du behöver för att kunna köra någon av dem

MathForm 8B ärver Qwen3-8B:s licens, som Hub registrerar som Apache 2.0, och detta är det praktiska argumentet för den: 8,19 miljarder täta parametrar, en engelskspråkig modell, en begränsning av genereringsbudgeten till Lean-utdata snarare än allmänt resonemang, och en nedladdning i stället för ett kluster. Dess bas, Qwen3-8B, är vad en läsare annars skulle självhosta – en allmän 8B med en nativ kontext på 32K som kan utökas till 131K och täckning av 119 språk. MathForm 8B byter bort nästan allt detta mot en enda färdighet.

Beam 1.0 behöver någonstans att bo. Modellkortet anger 52 lager, 256 experter med åtta routade per token, en vokabulär på 152 000 token, en kunskapsgräns den 30 juni 2026 och ett kontextfönster på 1 000 000 token. Den levereras i tre vikter – BF16 vid 501,3B, FP8 vid 501,3B, NVFP4 vid 255B – plus en DFlash2-draftmodell på 2B för spekulativ avkodning. Det finns ingen serveringsrekommendation på kortet och inget publicerat API-pris någonstans på Reflections plattformar; Artificial Analysis-sidan för modellen listar prisuppgifterna som otillgängliga och noterar att inget offentligt tillgängligt API finns. Fyrabitarsbygget är det som gör detta till ett rimligt köp snarare än ett hypotetiskt sådant, och det är fortfarande en GPU-fråga.

OrcaRouter dirigerar ingen av modellerna, och den här sidan antyder inte något annat. Det vi dirigerar är den betjänade nivån som de två befinner sig utanför: mer än 200 modeller bakom en enda OpenAI-kompatibel nyckel till leverantörens listpris med 0 % påslag, så en leverantörs prissänkning når din faktura samma dag som den meddelas. För ett team vars verkliga behov är en modell som svarar i dag snarare än en checkpoint som kompileras i morgon, är det raden som den här jämförelsen inte kan erbjuda.

Skillnaden i verifierbarhet, i enkla ordalag

Här är asymmetrin uttryckt som ett operativt faktum snarare än ett benchmark.

En MathForm 8B-utdata går in i en pipeline som har en grind. Lean-kompilatorn accepterar antingen påståendet eller avvisar det. Semantisk konsistenskontroll godkänns eller underkänns. En dålig utdata kan kasseras automatiskt, och modellen kan lämnas i en agentloop som försöker igen tills något verifieras — vilket är precis vad RL-steget tränade den att göra. Kostnaden för ett felaktigt svar är ett avvisat exempel, inte en levererad defekt. Det är en genuint sällsynt egenskap i det nuvarande fältet för öppna vikter, och det är därför en specialiserad 8B-modell kan vara mer användbar än en allmän modell som är hundra gånger dess storlek i en pipeline formad som formell matematik.

Beam 1.0:s utdata har ingen sådan spärr. Utvärderingstabellen kan tala om hur ofta den löste ett GitHub-ärende i SWE-bench, men den kan inte tala om för dig huruvida patchen som den skriver för ditt kodförråd är korrekt, eftersom det är en fråga om dina tester. Modellkortet är ovanligt specifikt om wire-formatet och ovanligt tyst om noggrannhetsfrågan, och det är en rättvisande beskrivning av var området befinner sig: verktygsstödet kring agentiska kodningsmodeller är bra på att exekvera kod och dåligt på att certifiera den.

Om din domän har en kontrollmekanism – ett typsystem, en bevisassistent, ett schema, en simulator – är en specialist inriktad på den kontrollmekanismen ofta den nedladdning som ger större hävstång. Om den inte har det köper du förmåga och betalar för utvärderingen själv, och den större generella modellen är den som ger dig mer av den.

Att välja mellan dem

Välj MathForm 8B om arbetet är formalisering och inget annat – att omvandla en korpus av matematisk prosa till Lean 4 som en bevisassistent accepterar, i en skala där en människa inte kan kontrollera var och en. Fotavtrycket på 8,19 miljarder parametrar, Apache 2.0-villkoren och den snäva utdataformen är alla fördelar där. Välj inte den för något annat: den chattar inte, den skriver inte prosa värd att leverera, den hanterar inte 119 språk så som dess basmodell gör, och den har ingen dokumenterad förmåga utanför den enda transformation den tränades för.

Välj Beam 1.0 om arbetet är av det allmänna agentiska slaget – att lösa problem i stora kodförråd, driva verktyg, utföra långa flerstegsplaner – och om du har hårdvaran eller en partner för att serva en 501B MoE. Kontextfönstret på 1M token, den publicerade utvärderingstabellen och fyrabitarscheckpointen är alla inriktade på den arbetsbelastningen. Budgetera för resonemangstoken: mallen har ingen avstängningsknapp, standardinställningen vid servering är den högsta ansträngningsnivån, och att ta bort resonemang från tidigare turer är dokumenterat att försämra utdata.

Välj båda om du bygger den pipeline som den här artikeln egentligen handlar om. Mönstret som är vettigt är en generell modell för att utföra det tvetydiga arbetet och en verifierbar specialist för att utföra delen med en grind — och de två rollerna misslyckas på olika sätt, vilket är det enda skälet till att det är värt att äga båda.

Var den här jämförelsen kommer att se annorlunda ut om tre månader

Två rader saknas och båda kan dateras. Den första är en oberoende utvärdering av Beam 1.0:s vikter, vilket blev möjligt den 16 oktober 2026 och ännu inte har inträffat; varje siffra som den här sidan tillskriver Reflection är fortfarande från en enda källa. Den andra är Beams pris. En modell med en utvärderingstabell på 501 miljarder parametrar och ingen förbrukningsbaserad taxa är en modell som de flesta team inte kan budgetera för, och tills Reflection eller en serving-partner publicerar en sådan är den ärliga kostnadsjämförelsen mellan dessa två en nedladdning mot en hyra som inte har offererats.

MathForm 8B:s gap är annorlunda och kommer inte att slutas genom att vänta. Dess rapporterade siffror på 88,06 % för syntaxkontroll och 72,37 % för konsistens är en leverantörs siffror på en uppgift med en verifierare, och verifieringen är produkten – vem som helst med modellen och en Lean-installation kan mäta det själv, vilket är mer än vad som kan sägas om de flesta siffrorna på den här sidan. Det är vad ett snävt kontrakt ger dig.

Inget av detta är hypotetiskt: de dokumenterade AI-felen och agentincidenterna bakom släpp som detta samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, tillförlitlighetsgrad och omtvistad flagga.