Beam 1.0 vs MathForm 8B: De fouten van één model worden opgevangen door een compiler

Vraag MathForm 8B om een stelling te formaliseren en het antwoord is ofwel een Lean 4-statement dat compileert of een dat dat niet doet. Vraag Beam 1.0 om een bug te repareren en het antwoord is een diff die werkt of een die dat niet doet, en het verschil tussen die twee dingen is het hele verschil tussen deze modellen. MathForm 8B is OpenBMB's autoformaliseringsmodel met 8,19 miljard parameters, gebouwd op A​libaba's Qwen3-8B en getraind op FormalVerse, een corpus van ongeveer 367.000 geverifieerde Lean 4-voorbeelden, via supervised fine-tuning gevolgd door reinforcement learning op Lean-compilatie en feedback over semantische consistentie; het werd gepubliceerd op 14 augustus 2026 onder Apache 2.0. Beam 1.0 is Reflection's sparse mixture-of-experts-model met 501,3 miljard parameters, waarvan 23,4 miljard actief per token, aangekondigd op 5 oktober 2026 en op 16 oktober 2026 uitgebracht als downloadbare gewichten, eveneens onder Apache 2.0. De grootteverhouding is 61 op één en het is het minst interessante getal op de pagina.

Het interessante is dat MathForm 8B uitvoer produceert die een machine kan beoordelen zonder wie dan ook te vertrouwen, en Beam 1.0 doet dat niet. Alles hieronder volgt daaruit.

Wat elk model gevraagd wordt te produceren

MathForm 8B heeft één outputcontract. Het neemt een wiskundige bewering in gewoon proza aan en retourneert een Lean 4-bewering — een header, een benoemde stelling, de hypothesen en het doel. De trainingspijplijn is rond die vorm gebouwd: Mathlib-kennisretrieval om de bewering te verankeren in bestaande definities, compilatie en semantische verificatie om slechte kandidaten af te wijzen, iteratieve verfijning om ze te repareren, en daarna trajectreconstructie om de overlevende voorbeelden om te zetten in trainingsdata. Het paper rapporteert het model op 88,06% gemiddelde Pass@8 onder syntaxcontrole en 72,37% onder consistentiecontrole over zes benchmarks. Dat zijn de cijfers van OpenBMB, door niemand anders gereproduceerd, en gewogen naar de makkelijkere sets in de evaluatie — maar het zijn cijfers over een taak die een juist antwoord heeft.

Beam 1.0 heeft geen dergelijk contract. Het is een algemeen model: zijn kaart beschrijft de chat-template, het Harmony-achtige wire-formaat met analyse- en final-kanalen, zes niveaus van reasoning-inspanning die worden gekoppeld aan tokenbudgetten van 8, 32, 64, 128, 256 en 512, en een tool-calling-conventie waarbij functies worden gedeclareerd als platte TypeScript en aangeroepen in XML-bodies. De evaluatie ervan omvat agentic coding (SWE-bench Verified 81,6% op BF16, Terminal Bench v2.1 80,1, SWE Bench Pro v1 66,1, DeepSWE v1.1 43,3), redeneren (GPQA Diamond 90,6, AIME 2026 97,7, LiveCodeBench 88,3), toolgebruik (MCP Atlas 80,8) en algemene capaciteit (LongBench v2 67,5, IFBench 79,6). Elk cijfer is van Reflection zelf. Of de code die het schrijft *correct* is, wordt vastgesteld door die uit te voeren, te reviewen of te shippen en erachter te komen.

Dus: de fouten van het ene model kondigen zichzelf aan. Die van het andere zijn gewone softwarefouten die later opduiken, tijdens review of in productie, en eruitzien als elke andere bug die je ooit hebt gehad.

De benchmarks overlappen niet, en dat is de bevinding.

Zet de twee evaluatiesets naast elkaar en er valt bijna niets af te trekken.

• Waarop Beam 1.0 wordt gescoord — het oplossen van issues op repositoryschaal, terminaltaken, competitief programmeren, wetenschapsvragen op masterniveau, orkestratie van tools, het terughalen uit lange contexten en het opvolgen van instructies.

• Waarop MathForm 8B wordt gescoord — Pass@8-formalisatienauwkeurigheid onder een syntaxchecker en onder een semantische-consistentiechecker, over zes wiskundige benchmarks, tegen de gespecialiseerde 7B-tot-32B-baselines uit het artikel.

• De overlap — vrijwel nul. Er is geen rij waarin beide modellen door dezelfde partij op dezelfde taak zijn gemeten, en die zal er ook niet zijn, omdat het ene op algemene capaciteit wordt gemeten en het andere op één verifieerbare transformatie.

• De enige gedeelde dimensie die conceptueel bestaat — redeneren — wordt gemeten op verschillende populaties. De 90,6 van Beam 1.0 op GPQA Diamond is een meerkeuzescore voor wetenschap. Het consistentiepercentage van 72,37% van MathForm 8B is een formalisatiecontrole. Geen van beide voorspelt de andere.

Dit is waarom een groottevergelijking hier misleidend zou zijn in plaats van louter onflatteus. Beam 1.0 is eenenzestig keer zo groot als het model, en het kan de taak van MathForm 8B helemaal niet uitvoeren zonder daarvoor getraind te zijn — het outputcontract is smal genoeg dat algemene capaciteit geen vervanging ervoor is. Een 501B-generalist die wordt gevraagd een Lean-theorema met een naam en een correcte header te produceren, zal iets produceren dat plausibel lijkt en vaak onjuist is, wat voor een bewijsassistent de slechtst mogelijke faalmodus is.

Wat je moet hebben om een van beide te kunnen draaien

MathForm 8B erft de licentie van Qwen3-8B, die de Hub registreert als Apache 2.0, en dit is het praktische argument ervoor: 8,19 miljard dense parameters, een uitsluitend Engelstalig model, een vernauwing van het generatiebudget tot Lean-output in plaats van algemeen redeneren, en een download in plaats van een cluster. De basis, Qwen3-8B, is wat een lezer anders zelf zou hosten — een algemene 8B met een native context van 32K die uitbreidbaar is tot 131K en dekking van 119 talen. MathForm 8B ruilt bijna alles daarvan in voor één vaardigheid.

Beam 1.0 moet ergens onderdak krijgen. De modelkaart vermeldt 52 lagen, 256 experts, waarvan er acht per token worden gerouteerd, een vocabulaire van 152.000 tokens, een kenniscutoff van 30 juni 2026 en een contextvenster van 1.000.000 tokens. Het wordt geleverd in drie gewichten — BF16 met 501,3B, FP8 met 501,3B, NVFP4 met 255B — plus een 2B DFlash2-drafter voor speculatieve decoding. Er staat geen aanbeveling voor serving op de kaart en nergens op de eigendommen van Reflection staat een gepubliceerde API-prijs; de pagina van Artificial Analysis voor het model vermeldt de prijsvelden als niet beschikbaar en merkt op dat er geen openbaar beschikbare API bestaat. De vierbits-build is wat dit een plausibele aankoop maakt in plaats van een hypothetische, en het blijft nog steeds een GPU-gesprek.

OrcaRouter routeert geen van beide modellen, en deze pagina impliceert het tegendeel niet. Wat wij routeren is de aangeboden tier waar die twee buiten vallen: meer dan 200 modellen achter één enkele OpenAI-compatibele sleutel tegen de lijstprijs van de provider met 0% markup, zodat een prijsverlaging van een leverancier uw factuur bereikt op de dag dat die wordt aangekondigd. Voor een team wiens echte behoefte een model is dat vandaag antwoordt in plaats van een checkpoint dat morgen compileert, is dat de rij die deze vergelijking niet kan bieden.

Het verschil in verifieerbaarheid, in gewone bewoordingen

Hier wordt de asymmetrie uiteengezet als een operationeel feit, niet als een benchmark.

Een output van MathForm 8B komt terecht in een pipeline met een poort. De Lean-compiler accepteert de stelling of verwerpt deze. Semantische consistentiecontrole slaagt of faalt. Een slechte output kan automatisch worden weggegooid, en het model kan in een agent-loop worden achtergelaten die opnieuw probeert totdat iets wordt geverifieerd — wat precies is wat de RL-fase het heeft geleerd te doen. De prijs van een fout antwoord is een afgewezen sample, niet een uitgeleverd defect. Dat is een werkelijk zeldzame eigenschap in het huidige open-weights-veld, en daarom kan een gespecialiseerd 8B-model nuttiger zijn dan een algemeen model dat honderd keer zo groot is, binnen een pipeline met de vorm van formele wiskunde.

De outputs van Beam 1.0 hebben geen dergelijke poort. De evaluatietabel kan je vertellen hoe vaak het een GitHub-issue op SWE-bench heeft opgelost, maar niet of de patch die het voor jouw repository schrijft correct is, want dat is een vraag over jouw tests. De modelkaart is ongewoon specifiek over het wire-formaat en ongewoon stil over de nauwkeurigheidsvraag, en dat is een goede beschrijving van waar het vakgebied zich bevindt: de tooling rond agentische codeermodellen is goed in het uitvoeren van code en slecht in het certificeren ervan.

Als je domein een checker heeft — een typesysteem, een bewijsassistent, een schema, een simulator — dan is een specialist die op die checker is gericht vaak de download met het meeste rendement. Is dat niet het geval, dan koop je capaciteit en betaal je de evaluatie zelf, en het grotere algemene model is het model dat je daar meer van biedt.

Kiezen tussen hen

Kies MathForm 8B als het werk formalisering is en niets anders — het omzetten van een corpus van wiskundig proza naar Lean 4 dat een bewijsassistent accepteert, op een schaal waarop een mens ze niet allemaal kan controleren. De voetafdruk van 8,19 miljard parameters, Apache 2.0-voorwaarden en de beperkte outputvorm zijn daar allemaal voordelen. Kies het niet voor iets anders: het chat niet, het schrijft geen proza dat het waard is om uit te brengen, het behandelt 119 talen niet zoals zijn basismodel dat doet, en het heeft geen gedocumenteerde capaciteiten buiten de ene transformatie waarvoor het is getraind.

Kies Beam 1.0 als het werk van de algemene agentische soort is — problemen oplossen in grote repositories, tools aansturen, lange meerstapsplannen uitvoeren — en als je de hardware of een serveerpartner hebt voor een 501B MoE. De context van 1M tokens, de gepubliceerde evaluatietabel en de vier-bits checkpoint zijn allemaal gericht op die workload. Reken op de reasoning-tokens: de template heeft geen uit-schakelaar, de standaard geserveerde waarde is het maximale inspanningsniveau, en het verwijderen van reasoning uit eerdere beurten wordt gedocumenteerd als het verslechteren van de output.

Kies beide als je de pijplijn bouwt waar dit artikel echt over gaat. Het patroon dat zinvol is, is een algemeen model om het ambigue werk te doen en een verifieerbare specialist om het deel met een poort te doen — en de twee rollen falen op verschillende manieren, wat de enige reden is dat het de moeite waard is om beide te hebben.

Waar deze vergelijking er over drie maanden anders uit zal zien

Er ontbreken twee rijen en beide zijn dateerbaar. De eerste is een onafhankelijke evaluatie van de gewichten van Beam 1.0, die op 16 oktober 2026 mogelijk werd en nog niet heeft plaatsgevonden; elk cijfer dat deze pagina aan Reflection toeschrijft, is nog steeds afkomstig uit één bron. De tweede is de prijs van Beam. Een model met een evaluatietabel van 501 miljard parameters en geen verbruikstarief is een model waarvoor de meeste teams geen budget kunnen opstellen, en totdat Reflection of een partner die de service aanbiedt er een publiceert, is de eerlijke kostenvergelijking tussen deze twee een download tegenover een huur waarvoor nog geen prijs is opgegeven.

Het gat van MathForm 8B is anders en zal niet kleiner worden door te wachten. De gerapporteerde cijfers van 88,06% voor syntaxiscontrole en 72,37% voor consistentie zijn leverancierscijfers bij een taak met een verificator, en de verificatie is het product — iedereen met het model en een Lean-installatie kan het zelf meten, wat meer is dan gezegd kan worden over de meeste cijfers op deze pagina. Dat is wat een beperkt contract je oplevert.

Niets daarvan is hypothetisch: de gedocumenteerde AI-fouten en agent-incidenten achter releases zoals deze zijn verzameld in the OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en markering voor betwisting bevat.