AREX-2 vs MathForm-8B: En beviskontrollant och en sökloop är olika typer av verifiering

MathForm-8B och AREX-2 är de två mest rigoröst verifierbara modellerna i den här serien, och de verifierar på motsatta sätt. MathForm-8B är OpenBMB:s autoformaliserare med 8 miljarder parametrar, släppt i augusti 2026: ge den ett matematikproblem skrivet på vanlig engelska och den producerar ett formellt korrekt Lean 4-påstående av problemet, som en bevisassistents kompilator sedan kontrollerar. AREX-2 är ett Hugging Face-repositorium som BAAI skapade den 29 september 2026 kl. 17:56 UTC, med en .gitattributes och inga vikter, inget modellkort, ingen licenstagg och inget tillkännagivande — ett reserverat namn för en trolig andra generation av BAAI:s AREX-djupforskningsagenter, vars första generation verifierar sig själv genom att återkontrollera sitt eget svar mot de begränsningar den fick.

Så den intressanta frågan här är inte vilken modell som är bättre. Det är vad det innebär för en modell att vara kontrollerbar, eftersom en av dessa två kontrolleras av en kompilator som inte bryr sig om vad någon tror, och den andra kontrolleras, om familjeprecedensen håller, av en loop som samma modell kör. Den distinktionen kvarstår även om ena sidan av matchen inte har släppts, och det är anledningen till att dessa två överhuvudtaget hör hemma i samma samtal.

Den sida som existerar, och anledningen till att den är kontrollerbar

MathForm-8B har en snäv arbetsbeskrivning, och det är värt att uttrycka den exakt eftersom snävheten är poängen. Det löser inte matematiska problem och gör inte anspråk på att göra det. Det finjusterades på FormalVerse, en korpus med ungefär 367 000 verifierade Lean 4-exempel, och dess träningsbelöning kom från Lean-kompilatorn snarare än från en mänsklig preferensmodell. Givet ett informellt påstående avger den importer, typer och satshuvud — och lämnar själva beviskravet öppet — så att en kompilator kan bekräfta att formaliseringen säger vad det informella problemet sade.

Dess publicerade siffror, alla leverantörsrapporterade av OpenBMB och ingen av dem oberoende reproducerad, är ett genomsnittligt Pass@8 på 88,06 % under en syntaxkontroll och 72,37 % under en striktare konsistenskontroll över sex benchmarks, som sjunker till 63 % och 37 % på de svåraste delmängderna FATE-H och FATE-X. Läs dem som vad de är: en modell som mäts mot ett formellt system, där ett felaktigt svar är ett misslyckande att kompilera snarare än en oenighet om kvalitet. Det är en sällsynt egenskap. De flesta benchmarkpåståenden på den här bloggen vilar på en bedömare som måste betros; detta vilar på aritmetik som en maskin utför.

Den sida som ännu inte existerar, och varför dess verifiering är annorlunda

AREX-2:s enda bekräftbara fakta är organisationen, namnet och tidsstämpeln. Inget har laddats upp och BAAI har inte sagt något. Familjen bakom namnet finns dock, och den släpptes den 23 juli 2026 som AREX-Base – en mixture-of-experts med 122 miljarder parametrar och 10 miljarder aktiva parametrar på en Qwen3.5-122B-A10B-bas – tillsammans med AREX-Turbo, en dense 4B-modell. Båda är Apache 2.0, båda är agenter snarare än chattmodeller.

AREX-designen är ett forskningsramverk med två slingor, och den yttre slingan är ett verifieringssteg. En inre slinga samlar bevis från sökning och surfning, integrerar dem och producerar ett kandidatsvar med en bifogad konfidenssiffra. Den yttre slingan kontrollerar sedan den kandidaten mot de ursprungliga begränsningarna och beslutar: acceptera den, förfina den eller förkasta trajektorian och starta om. Mellan iterationerna upprätthåller modellen ett kontextblock med verifierade fynd, öppna kandidater, olösta begränsningar och nästa plan, vilket är det som gör att den kan följa en lång utredningslinje utan att tappa tråden. BAAI rapporterar 82,5 på BrowseComp, 85,4 på GAIA och 89,9 på DeepSearch QA för Base, och 70,7 / 81,6 / 78,5 för Turbo — leverantörens egna siffror, inte reproducerade.

Det är en verklig och användbar form av självkontroll. Den är också kategoriskt svagare än en kompilator. När den yttre loopen i AREX avgör att ett svar uppfyller dess begränsningar, kommer bedömningen från en språkmodell som läser begränsningarna. När Lean accepterar en MathForm-8B-formalisering, kommer bedömningen från en typkontroll som implementerar en fast kalkyl. Ingen av dem är felfri – en formalisering kan vara giltig Lean som fångar fel teorem – men bara en av dem kan vara fel utan att någon märker det, och skillnaden är inte en gradskillnad.

• Tillgänglighet — MathForm-8B kan laddas ner från OpenBMB med ett publicerat kort. AREX-2 är ett repositorium som inte innehåller några filer.

• Parametrar — 8B tät för MathForm-8B. Okänt för AREX-2; familjen omfattar en 122B mixture-of-experts och en tät 4B.

• Vad den producerar — Lean 4-satsformuleringar för MathForm-8B, med beviset avsiktligt lämnat öppet. Okänt för AREX-2; den första genereringen producerade ett efterforskat svar med en konfidenssiffra.

• Hur det kontrolleras — Lean-kompilatorn, för MathForm-8B. En verifieringsloop inuti samma modell, utifrån bevisen från AREX-Base.

• Licens — OpenBMB:s egna villkor för MathForm-8B; inget har deklarerats ännu för AREX-2. Den första AREX-generationen var Apache 2.0.

• Huvudsiffror — 88,06 % syntaxkontrollerad och 72,37 % konsekvenskontrollerad Pass@8 för MathForm-8B, rapporterat av leverantören. Inga sådana finns för AREX-2.

Två jobb som en stack kan hålla samtidigt

Dessa modeller överlappar inte i funktion, och det är värt att säga det innan någon läser ett "versus" som ett val. MathForm-8B är ett front-end för en bevisassistent. Dess utdata är ett teoremuttalande som en matematiker eller en automatisk bevisare sedan arbetar med. Dess naturliga plats är i en verifieringspipeline för matematik, formella metoder eller specifikationsarbete, där värdet är att ett nedströms verktyg kan konsumera utdata utan att lita på modellen.

AREX-2 är, om det fortsätter sin familj, en backend för frågor som inte har någon kompilator. "Vilken av dessa tre inlagor är oförenlig med de andra två" har inget formellt system att kontrollera den mot, och det enda tillgängliga försvaret är att samla in mer bevisning och ompröva sitt eget resonemang — vilket är vad AREX yttre loop är. Ett team som behöver båda skulle köra dem på olika ställen: formalisering för den del av problemet som kan göras formell, och en sök- och verifieringsagent för den del som inte kan det.

Den uppdelningen är också det ärliga svaret på vilken av dessa du kan agera på den här veckan. MathForm-8B är släppt, dokumenterad och användbar nu. AREX-2 är ett namn.

Hur routingberättelsen ser ut när verifiering är ämnet

Eftersom de två används på så olika sätt delas infrastrukturfrågan också.

För MathForm-8B består arbetsbelastningen av en skur av korta, deterministiska genereringar vars utdata går direkt in i en kompilator. Det som spelar roll är att modellen är nåbar och att ett misslyckat anrop görs om, för en formaliseringspipeline som tappar en förfrågan ser identisk ut med en formaliseringspipeline som misslyckades — och bara en av dessa är ett faktum om modellen. Automatisk failover mellan leverantörer är den specifika funktion som håller dessa två åtskilda. OrcaRouter har varken MathForm-8B eller AREX-2 i dag, så OpenBMB-vikterna kommer från OpenBMB:s egen distribution och varje hostad endpoint tillhör någon annan; det vi erbjuder är routningen framför, med leverantörens listpris vidarebefordrat oförändrat och inget påslag per token.

För en agent som AREX-Base är formen svårare och argumentet för routing starkare. En djupforsknings-trajektoria gör dussintals modellanrop per fråga, där var och en läser om en kontext som växer i takt med att bevisen ackumuleras, och fellägena förstärker varandra: en leverantör som får timeout i steg nitton av tjugofem försämrar inte svaret, den producerar ett självsäkert felaktigt svar. Det är argumentet för att lägga loopen bakom ett API för 200+ modeller med en failover-regel som avgör vid körning, så att en enda dålig leverantör blir ett nytt försök i stället för en felaktig citering.

Det enda man ska se upp med, och det enda man inte ska anta

Tre fakta skulle besvara de flesta av de öppna frågorna om AREX-2, och alla tre är synliga utifrån: om filer dyker upp i det repositoriet, vilket parameterantal kortet uppger, och om det bär den Apache 2.0-tagg som dess två föregångare gjorde. Tills de gör det är det enda försvarbara påståendet om AREX-2 att BAAI reserverade namnet den 29 september 2026 och inte har tillkännagivit något.

Det man inte ska anta är att en andra generation ärver den förstas form. En "2" är ett produktnamn, inte en arkitektur. Den kan vara större än 122B Base, eller så kan den vara en liten destillation av samma ramverk – och med tanke på att familjen redan har lanserat både en kvalitetsnivå och en serveringskostnadsnivå samtidigt, är båda tolkningarna rimliga. Det som inte är rimligt i detta ögonblick är att publicera en specifikation för den.