AlphaProof Code vs TwIL-LM3-Pro: Ett ramverk du inte kan köpa kontra en modell du knappt kan ladda ner

Det mest användbara att veta när man jämför AlphaProof Code och TwIL-LM3-Pro är att ingen av dem är en produkt. AlphaProof Code är Google DeepMinds agentiska ramverk för formell verifiering, publicerat den 10 november 2026 med Lean-artefakterna från en fyra veckor lång verifiering av Signals kompilerade libsignal-binär och utan någon endpoint bakom sig. TwIL-LM3-Pro är webAIs formallogiska resonemangsmodell med 3,66 miljarder parametrar, som funnits på Hugging Face sedan den 3 september 2026, vars vikter ligger bakom ett formulär för e-postförfrågan och en licens som förbjuder kommersiell användning. Den ena ställer frågan "kan jag överhuvudtaget få tag på det här?"; den andra "kan jag köra det tillräckligt billigt för att det ska spela någon roll?". För alla som arbetar med formella metoder är båda frågorna de aktuella, och inget av svaren är ett ja.

Vad TwIL-LM3-Pro är, mekaniskt

Strip the marketing and TwIL-LM3-Pro is a dense Granite decoder: forty layers, hidden size 2,560, forty attention heads against eight key-value heads, derived from IBM's granite-4.2-3b. The real parameter total is 3,659,737,600, and the 131,072-token context is the base model's, carried through unchanged. It emits a <think>…</think> block before answering and was evaluated with greedy decoding at a 2,048-token budget.

Träningsstacken är ovanligt väl dokumenterad för att vara en modell av den här storleken: en övervakad finjustering med rank-64 LoRA på en syntetisk korpus med formell logik, multipath-destillation för flera resonemangsspår per prompt, sammanslagning av checkpoints i parameterrummet i stället för att ta den slutliga checkpointen, en WiSE-FT-interpolering vid α = 0,15 som slås samman tillbaka mot basen med TIES och DARE-SLERP, och ett entropivägt GRPO-steg som webAI kallar MGPO mot en programmatisk verifierare, kört till steg 2580. Den publicerade artefakten är den sammanslagna policyn, vilket är den praktiska detaljen: du kan köra den i bf16 vid 6,82 GiB, eller som en Q4_K_M GGUF vid 2,09 GiB på en CPU eller 4 GB VRAM.

Den där sista meningen är hela värdepropositionen. En 3,66B-modell som körs på en bärbar dator och svarar på frågor om formell logik är en annan typ av objekt än ett verifieringsramverk som krävde fem forskare, fyra veckor och team på 40 till 80 agenter. TwIL-LM3-Pro är den billiga änden av formellt resonemang; AlphaProof Code är den dyra änden av formellt säkerställande. De är inte utbytbara, och jämförelsen är bara värd att göra eftersom folk fortsätter att sortera in båda under "AI för formella metoder".

Vad benchmarkarna på varje sida faktiskt fastställer

TwIL-LM3-Pros kort rapporterar fyra sammanfattningsrader på sin egen Track A: en macro gate på 0,5539, strict-7 på 0,2879, ett sexfiligt medelvärde på 0,5389 och macro_primary på 0,5875. Mot Qwen3-8B är macro gate 0,5539 mot 0,5336, och kortet skriver den mening som en marknadsföringssida skulle ha strukit: gate-försprånget på 0,020 är mindre än samplingsbruset vid n = 200 per fil, så den raden är likvärdighet, inte en vinst. Där det inte är oavgjort:

• Strict-7 — 0,2879 mot Qwen3-8B på 0,2093, och den här raden använder ingen kredit för lös matchning någonstans, så tur med formateringen kan inte åstadkomma det.

• Strikt MCQ — 0,4100 mot 0,0000, den största skillnaden mellan banorna i de elva rapporterade raderna.

• Regelinduktion — 0.4195 vs 0.3680.

• Korpusanpassning — den lägsta lm_corpus-perplexiteten för någon arm på 2,3130, jämfört med 2,5478.

• Held-out-svit – kortet är rakt på sak: "TwIL-LM3-Pro leder den inte." Makrot för de 10 dataseten är 0,7901, statistiskt i nivå med dess egen bas på 0,7942 och klart efter Qwen3-8B på 0,8493 och gpt-oss-120b på 0,8689.

Ytterligare två förbehåll som kortet självt anger: Track A-genereringar uppgår i genomsnitt till 1 902 tokens mot 564 för föregångaren, varav 24,2 % når längdtaket, vilket kortet kallar "vägledande snarare än exakt"; och genomströmningssiffrorna mättes på en nyare vLLM än jämförelsekolumnerna.

AlphaProof Code har ingen sådan tabell, eftersom det inte besvarar en fråga som en tabell kan besvara. Påståendet är att en specifik binärfil – libsignal v0.105.4 med spqr v1.6.0, byggd av rustc 1.98.1, statiskt länkad, en enda AArch64-körbar fil – uppfyller tio symboliska satser och ett beräkningsspår med en konkret gräns, bevisad med ungefär 6,5 miljoner rader Lean och kontrollerad av kärnan. Den jämförbara valideringen är negativtestet: två verkliga, tidigare åtgärdade buggar återinfördes i en isolerad kopia, och båda gav maskinkontrollerade bevis på osäkerhet. Det är ingen poäng. Det är en demonstration av att systemet kan skilja korrekt kod från trasig kod, vilket är ett starkare påstående än TwIL:s 0,2879 på strict-7 och ett mycket snävare sådant – en binärfil, en specifikation, en vecka av fem personers tid.

Licensen, som är den faktiska beslutspunkten

TwIL-LM3-Pro levereras under en licens som förbjuder kommersiell användning och distribueras via tre kanaler som inte är likvärdiga. Vikterna finns på Hugging Face. Checkpointen revideras med jämna mellanrum – den nuvarande kom den 30 september 2026. Och den 1 oktober 2026 publicerade webAI en LiteRT-LM-build för inferens på enheten för Android och iOS, vilket är kanalen som gör siffran 2,09 GiB GGUF meningsfull för en telefonapplikation. En av de tre kanalerna är ett formulär, och om din användning är kommersiell bör du läsa licensen innan du läser benchmarktabellen.

Distributionsfrågan för AlphaProof Code är annorlunda och kan hävdas vara värre. Artefakterna är publicerade på github.com/google-deepmind/code-verification – Lean-utvecklingen, AArch64-semantiken på 7 578 rader som täcker 467 instruktioner och 31 systemanrop, libsignal-bindningen, de symboliska och beräkningsmässiga specifikationerna – och landningssidan anger ingen licens alls. Det är inte "permissivt"; det är olöst. Blogginlägget säger bara att DeepMind släpper verifieringsartefakterna som öppen källkod för gemenskapens användning. Innan du bygger en pipeline ovanpå en Lean-utveckling utan licens bör du fråga någon.

Så: en artefakt är en modell som du inte får använda kommersiellt; den andra är en kodbas vars villkor inte anges. För en hobbyist är den första användbar. För ett företag är ingen av dem ett grönt ljus.

Var och en faktiskt skulle placeras i en pipeline

TwIL-LM3-Pro resonerar kring formell logik som text. Ge den en bevisobligation, ett regelsystem och en uppsättning premisser; den producerar en härledning i form av prosa och symboler som en människa läser. Det är ett resonemangshjälpmedel, och kortets egen benchmark-svit – regelinduktion, strikt flerval, korpuspassning – är byggd kring den uppgiften.

AlphaProof Code resonerar inte över logik i text. Dess agenter skriver Lean, och Lean-koden kontrolleras. De två stegen är i princip komplementära: en liten modell som föreslår formen på en specifikation, en stark allmän modell som granskar den, och en proof-agent-harness som sluter den mot en kernel. Det som saknas mellan dem är en brygga – TwIL-LM3-Pro har inte utvärderats för generering av Lean-påståenden, och inget i dess kort tyder på att den har tränats för det. Dess naturliga granne i den stacken är MathForm-8B, OpenBMB:s Lean 4-autoformaliserare, inte ett verifieringsramverk.

DeepMinds egen redogörelse för den mänskliga flaskhalsen är det intressanta här. Innan något bevisarbete började översatte forskarna Signals säkerhetsmål till formella specifikationer med en blandning av modeller, och en expert granskade varje specifikation. En liten, snabb, lokal modell som på ett trovärdigt och billigt sätt kunde utarbeta dessa formuleringar skulle vara genuint användbar i det skedet – och skulle fortfarande behöva expertgranskningen, eftersom en felaktig specifikation ger ett bevis för fel teorem, perfekt verifierat.

Vad du kan köra idag, och vad det kostar

• TwIL-LM3-Pro – vikter på begäran från Hugging Face under en icke-kommersiell licens; ett på-enheten-bygge av LiteRT-LM sedan 1 oktober 2026; inget hostat API från webAI som jag kan verifiera. Kör lokalt med 6,82 GiB bf16-vikter eller 2,09 GiB vid Q4_K_M.

• AlphaProof Code — går inte att köra. Artefakter publicerade, ingen endpoint, inga vikter, inget pris, ingen väntelista, ingen licens angiven.

• Modellerna i AlphaProof Code – proof-agenterna kördes på G​emini 4 Carbon, som vi inte tillhandahåller; Claude Opus 5.5 användes bland de modeller som utarbetade och granskade specifikationer och finns i OrcaRouters katalog till $4 per miljon inputtoken och $20 per miljon outputtoken, leverantörens listpris vidarebefordrat med 0 % påslag.

• Modellerna som TwIL-LM3-Pro mäts mot – modeller i Qwen3-8B-klassen är den vanliga jämförelseuppsättningen för en formallogisk checkpoint på 3,66B, och poängen med att sätta dem bakom en enda nyckel är att en arbetsloop för specifikationsutkast kan skicka samma åtagande till en liten specialist och en generalistmodell och diffa resultaten utan ett andra avtal. Modellfusion gör samma sak i ett anrop: en panel som svarar tillsammans, vilket ungefär är vad DeepMind-teamet gjorde med en blandning av modeller i specifikationsfasen.

Det ärliga omdömet är att du förmodligen inte behöver någon av dem.

Om du vill ha formell verifiering av produktionskod är AlphaProof Code en artikel och en Lean-utveckling. Läs den, citera den och planera inte en sprint kring den – DeepMinds egen formulering är att skalning av tekniken "kräver fortsatt forskning", och artikeln säger att processen har betydande utrymme för optimering. Mediantiden till en ren byggning är timmar, och en ändring på en rad i källkoden kan utlösa omfattande bevisreparationer.

Om du vill ha en liten modell som resonerar kring formell logik på en laptop finns TwIL-LM3-Pro på riktigt, körs kvantiserad på 2,09 GiB, och dess eget kort berättar var den ligger lika snarare än vinner. Kolla licensen innan du kollar benchmarkarna, för licensen är den kortare läsningen och den mer avgörande.

Det båda släppen har gemensamt är en form som är värd att lägga märke till: frontlinjen för formella metoder drivs framåt i det mycket dyra segmentet av ett labb med hundratals agenttimmar att spendera, medan det prisvärda segmentet producerar små modeller med snäv kompetens och icke-kommersiella villkor. Mitten — ett kommersiellt verktyg som tar en specifikation och returnerar ett kontrollerat bevis för kod du äger, till ett pris som ett team kan budgetera för — är fortfarande tom. Det gapet, inte gapet mellan dessa två artefakter, är det som är värt att bevaka.