MAI-Base-2 Pre-training afgerond: Microsofts claim van 4–12x efficiëntie, minus het model

Het getal dat op 15 oktober de ronde deed, was "3T". MAI-Base-2, het nieuwe eigen foundationmodel van Microsoft AI, is het model erachter — en het eigen technische bericht van het bedrijf zet het op 2,8 biljoen totale parameters, waarvan 80 miljard actief. De afronding is gering; het nuttigere is wat hetzelfde bericht wel en niet bevat. MAI-Base-2 heeft de pre-training afgerond, ondergaat momenteel post-training, en er is geen checkpoint, geen prijs, geen licentie en geen datum aan verbonden. De kopclaim is een voordeel van 4–12x in pre-training-FLOPs-efficiëntie ten opzichte van DeepSeek-V4-Pro-Base, de enige vrijgegeven basis-pretrainingscheckpoint met meer dan een biljoen parameters. Alles aan die bewering is een leveranciersschatting, en het bericht is ongewoon expliciet over hoe die tot stand is gekomen. Dit is wat het openbare dossier ondersteunt per 16 oktober 2026 — en de twee getallen daarin die Microsoft niet in de kop heeft gezet.

Wat Microsoft daadwerkelijk heeft gepubliceerd, en wat niet.

De primaire bron is een Lab Notes-bericht op de eigen site van Microsoft AI, gedateerd 15 oktober 2026, met de titel "Frontier Pre-training bij Microsoft AI". Mustafa Suleyman kondigde het diezelfde middag aan met de woorden dat MAI nu "state-of-the-art vooraf getrainde basismodellen in de gewichtsklasse van 3T-parameters, volledig in-house bij MAI gebouwd" heeft, en sloot af met "resultaten van post-training komen binnenkort". Dat is de hele basis van het verhaal, en het is een bedrijf dat zijn eigen werk beschrijft — de technische claims hieronder zijn door niemand buiten MAI gereproduceerd, en er is geen onafhankelijke evaluatie van dit model in openbare bronnen.

Wat nog niet bestaat, is het deel dat de meeste lezers willen:

• Gewichten — geen. Geen repository, geen checkpoint, geen kwantisatie, geen enkele download.

• Een product of een API — geen. Er is geen endpoint, geen prijspagina, geen modelkaart.

• Een licentie — niet vermeld. De post zegt dat het bezit van de pijplijn "ons in staat zal stellen om onze modelgewichten via Foundry aan vertrouwde partners in licentie te geven", wat een verklaarde intentie is, niet een aankondiging.

• Een datum — geen voor post-trainingsresultaten, geen voor Foundry-beschikbaarheid, geen voor MAI-Base-3.

• Benchmarks die iedereen opnieuw kan uitvoeren — geen. Het evaluatieoppervlak wordt beschreven, en de ruwe scores worden niet gepubliceerd in een vorm die een derde partij kan reproduceren.

De nauwkeurige beschrijving van MAI-Base-2 vandaag is dus één woord: onvoltooid. Pre-training — de dure, maandenlange fase waarin ruwe tekst en afbeeldingen worden omgezet in een basismodel — is klaar. Post-training is waar een basismodel iets wordt waarmee een persoon kan praten, en die fase loopt nu. Het onderscheid is belangrijk, want precies daar zitten de interessante faalmodi, en omdat een basis-checkpoint en een chatmodel geen vergelijkbare objecten zijn.

Wat "4–12x meer FLOPs-efficiënt" in werkelijkheid meet

Dit is de bewering die overal zal worden herhaald, dus het loont om precies te zijn over de vorm ervan, want het is geen rechtstreekse benchmarkmeting.

De definitie, uit het bericht: Microsoft vergelijkt vooraf getrainde modellen op achtergehouden tekst met behulp van bits-per-byte, een tokenizer-agnostische maatstaf — lager is beter. Achtergehouden code is afkomstig uit MAI's eigen codebase; de STEM-, Math- en Q&A-sets zijn uitbesteed aan externe leveranciers "om het risico op contaminatie van de trainingsset te verkleinen," en alle evaluatiesets werden gedecontamineerd ten opzichte van de trainingsdata. Dat is een zorgvuldigere evaluatiebeschrijving dan de meeste lanceringsberichten bevatten, en het is nog steeds het bedrijf dat zijn eigen werk beoordeelt op zijn eigen achtergehouden sets.

Het efficiëntiecijfer wordt dus afgeleid, niet rechtstreeks gemeten. Voor elk van vier held-out-evaluaties fitte MAI een schaalwet van bits-per-byte tegen trainings-FLOPs over zijn interne modelladder, nam de eigen eindprestatie van MAI-Base-2 op in de fits zodat het matchpunt binnen het gefitte bereik valt in plaats van erbuiten, en schatte hoeveel rekenkracht een model op zijn ladder nodig zou hebben om DeepSeek-V4-Pro-Base te evenaren. Vergeleken met de werkelijke trainingsrekenkracht van dat model is het antwoord 4,2–12,3x FLOPs-efficiënter; tegenover MAI-Base-1, dat in juni werd uitgebracht, is de verbetering 6,3–12,7x. De "4–12x" uit de kop is dat eerste bereik, afgerond.

Drie dingen hieraan zijn het waard om aan vast te houden:

• Het is een schatting op basis van een gefitte curve, niet twee modellen die onder gecontroleerde omstandigheden zijn getraind. De post is hier openhartig over, inclusief het detail dat het referentiemodel "nog steeds met aanzienlijk minder FLOPs wordt getraind dan MAI-Base-2."

• De vergelijkingsset is door de regel beperkt. Alleen modellen met ten minste één biljoen totale parameters, en alleen frontier-checkpoints die vóór oktober 2026 beschikbaar waren, kwamen in aanmerking. DeepSeek-V4-Pro-Base is het enige vrijgegeven basis-pretrainingscheckpoint dat in aanmerking kwam.

• Drie van de namen waarmee het wordt vergeleken, bestaan alleen als post-trained checkpoints. Kimi K3, Qwen3.8-2.4T-A95B en MiMo-V2.6-Pro-RL worden gerapporteerd met een expliciet voorbehoud van de leverancier dat post-training de evaluaties kan hebben beïnvloed. Een nieuw base-checkpoint vergelijken met post-trained modellen op een next-token-predictionmaatstaf is geen gelijkwaardige vergelijking, en Microsoft zegt dat ook in plaats van de grafiek de indruk te laten wekken dat het anders is.

Niets daarvan maakt de bewering onjuist. Het maakt er een bewering van — het soort dat een lezer als een aanwijzing zou moeten beschouwen totdat iemand het reproduceert.

Het rekennummer dat Microsoft wegliet

De post geeft alles wat nodig is om de trainingsrun van MAI-Base-2 te berekenen, en berekent die vervolgens niet. De run betrof 16.000 GB200 GPU's gedurende 38 dagen in augustus en september 2026, bij 21% gemiddelde model-FLOPs-benutting, waarbij de benutting is genormaliseerd tegen GB200's theoretische 2,5 PFLOPS in BF16.

Vermenigvuldig die met elkaar — 16.000 accelerators bij 2,5 × 10¹⁵ FLOPs per seconde, maal 38 dagen, maal 0,21 — en de run impliceert ruwweg 2,8 × 10²⁵ FLOPs aan trainingscompute. Dat cijfer is onze eigen berekening op basis van de eigen inputs uit het bericht, niet een getal dat Microsoft heeft gepubliceerd. Het is een ondergrens, omdat de eigen definitie van MFU in het bericht de FLOPs uitsluit die aan rematerialisatie en aan de optimizer worden besteed. En die ligt ruim boven de drempel van 10²⁵ FLOPs die de EU AI Act gebruikt als vermoeden van systemisch risico voor een AI-model voor algemene doeleinden: ongeveer twee tot drie keer die grens, uit één enkele pre-training-run.

Om duidelijk te zijn over wat dat wel en niet betekent: er rust geen verplichting op een model waartoe niemand toegang heeft. De relevantie is dat het compute-totaal het enige cijfer in het bericht is dat een kwestie is van rekenwerk op basis van gepubliceerde inputs in plaats van een geschatte waarde, en wanneer het model dat deze basis erft uiteindelijk wordt uitgebracht — via Microsofts eigen producten of aan Foundry-partners — is dit het getal waarop toezichthouders zich zullen baseren.

Wat zit er eigenlijk in het model

Haal het efficiëntieargument eruit en de post is een vrij gedetailleerd verslag van drie engineeringproblemen, en dat is het deel met blijvende waarde, ongeacht wie een benchmark wint.

• Schaal — een MoE-basismodel met 80 miljard actieve en 2,8 biljoen totale parameters, groter en spaarzamer dan MAI-Base-1.

• Mixture of experts in elke laag — MAI-Base-1 wisselde dense feed-forward blokken af met MoE-blokken omdat de MoE-implementatie niet snel genoeg was om meer te rechtvaardigen. Het oplossen van geheugenfragmentatie bij dynamische routing en overhead per expert, plus het groeperen van berekening en communicatie per expertgroep, verhoogde de MFU van de MoE-laag van 24% naar 35%, wat ervoor zorgde dat MoE in elke laag de tijdoptimale keuze werd.

• Dropless MoE met vast geheugen — in plaats van overflowtokens te laten vallen of te overalloceren voor het slechtste geval, groepeert MAI experts en voert extra dispatch-compute-collect-rondes uit voor overflow, waarbij ongebruikte capaciteit van andere experts in dezelfde groep wordt geleend. Het geheugengebruik is statisch bij willekeurige routingonbalans; het argument in het bericht tegen het laten vallen van tokens is dat dit meetbaar ten koste gaat van de kwaliteit.

• Muon op schaal — de optimizer wordt opnieuw geshard, naar BF16 gecast, all-to-all uitgewisseld, lokaal georthogonaliseerd en teruggegeven. Na de optimalisatie was het goed voor 2,1% van de gemiddelde trainingsiteratie, ofwel 165 ms, tegen een theoretische piek van 55 ms, die volgens het bericht door communicatie wordt beperkt. Muon werd boven AdamW verkozen vanwege stabielere dynamica.

• Clipping van activatiegradiënten — clipping bij geselecteerde activaties in plaats van op de globale batchnorm, waardoor gradiëntnormen in een veel nauwere band bleven dan die van MAI-Base-1, en het voordeel groeide met de schaal. Het bleek ook een diagnosemiddel voor datakwaliteit: een misvormd trainingsvoorbeeld met een licentiekop die midden in een zin was afgebroken, herleid via een pull request voor codedata, bracht een voorverwerkingsbug aan het licht die sindsdien is verholpen.

• Data — een corpus dat ongeveer 36% groter is dan dat van MAI-Base-1 in unieke trainingstokens, dat een mengsel van 50 biljoen tokens voedt, met een kennisafsluitdatum van maart 2026. Het bedrijf zegt dat de pijplijn organische data is zonder distillatie uit andere modellen, intern verwerkt, en dat zijn eigen crawler robots.txt respecteert en bronnen op de USTR Notorious Markets-lijst uitsluit.

• Visie vanaf het begin — anders dan MAI-Base-1 wordt dit model native met visie vooraf getraind via een encoderloze architectuur. Het visie-taalcorpus bevat 4,5 biljoen unieke tokens en was goed voor 18% van het mengsel van 50 biljoen tokens, variërend van beeldbeschrijving, grafieken begrijpen, visuele grounding, ruimtelijk redeneren, medisch begrip, computergebruik en bladmuziek lezen.

Er zijn ook de hyperparameter-schalingswetten, in gesloten vorm gepubliceerd: de optimale leersnelheid maal weight decay is 17,04 gedeeld door het aantal trainingsstappen, de optimale leersnelheid volgt een log-lineaire functie van tokens per actieve parameter en stappen, en dropout is een sigmoïde van de logaritme van actieve parameters. Het publiceren daarvan is het meest herbruikbare onderdeel van het bericht — een schalingsladder waarvan de treden alleen door het aantal lagen worden benoemd, waarbij de hidden size vastligt op 256/3 keer het aantal lagen en query-heads gelijk zijn aan het aantal lagen, afgerond op het dichtstbijzijnde veelvoud van 16, is een recept dat andere labs kunnen testen.

Waarom een basis-checkpoint geen product is, en wat er daarna gebeurt

MAI-Thinking-1, het redeneermodel dat Microsoft eerder dit jaar introduceerde, werd nagetraind bovenop MAI-Base-1. In het bericht staat dat MAI-Base-2 nu "de basis vormt voor onze volgende generatie modellen", wat betekent dat het model dat mensen daadwerkelijk kunnen gebruiken niet MAI-Base-2 is — het is wat Microsoft erbovenop natraint, en die naam is nog niet aangekondigd.

Het distributiekanaal is ook al bepaald, en het betreft geen open weights. Het uiteengezette plan is om gewichten te licentiëren "aan vertrouwde partners via Foundry", wat een zakelijke inkooproute beschrijft in plaats van een download. Niets in het bericht belooft openbare gewichten, en de nadruk op dataherkomst en het ontbreken van distillatie leest als voorbereidend werk voor precies dat soort gelicentieerd aanbod.

Dan is er MAI-Base-3. De enige zin in de post daarover is dat "de voorbereidingen voor MAI-Base-3 al aan de gang zijn." Geen parameters, geen rekenkracht, geen data, geen datums — een signaal op de roadmap in plaats van informatie. Wat het wel vaststelt, is de cadans: MAI-Base-1 uitgebracht in juni, de pre-training van zijn opvolger naar verluidt voltooid medio oktober, en de volgende cyclus al in voorbereiding. Een generatie basismodellen ongeveer elke vier maanden, op deze schaal, is de ingrijpender bewering in de post dan welke enkele benchmarkrij dan ook.

Wat je vandaag kunt bellen

Niets in het MAI-Base-2-verhaal is aanroepbaar, en het is de moeite waard om ronduit te zeggen dat geen van Microsofts MAI-modellen vandaag in de catalogus van OrcaRouter staat — we hosten ze niet, en een basischeckpoint is sowieso geen geserveerd model. Wat de post je wel geeft, is een vergelijkingsset, en het grootste deel van die set is nu bereikbaar. Het referentiemodel in Microsofts efficiëntieclaim, het post-getrainde DeepSeek V4 Pro, staat in onze catalogus, net als Kimi K3 en Qwen3.8-Max, twee van de open-weightmodellen waartegen MAI-Base-2 is gemeten.

Dat maakt de bewering goedkoop testbaar. Eén API voor 200+ modellen betekent dat het vergelijken van wat je daadwerkelijk kunt aanroepen geen tweede contract of een tweede SDK vereist, en omdat OrcaRouter de lijstprijzen van providers doorgeeft met 0% opslag in plaats van er een opslag op te zetten, is een prijswijziging van een van die leveranciers dezelfde dag nog bij ons live. Als je een workload wilt draaien over de post-getrainde versies van deze modellen voordat je besluit of je wilt wachten op wat Microsoft ook bovenop MAI-Base-2 uitbrengt, is dat de vergelijking die een benchmark voor basismodellen je niet kan geven — en de routing-DSL laat je verkeer tussen hen verplaatsen via configuratie in plaats van code wanneer het antwoord verandert.

Wat zou dit stuk veranderen?

Vier dingen, in volgorde van hoeveel ze zouden uitmaken.

Het eerste zijn resultaten van post-training. Alles in het bericht van 15 oktober beschrijft een vooraf getraind artefact; of het model erachter goed is in het opvolgen van instructies, het aanroepen van tools of het voeren van een lang gesprek, is een aparte vraag die niet in het openbaar is gesteld.

De tweede is elke vorm van toegang — een Foundry-vermelding met een prijs, een aankondiging van een partner, of gewichten met een licentie eraan verbonden. Op dat moment is dit geen onderzoeksrapport meer en wordt het een inkoopbeslissing.

Het derde is onafhankelijke meting. Bits-per-byte op de eigen codebase van de leverancier, met door de leverancier in opdracht gegeven STEM- en wiskundesets, is vandaag de dag niet iets dat een extern lab kan controleren. Een derde partij die de scaling-law-vergelijking met DeepSeek-V4-Pro-Base reproduceert, zou de efficiëntieclaim beslechten; tot die tijd is het een geloofwaardige, goed gedocumenteerde, zelfgerapporteerde schatting.

Het vierde is een detail over MAI-Base-3. 'De voorbereidingen zijn aan de gang' is een zin, geen specificatie, en de generatie na de volgende is het punt waarop de cadans van vier maanden al dan niet standhoudt.

De beperkte, accurate samenvatting: Microsoft heeft de pre-training van zijn grootste interne model afgerond, een ongewoon technisch verslag gepubliceerd van hoe het dat deed, een efficiëntievoordeel geclaimd ten opzichte van het beste open base-checkpoint, een trainingsrun van ongeveer 2,8 × 10²⁵ FLOPs onthuld op basis van rekenwerk dat het zelf niet in het bericht uitvoerde, en niets uitgebracht dat iemand kan gebruiken.

Benchmarks verouderen en prijzen veranderen; het faalregister niet: de gedocumenteerde AI-incidenten en agentfouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding haar eigen bronnen, ernstniveau, betrouwbaarheidsklasse en betwistingsmarkering bevat.