Intern-S2-Mobius: Het 35B-model dat kennis scheidt van redeneren

Het InternLM-team van het Shanghai AI Laboratory heeft in stilte gepubliceerd Intern-S2-Mobius, een 35B open-weight basismodel dat iets doet wat bijna geen enkel ander vrijgegeven model doet: het stopt met het opslaan van kennis in zijn lagen. In plaats van de standaard Transformer-opzet — waarbij elke laag zijn eigen feed-forward blok vol met gememoriseerde feiten heeft — haalt Mobius al die kennis uit de lagen en plaatst die in een enkele wereldwijd gedeelde Memory, en laat een klein aantal Reasoners er herhaaldelijk queries op uitvoeren. De geclaimde opbrengst is geen hogere benchmarkscore. Het is snelheid: dezelfde antwoorden in ruwweg een derde tot een vijfde van de reasoning-tokens, en tot 4.6x de doorvoer van verzoeken. Deze handleiding legt uit wat Mobius werkelijk is, wat het configuratiebestand onthult dat de modelkaart niet toont, wat de gepubliceerde benchmarks regel voor regel laten zien — inclusief de twee rijen waarin het verliest — waar de claim "4x sneller" opgaat en waar die vervliegt, en voor wie dit in de praktijk van belang is.

Nauwkeurigheidsnotitie: elk onderstaand getal komt uit InternLM's eigen modelkaart, de gepubliceerde prestatie- en efficiëntiecijfers, de implementatiehandleiding en de configuratiebestanden van het model op Hugging Face. Er is op dit moment geen onafhankelijke evaluatie door derden van Intern-S2-Mobius — het model staat op geen enkele onafhankelijke ranglijst, het wordt door geen enkele inferentieprovider ingezet en de downloadteller staat nog steeds op nul. Beschouw alle vergelijkende cijfers als door de leverancier gerapporteerd totdat iemand ze reproduceert. Specificaties en code van zo'n nieuw model veranderen snel; controleer voordat je bouwt.

TL;DR. Intern-S2-Mobius is een multimodaal funderingsmodel met 35 miljard parameters, onder Apache 2.0, dat continu is voorgetraind vanuit Qwen3.5-35B en daarna is nagetraind met SFT en reinforcement learning. Het nieuwe zit in de architectuur: het Mobius-v0-ontwerp vervangt laaggebonden feed-forward-kennisopslag door één wereldwijd gedeeld geheugen van 2.560 experts, geraadpleegd door vier gestapelde Reasoner-blokken die kennis buiten hun eigen diepte kunnen bereiken (een terugwaartse residuale verbinding) en verborgen toestanden verfijnen via terugkerende latente iteratie vóór het decoderen (dynamisch latent redeneren). In InternLM's eigen evaluatie verslaat het het Qwen3.5-35B-basismodel waarop het is gebouwd op zeven van de negen algemene benchmarks (gemiddeld 67.88 tegen 65.05) en overklast het op wetenschappelijke taken (52.14 tegen 18.20), terwijl het redeneersporen produceert die gemiddeld ongeveer 1.5 keer korter zijn — 4.6 keer korter op MMLU Pro, 5.0 keer korter op GPQA Diamond. Die tracecompressie is waar de doorvoerwinst vandaan komt: 2.9 keer bij batch 16, oplopend tot 4.6 keer bij batch 256. De kanttekeningen zijn reëel: het verliest op de twee moeilijkste redeneerbenchmarks (HLE en UGD hard), de doorvoerwinst verdwijnt grotendeels bij competitiewiskunde, en niemand buiten het laboratorium heeft iets ervan geverifieerd.

Belangrijkste conclusies

• Architectuur-eerst release: Mobius-v0 ontkoppelt kennisvectoren van redeneeroperators — één gedeelde Memory van 2.560 experts die vier Reasoner-blokken bedient, in plaats van 40 lagen die elk hun eigen FFN-kennis hamsteren.

• De insteek is efficiëntie, niet intelligentie: de gemiddelde outputlengte daalt ongeveer 1,5x en de requestdoorvoer stijgt van 2,9x bij batch 16 naar 4,6x bij batch 256 ten opzichte van de Transformer-baseline.

• Het verslaat daadwerkelijk zijn eigen basismodel: 67.88 tegen 65.05 gemiddeld op algemene taken, met overwinningen op MMLU Pro (89.05 tegen 85.31), AIME 2026 (95.31 tegen 92.08) en HMMT 2026 (85.51 tegen 78.50).

• Maar het verliest waar doordenken het meest telt: HLE 19.11 vs 22.40 en UGD hard 73.02 vs 78.02 — de twee moeilijkste evaluaties in de set, beide gewonnen door de gewone Transformer.

• De wetenschapssprong is het grootste afzonderlijke resultaat: Biology-Instructions 51.40 vs 3.77, Mol-Instructions 45.73 vs 21.70, MolecularIQ 59.29 vs 29.13.

• Open maar niet beschikbaar: Apache 2.0-gewichten op Hugging Face, geen inference-provider die het host, ~73 GB aan bfloat16-gewichten — self-hosting is momenteel de enige manier om het te draaien.

Wat Intern-S2-Mobius eigenlijk is

Intern-S2-Mobius is een 35B-basismodel gepubliceerd door internlm, de Hugging Face-organisatie achter de Intern-serie van het Shanghai AI Laboratory. De gewichten verschenen op 29 juli 2026 op Hugging Face, en de bijbehorende GitHub-repository — README, implementatiehandleiding en een volledig technisch rapport als PDF — werd openbaar op 5 augustus 2026. Het is uitgebracht onder Apache 2.0, wat ongeveer zo permissief is als open gewichten kunnen zijn: commercieel gebruik, wijziging en herdistributie zijn allemaal toegestaan.

Het is geen fine-tuning. Het is een continue pre-training met architectuurchirurgie. InternLM nam Qwen3.5-35B — Alibaba's open-weight 35B mixture-of-experts-model, uitgebracht op 4 maart 2026 — herstructureerde hoe het model kennis opslaat en ontsluit, zette de pre-training van het resultaat voort en paste daarna supervised fine-tuning en reinforcement learning toe. Die afstamming is belangrijk voor het interpreteren van de benchmarks: elke vergelijking die InternLM publiceert is Mobius tegen het exacte model waaruit het is gegroeid, wat de zuiverst mogelijke ablatie van de architectuurverandering is en ook, handig genoeg, de vergelijking die het model waarschijnlijk het meest vleit.

Het model is multimodaal. Hugging Face classificeert het als image-text-to-text, en de configuratie bevestigt een volledige vision-encoder plus verwerking van videotokens. Het is ook, afgaande op wat er samen met de gewichten wordt meegeleverd, rechtstreeks gericht op wetenschap — daarover hieronder meer.

De Mobius-architectuur, in eenvoudige taal.

Een conventionele Transformer combineert twee taken in elke laag. Attention verplaatst informatie tussen tokens; het feed-forward-netwerk (of, in een mixture-of-experts-model, een reeks expert-FFN's) slaat kennis op. Omdat de FFN zich in de laag bevindt, is de kennis die hij bevat alleen op die diepte bereikbaar. Een feit dat in laag 30 is opgeslagen, kan niet worden geraadpleegd door de redenering die in laag 5 plaatsvindt. Informatie stroomt voorwaarts, laag voor laag, en dat is het enige pad.

Mobius verbreekt die binding. InternLM beschrijft drie gevolgen.

Scheiding van kennis en redeneren. Laaggebonden FFN-opslag wordt vervangen door een wereldwijd gedeelde Memory. In plaats van 40 lagen die elk een deel van de kennis van het model bezitten, is er één pool waar elke redeneerfase gebruik van kan maken. Het argument van InternLM is dat dit de kenniscompressie verbetert — dezelfde feiten hoeven niet op meerdere dieptes redundant opnieuw te worden geleerd — en elke Reasoner een veel bredere kennisruimte biedt dan de FFN van één enkele laag zou kunnen bieden.

Achterwaartse residuele verbinding. Omdat het geheugen gedeeld wordt, bereiken zowel ondiepe als diepe redeneerfasen dezelfde opslagplaats. De toegang tot kennis verloopt niet langer strikt voorwaarts. Een ondiepe fase kan iets binnenhalen dat in een standaard stack pas dertig lagen later beschikbaar zou zijn geweest. De bewering van InternLM is dat dit het model in staat stelt om kennis op verschillende diepten flexibeler te combineren en, cruciaal, nuttige informatie te synthetiseren in minder redeneerstappen. Die laatste zinsnede is de hele these van de release.

Dynamisch latent redeneren. In plaats van elke denkstap te externaliseren als zichtbare chain-of-thought-tokens, verfijnt Mobius zijn continue verborgen toestanden via recurrente latente iteratie voordat het iets decodeert. Een deel van het "denken" gebeurt in de interne representatieruimte van het model in plaats van in gegenereerde tekst, en de hoeveelheid van die interne berekening wordt dynamisch per token toegewezen. Het praktische effect is dat het model minder woorden hoeft te schrijven om tot dezelfde conclusie te komen — en aangezien de generatie autoregressief en sequentieel is, is het schrijven van minder woorden verreweg de meest directe manier om een redeneermodel sneller te maken.

Alles bij elkaar is de pitch een redenerend model dat meer denkt en minder typt.

Wat het configuratiebestand onthult

De modelkaart beschrijft de architectuur in proza. De code>config.json/code> maakt het concreet, en het bevat verschillende getallen die het weten waard zijn.

• Vier Reasoners over 40 lagen. De tekstconfiguratie declareert 40 verborgen lagen, maar slechts vier blokken. De 40 lagen zijn georganiseerd in vier Reasoner-fasen die tegen de gedeelde Memory itereren, in plaats van veertig onafhankelijke kennis-plus-aandachtseenheden.

• 2.560 experts. Dit is de gedeelde Memory, letterlijk gemaakt. Mobius beschikt over 2.560 experts, met 8 geactiveerd per token en een kleine tussenliggende grootte van 512 per expert, plus één gedeelde expert. Ter vergelijking: het zustermodel Intern-S2-Preview gebruikt 256 experts. Een tien keer grotere pool van veel kleinere experts is precies hoe "één wereldwijde kennisopslag in plaats van FFN's per laag" eruitziet wanneer je het als config opschrijft.

• 35B op de doos, ~36B op schijf, ~3B actief. De modelkaart zegt 35B; de safetensors-lezer van Hugging Face rapporteert 36B parameters; de gewichtsindex komt uit op 72,96 GB in bfloat16, wat neerkomt op ongeveer 36,5B. De implementatiegids is het nauwkeurigst: hij noemt de release een 30B-A3B-model — ongeveer 3B parameters actief per token. Zoals bij elke sparse MoE betaal je voor de volledige gewichtenset in het geheugen en krijg je per token de rekenkracht van een klein model.

• Hybride aandacht, 3:1.De laagvolgorde wisselt drie lineaire-aandachtlagen af met één volledige-aandachtlaag, over de hele linie — tien volledige-aandachtlagen van de 40. Lineaire aandacht voorkomt dat het geheugen voor lange contexten en de rekenkracht exploderen; de periodieke volledige-aandachtlagen behouden de exacte recall die pure lineaire aandacht opgeeft. De lineaire lagen gebruiken een convolutiekernel met breedte 4 en een SSM-toestand in float32, het inmiddels standaard recept in gated-delta-stijl.

• 256K context. De maximale positie-embeddings zijn 262.144. Let op de kloof tussen wat de architectuur ondersteunt en hoe deze is geëvalueerd: InternLM draaide zijn tekstbenchmarks op 128K en op 64K voor MMLU Pro, SimpleQA en HLE. Een plafond van 256K is niet hetzelfde als 256K aan gevalideerde kwaliteit.

• Een ingebouwde kop voor multi-tokenvoorspelling. Er is een éénlaags MTP-module met zijn eigen 256 experts. Dit is geen versiering — de implementatiehandleiding raadt aan om te draaien met MTP-speculatieve decodering en vier concept-tokens, dus een deel van het verhaal over snelheid in de praktijk is speculatieve decodering, niet alleen de architectuur.

• Een echte visiontoren. Een vision-encoder met 27 lagen en 1152 verborgen eenheden, patchgrootte 16, 2x2 ruimtelijke samenvoeging en temporele patching voor video, die projecteert in de 2048-dimensionale tekststroom met interleaved multimodale RoPE. Beelden en video erin, tekst eruit.

• Andere specifieke bijzonderheden voor de nieuwsgierigen: 16 aandachtskoppen met een kopdimensie van 256, 2 key-value-koppen (agressieve gegroepeerde-query-aandacht), gated attention-outputs, een gedeeltelijke rotatiefactor van 0,25, RoPE theta van 10 miljoen, en een woordenschat van 251.392 tokens.

De benchmarks, regel voor regel

InternLM werd geëvalueerd met OpenCompass en publiceerde een enkele vergelijking: Intern-S2-Mobius-35B tegen Qwen3.5-35B, het model waarvan het verder is voorgetraind. Negen algemene benchmarks, drie wetenschappelijke.

Bij algemene taken wint Mobius zeven van de negen. MMLU Pro — brede multidomeinkennis met moeilijkere afleiders dan de originele MMLU — scoort 89,05 tegen 85,31, een winst van 3,7 punten en het duidelijkste kennisresultaat in de set. GPQA Diamond, wetenschappelijke vragen op masterniveau die zo zijn opgesteld dat ze niet met Google te beantwoorden zijn, is in wezen een gelijkspel met 80,81 tegen 80,24. IMO Bench, wiskunde op olympiadeniveau, scoort 81,25 tegen 77,50. AIME 2026, het American Invitational Mathematics Examination, scoort 95,31 tegen 92,08. HMMT 2026, het Harvard-MIT Mathematics Tournament, is de grootste wiskundige uitschieter met 85,51 tegen 78,50. AMO scoort 58,00 tegen 50,00. En SimpleQA — korte feitelijke kennis, de benchmark die het meest direct meet of een model dingen echt weet — springt van 21,39 naar 28,90, een relatieve verbetering van 35%, die het allerbeste bewijs vormt voor het argument van InternLM dat 'shared Memory compresses knowledge better'.

Dan de twee verliezen, en dat zijn de interessante rijen. UGD hard gaat de andere kant op: 73,02 voor Mobius tegen 78,02 voor de baseline, een achterstand van vijf punten. En HLE — Humanity's Last Exam, de moeilijkste algemene evaluatie die op grote schaal wordt gebruikt, waar frontier-modellen nog steeds scoren in de tiener- en twintigerjaren — is 19,11 tegenover 22,40. De gewone Transformer wint met 3,3 punten op de benchmark die speciaal is ontworpen om het meeste redeneren te vereisen.

Dat patroon is geen ruis en het is niet verborgen: InternLM heeft het gepubliceerd. De meest plausibele lezing is dat latente redenering een compressie is, en compressie is verliesgevend aan de staart. Het internaliseren van beraadslaging in continue verborgen toestanden werkt prachtig wanneer de beraadslaging veel retrieval vereist of een vertrouwde vorm volgt — wat geldt voor MMLU Pro, SimpleQA en de meeste competitiewiskunde. Bij problemen die echt lange, verkennende, foutcorrigerende denkketens vereisen, blijkt het expliciete token-voor-token-spoor nog steeds zijn kosten waard. Het algemene gemiddelde — 67.88 tegen 65.05 — is een echte winst, maar het is een gemiddelde dat een afruil verbergt, geen uniforme verbetering.

De wetenschappelijke resultaten zijn van een andere orde van grootte. Biology-Instructions gaat van 3.77 naar 51.40. Mol-Instructions, dat moleculair begrip en generatie omvat, gaat van 21.70 naar 45.73. MolecularIQ gaat van 29.13 naar 59.29. Het gemiddelde is 52.14 tegen 18.20. Getallen zoals 3.77 die stijgen naar 51.40 zijn geen architectuurwinsten; ze zijn het kenmerk van gerichte domeintraining op taken die de basislijn simpelweg nooit heeft geleerd uit te voeren. Een score van Qwen3.5-35B onder de 4% op Biology-Instructions betekent dat het de opzet van de taak niet begrijpt, niet dat het slecht is in biologie. Lees die drie rijen als "InternLM heeft een wetenschappelijke specialisatie toegevoegd", wat echt waardevol is en precies het hele punt van de Intern-S-lijn is — maar schrijf het niet toe aan de Mobius-architectuur.

Waar '4x sneller' klopt, en waar niet

De efficiëntieclaim is de reden waarom dit model bestaat, dus die verdient een zorgvuldige lezing. De kop van InternLM luidt: "bijna 4x end-to-end inferentieversnelling." Het gepubliceerde throughputcijfer is informatiever dan de kop, en eerlijker.

Gemeten als verzoekdoorvoer uitgezet tegen de batchgrootte, gemiddeld over benchmarks, verslaat Mobius de Transformer-baseline met 2,9x bij batch 16 en 4,6x bij batch 256. De kloof wordt groter met de batchgrootte, wat je zou verwachten wanneer de winst voortkomt uit het genereren van minder tokens per verzoek: hoe meer verzoeken je samenvoegt, hoe meer de bespaarde decodeerstappen zich opstapelen. De kop "bijna 4x" is een middenpunt van een bereik, geen constante.

Splits het per benchmark op en het beeld wordt scherper. Op MMLU Pro en GPQA Diamond is Mobius dramatisch sneller bij elke batchgrootte — de doorvoercurves lopen onmiddellijk uiteen en blijven divergeren. Op IMO Bench leidt het consequent maar bescheiden. Op AIME 2026 en HMMT 2026 is de baseline-Transformer eigenlijk sneller bij middelgrote batchgroottes, waarbij Mobius pas bij batch 256 voorbijtrekt. Op de moeilijkste wedstrijdwiskunde is het doorvoervoordeel gelijk of slechter over een groot deel van het nuttige werkbereik.

Waarom? Omdat de doorvoer tracecompressie bijna perfect volgt. De gemiddelde uitvoerlengte over de benchmarks heen daalt met ongeveer 1,5x, van ruwweg 20.400 tokens naar ruwweg 13.200. Maar dat gemiddelde bestrijkt een enorm bereik: 4,6x korter op MMLU Pro (ongeveer 1.100 tokens tegenover 5.150) en 5,0x korter op GPQA Diamond (ongeveer 2.600 tegenover 12.900), vergeleken met slechts 1,4x op IMO Bench, 1,5x op AIME 2026 en 1,2x op HMMT 2026. Waar het model zijn denken kan comprimeren, vliegt het. Waar het probleem hoe dan ook 24.000 tokens aan afleiding vereist, kan het model dat niet, en komen de overheadkosten van de architectuur in plaats daarvan naar voren.

De praktische vertaling: als je workload lijkt op kennisophaling, meerkeuzevragen, technische Q&A of classificatie, dan is de versnelling groot en onmiddellijk. Als je workload bestaat uit moeilijke wiskundige of wetenschappelijke afleidingen, reken dan op ongeveer gelijke prestaties en wees aangenaam verrast. Iedereen die "4x sneller" als een algemene eigenschap van het model aanhaalt, citeert een gemiddelde van twee zeer verschillende gedragingen.

De science-stack die zich verbergt in de bestandenlijst

Een van de meest onthullende dingen aan deze release staat helemaal niet in de modelcard — het staat in de bestandslijst van de repository. Naast de gebruikelijke tokenizerbestanden levert Intern-S2-Mobius drie extra domeintokenizers: code>tokenizer_PROT.model/code> voor eiwitsequenties, code>tokenizer_SMILES.model/code> voor molecuulstructuren in SMILES-notatie, en code>tokenizer_XNA.model/code> voor nucleïnezuursequenties. Er staat ook een verdwaalde NumPy-array met seismische gegevens in de repository.

Dedicated tokenizers voor eiwitten, moleculen en DNA/RNA zijn niet iets dat je zomaar toevoegt. Ze betekenen dat het model is getraind om die sequentietypen als eersteklas invoer te lezen, in plaats van als gewone tekst die toevallig letters bevat. Dat is wat van een 3.77 een 51.40 maakt op Biology-Instructions, en het plaatst Mobius in dezelfde familie als zijn zustermodel Intern-S2-Preview, dat tijdreeksen en visuele modaliteiten toevoegde en, volgens InternLM, het eerste open-source model was met de mogelijkheid om materiaalkristalstructuren te genereren.

Voor een general-purpose-ontwikkelaar is dit triviaal. Als je werkt in de computationele biologie, cheminformatica of materiaalwetenschap, is het misschien wel de belangrijkste zin in dit artikel: dit is een klein, Apache-2.0, zelf-hostbaar model dat van nature SMILES en eiwitsequenties spreekt.

Waar het zich bevindt in de Intern-familie

The Intern-S-lijn is Shanghai AI Laboratory's wetenschappelijke multimodale serie. {{1}}Intern-S1 vestigde het format.{{/1}} {{2}}Intern-S1-Pro schaalde het op naar de biljoen-parameterklasse.{{/2}} {{3}}Intern-S2-Preview, kort voor Mobius uitgebracht, is de efficiënte keuze: een model met 36B totaal en 3B actieve parameters, met 256 experts en een context van 262K, waarvan InternLM stelt dat het op de kern van professionele wetenschappelijke taken gelijk staat aan de biljoenschaal van S1-Pro{{/3}} — een ruwweg 30x kleinere parameteromvang voor vergelijkbare wetenschappelijke capaciteit.

Intern-S2-Mobius is een derde ding: een architectuur release die de naam Intern-S2 draagt. De 'v0' in Mobius-v0 doet hier echt werk in dat label — dit is de eerste publieke iteratie van een ontwerp, nog geen volwassen productlijn. Het sluit aan op ArchSpace, het open platform van InternLM voor het valideren van LLM-architectuurinnovaties, met als expliciet doel 'het omzetten van LLM-architectuurverkenning in herbruikbare kennis voor de community', met peer review en gepubliceerde resultaten, waaronder negatieve. Mobius is hoe dat programma eruitziet wanneer een voorstel doorstroomt van een 1B-schaalproef naar een 35B-model dat je daadwerkelijk kunt downloaden. Een volledig technisch rapport wordt meegeleverd met de GitHub-repository voor wie de afleidingen wil.

Zo gelezen zijn de twee benchmarkverliezen een eigenschap van de release, geen schande. Dit is een lab dat een architectuurexperiment eerlijk publiceert, inclusief de punten waar het achteruitging.

Hoe het uit te voeren

Intern-S2-Mobius wordt ondersteund door drie inferencestacks, en de implementatiegids geeft voor elk werkende aanroepen.

LMDeploy is het aanbevolen pad en de enige die de handleiding op een enkele GPU toont: serveer met de PyTorch-backend, code>--trust-remote-code/code>, tensor-parallellisme van 1, en MTP-speculatieve decodering ingeschakeld via het speculatieve algoritme qwen3_5_mtp met vier draft-tokens. vLLM wordt getoond met tensor-parallellisme van 2, de qwen3 reasoning-parser, de qwen3_coder tool-call-parser, automatische toolkeuze, en MTP-speculatieve decodering met vier speculatieve tokens. Transformers werkt voor basale inferentie via code>AutoModelForImageTextToText/code> met code>trust_remote_code=True/code> en bfloat16 — let op: het model wordt geleverd met aangepaste modelcode, dus het uitvoeren van externe code is verplicht, en de configuratie is gericht op Transformers 5.2.

De aanbevolen samplingparameters van InternLM zijn temperature 0.8, top-p 0.95, top-k 50 en min-p 0.0 — warmer dan de bijna-gulzige instellingen die de meeste redeneermodellen willen, wat het waard is om te respecteren in plaats van uit gewoonte te overschrijven.

Wat hardware betreft: ruwweg 73 GB aan bfloat16-gewichten plus KV-cache en activaties betekent dat een enkele 80 GB-accelerator krap is en een enkele 141 GB-kaart comfortabel, wat vermoedelijk de reden is waarom het vLLM-voorbeeld twee GPU's gebruikt terwijl het LMDeploy-voorbeeld uitgaat van één grote. Werk met lange contexten zal dat verder opdrijven. Schakel MTP in — de handleiding beveelt het expliciet aan, en een aanzienlijk deel van de geadverteerde snelheidswinst zit daarin, niet in de basisarchitectuur.

De belangrijkste praktische kanttekening: geen enkele inferentieprovider host dit model momenteel. Het providerpaneel van Hugging Face zegt dit duidelijk, en de downloadteller stond nog op nul toen dit werd geschreven. Er is geen API-endpoint, geen prijs per miljoen tokens en geen beheerde manier om het uit te proberen. Self-hosting is vandaag de dag de enige optie.

Wie zou zich hier eigenlijk druk om moeten maken?

1. Teams die grootschalige, retrieval-gerichte redeneerworkloads draaien

Dit is het profiel waarvoor de architectuur is gebouwd. Als je grote batches technische Q&A, documentanalyse, gestructureerde extractie of meerkeuzeclassificatie verwerkt via een reasoning-model, en je rekening wordt gedomineerd door reasoning-tokens die je de gebruiker nooit laat zien, dan is een model dat in een vijfde van het aantal tokens hetzelfde antwoord bereikt een directe kostenbesparing. De MMLU Pro- en GPQA-cijfers — 4,6x en 5,0x kortere traces met gelijke of betere nauwkeurigheid — hebben precies deze vorm. Benchmark het tegen je eigen verkeer voordat je het gelooft, maar het mechanisme is degelijk en de prikkel is groot.

2. Computationele wetenschapsgroepen

Native protein-, SMILES- en nucleïnezuur-tokenizers, plus grote gemeten winsten op biologie- en moleculaire benchmarks, in een Apache 2.0-model dat op één of twee GPU's past. Voor een laboratorium dat gegevens on-premises moet houden en geen moleculaire structuren naar een commerciële API kan sturen, is die combinatie zeldzaam. De Intern-S-lijn is hiernaartoe opgebouwd, en Mobius is tot nu toe het goedkoopste instappunt.

3. Onderzoekers en architectuurwatchers

Het ontkoppelen van kennis en redeneren en latent redeneren zijn al een tijdje actieve onderzoekslijnen; zeer weinig zijn gevalideerd op 35B en openlijk vrijgegeven met de faalgevallen intact. Als je je interesseert voor waar post-Transformer-architecturen naartoe gaan, zijn het technisch rapport en de twee verliezende rijen interessanter dan de gemiddelde score. ArchSpace is expliciet gebouwd om dit soort resultaten herbruikbaar te maken.

Wie er voorlopig nog geen aandacht aan hoeft te besteden: iedereen die op zoek is naar een productieklare algemene assistent. Er is geen gehost endpoint, geen onafhankelijke evaluatie, geen ecosysteem-tooling en geen trackrecord. Dat is geen kritiek op het model — het is een beschrijving van een onderzoeksrelease die één week oud is.

Hoe het in een productiestack past

De eerlijke plaatsing voor Intern-S2-Mobius is vandaag evaluatiekandidaat, niet standaardmodel. Het is een niet-gehost, niet-geverifieerd, één week oud onderzoeksartefact met een werkelijk interessante architectuur en één heel specifieke sterkte — token-efficiënte redenering bij retrieval-gerichte taken — plus een echte specialisatie in wetenschappelijke sequentiegegevens.

Een verstandig patroon is om je productieverkeer op een leveranciersneutraal endpoint te houden, zoals OrcaRouter, dat je één OpenAI-compatibele API geeft voor veel modellen, en Mobius apart op je eigen GPU's te zetten voor de smalle niche waar het zou kunnen winnen. Meet wat er voor dit model echt toe doet: niet alleen nauwkeurigheid, maar tokens besteed per juist antwoord. Dat is de as waarop Mobius is geoptimaliseerd, en het is de as die de meeste evaluatieomgevingen negeren. Als het standhoudt op je workload, heb je een zelf-gehoste route die goedkoop is om te draaien en juridisch onbezwaard. Als dat niet zo is, heb je een dag GPU-tijd verloren en is je productiepad nooit veranderd.

Dezelfde logica geldt in omgekeerde richting als een provider het uiteindelijk host: een router laat je een nieuw model A/B-testen tegen je huidige model zonder iets te herschrijven, wat precies de juiste manier is om een architectuur te adopteren die niemand onafhankelijk heeft getest.

Beperkingen en kanttekeningen

Begin met de grootste: er is geen onafhankelijke verificatie van wat dan ook in de cijfers van dit artikel. Elke benchmark, elke doorvoercurve en elke tokenlengtevergelijking komt van InternLM. De vergelijking is ook structureel gunstig — Mobius wordt alleen gemeten tegen de specifieke basislijn waarvan het continu is voorgetraind, niet tegen de huidige top, en de extra SFT- en RL-natraining betekent dat de vergelijking geen zuivere architectuur-ablatie is, ook al wordt hij als zodanig gepresenteerd. Een deel van de winst komt van Mobius; een deel is simpelweg meer training.

De regressies zijn reëel en ze zitten op de moeilijkste taken. 3,3 punten verliezen op HLE en 5 punten op UGD hard, terwijl je bijna al het gemakkelijkere werk wint, is een samenhangende en enigszins zorgwekkende signatuur voor een model waarvan het verkoopargument redeneerefficiëntie is.

Operationeel gezien is de wrijving aanzienlijk. Aangepaste modelcode betekent code>trust_remote_code/code> en een allernieuwste Transformers-versie. De frameworks die dit ondersteunen moeten recent genoeg zijn om te weten wat een code>interns2_mobius/code> is, en InternLM's eigen handleiding waarschuwt dat dit referentieconfiguraties zijn die actief in ontwikkeling zijn. Ongeveer 73 GB aan gewichten is geen laptopmodel. Er is geen gehoste API, geen prijzen, geen snelheidslimieten en geen SLA — omdat er geen service is.

Tot slot, merk op wat niet is gepubliceerd: geen multimodale benchmarkresultaten ondanks een volledige vision-encoder, geen long-context-evaluatie ondanks een 256K-plafond, helemaal geen codeerbenchmarks, geen veiligheids- of alignment-evaluatie, en geen vergelijking met enig ander model dan Qwen3.5-35B. Voor een implementatie voor algemene doeleinden zijn dat grote hiaten. Voor een architectuurpaper met bijgeleverde gewichten zijn ze simpelweg buiten de scope — en dat is de juiste manier om deze release te lezen.

Veelgestelde vragen

Wat is Intern-S2-Mobius?

Een multimodaal fundatiemodel met 35B-parameters, onder Apache 2.0-licentie, van het InternLM-team van het Shanghai AI Laboratory, gebouwd op de Mobius-v0-architectuur die kennisopslag scheidt van redeneerberekening. Het werd continu voortgetraind op basis van Qwen3.5-35B en onderging post-training met SFT en reinforcement learning, en werd op 29 juli 2026 op Hugging Face gepubliceerd.

Wat maakt de Mobius-architectuur anders?

Conventionele Transformers slaan kennis op in een feed-forward-blok in elke laag, waardoor kennis alleen bereikbaar is op de diepte waar deze zich bevindt. Mobius vervangt dat door één wereldwijd gedeelde Memory — 2.560 experts in de vrijgegeven configuratie — dat vier Reasoner-blokken herhaaldelijk bevragen, waardoor kennis toegankelijk wordt over de diepte heen en een deel van de overweging kan plaatsvinden in continue verborgen toestanden in plaats van gegenereerde chain-of-thought-tokens.

Is Intern-S2-Mobius echt 4x sneller?

Gemiddeld en bij grote batchgroottes is dat ruwweg ja: InternLM meet een 2,9x hogere verzoekdoorvoer bij batch 16, oplopend tot 4,6x bij batch 256. Maar het varieert enorm per taak. Op MMLU Pro en GPQA Diamond is de winst groot bij elke batchgrootte; bij AIME- en HMMT-wedstrijdwiskunde is de baseline Transformer bij middelgrote batchgroottes juist sneller. De versnelling volgt hoeveel het model zijn redeneerspoor kan inkorten.

Hoe verhoudt het zich tot Qwen3.5-35B?

Het wint zeven van de negen algemene benchmarks met een gemiddelde van 67.88 tegen 65.05, waaronder MMLU Pro (89.05 vs 85.31), AIME 2026 (95.31 vs 92.08), HMMT 2026 (85.51 vs 78.50) en SimpleQA (28.90 vs 21.39). Het verliest UGD ruim (73.02 vs 78.02) en HLE (19.11 vs 22.40). Bij wetenschappelijke taken ligt het ver voor — 52.14 gemiddeld tegen 18.20.

Kan ik Intern-S2-Mobius gebruiken via een API?

Momenteel niet. Geen enkele inference-provider host het, er is geen gepubliceerde prijs, en Hugging Face vermeldt geen deployment. Self-hosting met LMDeploy, vLLM of Transformers is vandaag de enige manier om het te draaien.

Welke hardware heb ik nodig om het te draaien?

De gewichten zijn ongeveer 73 GB in bfloat16, dus reken op één accelerator van de 141 GB-klasse of twee GPU's van 80 GB, plus ruimte voor KV-cache. InternLMs LMDeploy-voorbeeld gebruikt tensorparallellisme van 1; het vLLM-voorbeeld gebruikt 2. Het wordt aanbevolen om MTP-speculatieve decodering met vier concept-tokens in te schakelen.

Wat is de contextlengte ervan?

De configuratie ondersteunt 262.144 tokens (256K). Merk op dat InternLM op 128K is geëvalueerd bij de meeste tekstbenchmarks en op 64K bij MMLU Pro, SimpleQA en HLE, dus gevalideerde kwaliteit op de volledige 256K is niet aangetoond.

Is het multimodaal?

Ja. Hugging Face classificeert het als image-text-to-text, en de configuratie bevat een vision-encoder met 27 lagen en ondersteuning voor videotokens. InternLM heeft bij deze release echter geen multimodale benchmarkresultaten gepubliceerd, dus de vision-mogelijkheid is in de praktijk niet gedocumenteerd.

Waarom levert het eiwit- en SMILES-tokenizers mee?

Omdat de Intern-S-lijn een wetenschappelijke modelfamilie is. Speciale tokenizers voor eiwitsequenties, SMILES-molecuulnotatie en nucleïnezuren betekenen dat het model deze formaten als native invoertypen leest, en daarom scoort het 51,40 op Biology-Instructions, waar de basislijn 3,77 scoort.

Is de licentie echt Apache 2.0?

Ja — Apache 2.0, met het licentiebestand in de repository. Commercieel gebruik, modificatie en herdistributie zijn toegestaan, wat aanzienlijk permissiever is dan veel open-weight-releases van grote labs.

Moet ik het in productie gebruiken?

Nog niet. Het is een week oud, niet gehost, door geen enkele derde partij geverifieerd, en er ontbreken evaluaties voor coderen, multimodale taken, lange context en veiligheid. Behandel het als een evaluatiekandidaat voor token-efficiënt redeneren of wetenschappelijk sequentiewerk, houd productieverkeer op gevestigde modellen via een leveranciersneutraal eindpunt, en kom erop terug wanneer er onafhankelijke cijfers beschikbaar zijn.

Kortom

Intern-S2-Mobius is een van de oprecht interessantere modelreleases van het jaar, en bijna niets daarvan heeft te maken met zijn scores. InternLM nam een echt architectonisch idee — stop met het binden van kennis aan lagen, plaats het in één gedeeld geheugen, en laat het model een deel van zijn denken in de latente ruimte doen in plaats van in tokens — schaalde het naar 35B, trainde het naar behoren, en bracht de gewichten uit onder Apache 2.0, samen met het technisch rapport en de resultaten die niet in hun voordeel uitvielen. Het efficiëntiemechanisme is goed te volgen en het bewijs ervoor is intern consistent: traces worden gemiddeld 1,5x korter en tot 5x korter bij kennisintensieve taken, en de doorvoer stijgt in exact de verhouding die je op basis daarvan zou voorspellen.

De kanttekeningen zijn even duidelijk. Niemand buiten het Shanghai AI Laboratory heeft ook maar één getal geverifieerd. De vergelijking is met de eigen basis van het model en omvat extra post-training, dus het is niet de zuivere ablatie die het lijkt. De versnelling verdwijnt grotendeels bij moeilijke wiskunde. Het model verliest op de twee meest veeleisende redeneerbenchmarks in zijn eigen tabel. En er is geen manier om het uit te proberen zonder GPU's te huren.

Dus: geen model om deze week uit te rollen, maar zeker een om in de gaten te houden, en een echt aantrekkelijke optie voor twee specifieke doelgroepen — teams wier rekening voor het redeneren wordt gedomineerd door tokens die niemand leest, en wetenschappelijke groepen die een klein, permissief gelicentieerd model nodig hebben dat van nature eiwitten en moleculen spreekt. Houd de productiestack op bewezen modellen via een vendor-neutraal eindpunt zoals OrcaRouter, zet Mobius op je eigen hardware voor de specifieke toepassing, en meet tokens per correct antwoord in plaats van alleen nauwkeurigheid. Als de architectuur de onafhankelijke toetsing doorstaat, zal Mobius-v0 minder herinnerd worden als een 35B-model dan als het versienummer vóór het versienummer dat er echt toe deed.