Muse Glimmer vs DeepSeek V4 Pro: De twee uitersten van open weights

Ergens in de kleine lettertjes van de DeepSeek V4 Pro-release staat een getal dat iedereen zou moeten storen die denkt dat 'goedkope open gewichten' en 'geweldig in agentische codering' hetzelfde zijn. Op DeepSWE, een contaminatievrije benchmark die is gebouwd om bestand te zijn tegen de manipulatie van trainingsgegevens die software-engineering-evaluaties teistert, scoorde DeepSeek V4 Pro — het 1,6 biljoen parameters tellende Mixture-of-Experts-vlaggenschip dat op 24 april 2026 onder MIT werd uitgebracht — 8 procent. GPT-5.5 scoorde 70 op dezelfde test; Claude Opus 4.7 scoorde 54. Het is het meest schadelijke onafhankelijke datapunt dat verbonden is aan het meest succesvolle verhaal over goedkope modellen in de industrie, en het is belangrijk voor deze krachtmeting omdat Muse Glimmer, Meta's 30B open-gewichtsmodel voor agenten dat op 10 augustus 2026 onder Apache 2.0 werd uitgebracht, een open-gewichtsmodel is waarvan de volledige ontwerpopdracht het langetermijn-agentische werk is dat DeepSWE meet — en waarvan de enige scores tot nu toe zijn gegenereerd door het bedrijf dat het heeft gemaakt.

Dit is dus een vergelijking van twee modellen aan tegenovergestelde uiteinden van het open-gewichten-spectrum, op meer manieren dan alleen grootte. De ene is een datacenter-MoE die je voor een paar centen huurt. De andere is een desktopdownload die niets kost behalve de GPU. De ene heeft een onafhankelijke staat van dienst met daarin een catastrofaal agentisch resultaat. De andere heeft helemaal geen onafhankelijke staat van dienst. Dit stuk zet beide recht en laat de kloof tussen "door leverancier gerapporteerd" en "onafhankelijk aangetoond" het woord doen.

Het getal dat je zorgen zou moeten baren.

DeepSWE is het waard om te begrijpen voordat je naar de opvallende cijfers kijkt, omdat het de test is die niet beloont wat gememoriseerd kan worden. Het is ontworpen om contaminatie te voorkomen — de praktijk van evalueren op data die het model al tijdens de training heeft gezien — en het voert lange, realistische software-engineeringtaken uit die aanhoudende meerstapsuitvoering vereisen, niet het terughalen van patronen. De 8 procent die DeepSeek V4 Pro daar behaalt, is geen mening; het is het gemeten resultaat van een onafhankelijke evaluatie, en het is een heel ander beeld dan de eigen tabel van de leverancier schetst, waarin hetzelfde model 80,6 scoort op SWE-bench Verified, 93,5 op LiveCodeBench en een Codeforces-rating van 3.206 die de 3.168 van GPT-5 overtreft. De kloof tussen die twee beelden is het hele verhaal achter waarom 'open gewichten, goedkope tokens' en 'goed in agentische codering' afzonderlijk moeten worden geverifieerd.

Muse Glimmer heeft geen DeepSWE-score. Het heeft geen enkele onafhankelijke score van welke aard dan ook — het is vanmorgen uitgebracht, en de volledige benchmarktabel is die van Meta zelf, uitgevoerd door Meta tegen concurrerende opstellingen waarvan het toegaf ze niet te hebben afgesteld. Het eerlijke label voor elk Glimmer-cijfer in dit stuk is door de leverancier gerapporteerd. Maar het ontwerp van het model is precies gericht op de faalmodus die DeepSWE blootlegt: autonoom herstel van fouten, meerstappenplannen, toolgebruik over een lange horizon. Of dat ontwerp het overleeft in contact met een onafhankelijke test is de open vraag van deze confrontatie, en niemand kan die nog beantwoorden.

Twee uiteinden van open gewichten

Begin met wat 'open' voor elk betekent, want dat is niet hetzelfde. DeepSeek V4 Pro is een MoE met in totaal 1,6T aan parameters, met ongeveer 49B actieve parameters per token, een contextvenster van 1M tokens, tot 384K outputtokens, en uitsluitend tekstinvoer — geen vision. De onder MIT-licentie vrijgegeven gewichten zijn vrij verkrijgbaar, maar self-hosting is een datacenterproject: de BF16-checkpoint is in de orde van terabytes, dus in de praktijk is DeepSeek V4 Pro iets dat je huurt, via DeepSeek's API of die van een derde partij. Muse Glimmer is een dense model van 30B, multimodaal — tekst plus beeld via een perceptie-encoder — onder Apache 2.0, waarvan de 4-bit-checkpoint plus de DFlash-drafter in ongeveer 19,5 GB past. Het ene is een open-weight model dat je deployt; het andere is een open-weight model dat je downloadt en draait op een enkele 24GB- of 32GB-kaart, of op een high-end Mac uit de M-serie. Beide zijn echt open gewichten. Verder hebben ze bijna niets gemeen wat betreft hoe je ze zult gebruiken.

De gespleten persoonlijkheid van de reus

De kracht van DeepSeek V4 Pro ligt in de geïsoleerde benchmark. Wiskunde en kennis: GPQA Diamond 90,1, AIME 2026 96,4, MMLU-Pro 87,5. Programmeren in gecontroleerde omgevingen: SWE-bench Verified 80,6, LiveCodeBench 93,5. Ook de long-context-needle-in-a-haystack is sterk — 83,5 op MRCR bij 1M tokens, vóór Gemini 3.1 Pro op die test. Maar op de rijen die aanhoudende agentische uitvoering meten, barst het beeld. Terminal-Bench 2.0 komt uit op 67,9, toolgebruik op Toolathlon 51,8, en onafhankelijke aggregator-ranglijsten plaatsen de standaardbuild in het midden van het peloton bij de agentische en codeercategorieën, zelfs terwijl de redeneercijfers dicht bij de top blijven. Het DeepSWE-resultaat van 8 procent is de barst tot in het extreme.

De door de leverancier gerapporteerde tabel van Muse Glimmer wijst de andere kant op: de sterkste rijen zijn de agentische. MCP-Atlas 75.5, DeepSearch QA 74.6, GAIA2 43.3, SWE-bench Verified 76.0, SWE-bench Pro 51.2, Terminal-Bench 2.1 51.7. Tegenover DeepSeeks geverifieerde-codercijfers — 80.6 SWE-bench Verified, 93.5 LiveCodeBench, 90.1 GPQA Diamond — verliest Glimmer op bijna elke rij die in een benchmarktabel telt. De modellen zijn goed in verschillende soorten dingen, en het soort dingen waarvan Glimmer beweert goed in te zijn, is precies het soort dingen waarvan DeepSeeks onafhankelijke staat van dienst zegt dat de goedkope-reuzenaanpak verkeerd doet.

Wat elk ervan eerlijk kost

De gepubliceerde catalogusprijs van DeepSeek V4 Pro is $1,74 per miljoen input-tokens en $3,48 per miljoen output, met input bij cache-hit rond $0,145. De permanente korting van DeepSeek — aanvankelijk gepresenteerd als promotioneel en daarna behouden — brengt het effectieve tarief op ongeveer $0,44 voor input en $0,87 voor output, goedkoop genoeg dat de prijs per token bijna ophoudt de beslissende factor te zijn, en goedkoop genoeg om te verklaren waarom het voor een groot deel van de industrie de standaard budgetkeuze is. Die prijsstelling is live via de eigen API van de leverancier en verschillende platforms van derden, en op OrcaRouter wordt ze doorgegeven tegen 0% opslag — de catalogusprijs van de provider, zonder toegevoegde marge — dus een prijsverlaging van DeepSeek is dezelfde dag op de modelpagina zichtbaar, wat de eerlijke manier is om het met al het andere in de catalogus te vergelijken.

Muse Glimmer kost nul per token, en de werkelijke kosten zitten in de hardware: een 24GB- of 32GB-GPU met de RTX 5090 als referentiepunt, of een volledig uitgeruste M-serie Mac. Als je die bezit, zijn de marginale kosten van een altijd actieve lokale agent alleen de elektriciteit. Als je die niet bezit, is de GPU de kostenpost — en voor veel teams is die eenmalige aanschaf goedkoper dan zelfs het gereduceerde tarief van DeepSeek over de levensduur van een altijd actieve agent, terwijl voor anderen het per-token-model wint, omdat ze de 1M-context en de 384K-output willen die een lokaal model van 19,5GB niet kan bevatten. De prijsvergelijking wordt pas duidelijk zodra je beslist in welke implementatieomgeving je daadwerkelijk werkt.

De onderliggende politiek

Het is de moeite waard om de context te benoemen, omdat die bepaalt in hoeverre je de tabel van welke leverancier dan ook moet vertrouwen. In het essay dat Zuckerberg bij de release van Muse Glimmer schreef, "The Future is for Everyone", werden DeepSeek, samen met Qwen en Moonshot, expliciet genoemd als de Chinese open-model labs waartegen Amerikaanse releases met open gewichten moeten concurreren, en riep hij op tot soepelere Amerikaanse regelgeving voor open-source AI. Meta positioneert Glimmer als het binnenlandse antwoord op de golf van goedkope open-weights modellen. Die framing is reëel, en het is precies het soort situatie waarin benchmarks van de leverancier zelf de meeste scepsis verdienen — beide partijen verkopen een nationaal verhaal samen met een model. Het tegengewicht is de onafhankelijke meting die er al is voor DeepSeek (inclusief de 8 procent), en de onafhankelijke meting die er nog niet is voor Glimmer.

Wie moet wat runnen

De twee modellen zijn geen substituten; de beslissing is vooral een vraag over de deployment-envelope, verkleed als benchmark. Als je workload hongerig is naar tokens en context — massale input, lange outputs, wiskunde en kennis op schaal — dan is DeepSeek V4 Pro tegen het gereduceerde tarief een van de beste kosten-prestatiedeals in de catalogus, en doet het 8-procent-DeepSWE-resultaat er minder toe voor workloads die geen langdurige agentische codering betreffen. Als je workload een altijd-actieve lokale agent is — hoogfrequent, privaat, interactief, tool-calling — dan is Muse Glimmer de vorm van het antwoord, met de kanttekening dat de agentische claims nog volledig zelfgerapporteerd zijn en een onafhankelijke test nodig hebben. Als je workload beide is — en de meeste echte agent-stacks zijn dat — dan vormen de twee modellen twee lagen van één systeem: de lokale 30B voor het snelle, private, hoogfrequente pad, en de ingehuurde MoE voor het zware werk met lange contexten.

Wat deze vergelijking zou beslechten, in grove volgorde van snelheid: {{1}}een onafhankelijk Glimmer-resultaat op een contaminatievrije langehorizontest zoals DeepSWE, wat het allerbruikbaarste getal is dat aan deze vergelijking ontbreekt{{/1}}; {{2}}een tweede onafhankelijke reproductie van DeepSeeks 8 procent om te bevestigen dat het geen toevalligheid van de opzet was{{/2}}; en {{3}}de eerste provider die een Glimmer-endpoint opzet, het moment waarop een splitsing tussen lokaal en gehuurd ophoudt hypothetisch te zijn en iets wordt dat je met één sleutel kunt aansluiten{{/3}}. Tot die tijd is de eerlijke samenvatting kort. DeepSeek V4 Pro is de reus met open gewichten, met een bewezen goedkoop-tokenverhaal en een specifieke, gemeten zwakte. Muse Glimmer is de nieuwkomer met open gewichten wiens hele pitch precies op die zwakte is gericht — en wiens enige bewijs tot nu toe zijn eigen woord is.