
WeMM-Video-9B: waarom de 4-bitbuilds ervan nog steeds 13 GiB zijn
- OrcaNIEUWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 mln tokens · 182 tok/s
- tencentNIEUWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 mln tokens · 356 tok/s
- GoogleNIEUWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 mln tokens · 87 tok/s
- AnthropicNIEUWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 mln tokens · 147 tok/s
- orcaNIEUWOrca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 mln tokens · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 mln tokens · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 mln tokens · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 mln tokens · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 mln tokens · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 mln tokens · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligentie
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 mln tokens · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligentie
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 mln tokens · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligentie
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 mln tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligentie
Een vier-bits quantisatie zou op ongeveer een kwart moeten uitkomen van het gewichtsbestand waar het vandaan komt. WeMM-Video-9Bis 19,54 GiB in BF16, en de AWQ W4A16-build is 12,86 GiB. Dat is een besparing van 34%, niet van 75% — en de FP8-, AWQ-, NVFP4- en GGUF-builds liggen allemaal binnen 0,42 GiB van elkaar, dus de keuze tussen hen levert je vrijwel geen geheugenwinst op. De eigen manifests van de exporteurs verklaren waarom: de 4-bit-pipelines comprimeren alleen de dense feed-forward-matrices — 4,83 miljard parameters van de 10,49 miljard — terwijl de vision tower, audio tower, embedding, output head en attention-gewichten allemaal hun oorspronkelijke precisie behouden, en 5,7 miljard parameters van twee bytes elk leggen een ondergrens vast waar geen enkel W4-recept onder kan duiken. Tencent publiceerde de gewichten, de quantisatierecepten en een technisch rapport van twaalf auteurs op 17–19 november zonder launch post, en het deel dat nog niemand heeft uitgeschreven is de rekensom — die toevallig ook het deel is dat bepaalt of dit model past op de GPU die je al hebt. Op de eigen tabellen van Tencent verslaat het Qwen3-Omni-30B-A3B-Instruct op 35 van de 37 gezamenlijke audio-visuele cijfers die de twee delen; over de vraag of de vier-bits-builds veilig te deployen zijn, is het bewijs dunner dan negentien repositories suggereren.
Een stack van 10,49 miljard met een label van 9 miljard
De repository tencent/WeMM-Video-9B is aangemaakt op 17 november 2026 om 08:55:54 UTC, veertien seconden na zijn AWQ-tegenhanger en elf minuten na de 35B-A3B-vaandeldrager. Er bestaan negentien WeMM-Video-repositories onder de Tencent-organisatie, allemaal aangemaakt binnen een tijdsbestek van vijf minuten die ochtend, wat kenmerkend is voor een uploadscript in plaats van voor iemand die één model tegelijk publiceert. Het GitHub-project Tencent/WeMM-Video is zes uur eerder aangemaakt, om 02:29 UTC, de inhoudelijke eerste commit volgde op 19 november, en op 20 november kwamen er nog README-revisies binnen. Het artikel, arXiv 2611.26409, is ingediend op 19 november om 16:58 UTC.

Niets daarvan was aangekondigd. We konden geen Tencent-blogpost, geen WeChat Vision-lanceringspagina, geen persbericht en geen betaald tarief vinden dat naar de familie wees. Op het moment van schrijven hadden alle negentien repositories nul downloads en samen drie likes. Artificial Analysis vermeldt geen WeMM-model. Geen van beide feiten zegt iets over kwaliteit — ze zeggen dat de distributiestap is overgeslagen.
De "9B" in de naam is de taalbackbone, niet de checkpoint. Hugging Face registreert 10.488.603.384 parameters verspreid over 1.305 tensoren, en het op naam lezen van de vijf safetensors-shards plaatst ze in vier stapels:
• Taalmodel — 7,94B parameters, inclusief een token-embedding van 1,02B.
• Output-head — 1,02 miljard parameters. De embeddings zijn ontkoppeld, dus dit is een tweede volledige kopie van de woordenschat van 248.320 tokens bij 4.096 verborgen dimensies.
• Audiotoren — 1,08 mld. parameters. Een encoder en decoder in Whisper-stijl, elk 32 lagen met een breedte van 1.280, die een Q-Former met twee lagen aansturen die vensters van 0,1 seconde comprimeert tot 10 audiotokens per seconde.
• Vision-toren — 0,46B parameters. 27 blokken met verborgen grootte 1.152, patchgrootte 16, ruimtelijke merge 2, temporele patch 2.
Dus ongeveer een vijfde van het bestand bestaat uit oren en ogen. De paper is expliciet over de herkomst: de dense 2B-, 4B- en 9B-modellen zijn gebouwd op Qwen3.5-2B, Qwen3.5-4B en Qwen3.5-9B, het mixture-of-expertsmodel op Qwen3.6-35B-A3B, de audio-encoders zijn geïnitialiseerd vanuit Qwen2.5-Omni, en de native visuele encoders worden behouden in plaats van vervangen en zijn vanaf de tweede pretrainingsfase bevroren omdat ze "al voldoende sterke visuele representaties bieden."
De backbone zelf is een hybride: 32 lagen, verborgen grootte 4.096, 16 attention-heads tegenover 4 key-value-heads met headdimensie 256, met één full-attentionlaag na elke drie linear-attentionlagen en een float32-SSM-cache — daarom draagt elk serving-commando in de repository een mamba-ssm-cache-dtype float32-flag. Positie-embeddings zijn vastgelegd op 262.144 tokens; interleaved multimodale RoPE-secties zijn 11/11/10. De licentie is Apache 2.0 met een carve-out voor derden die niet is uitgesplitst op de modelkaart.
Vier builds, vier bijna identieke groottes
Hier is de volledige kwantisatieladder, gemeten op basis van de eigen bestandslijst van elke repository in plaats van op basis van een afgerond getal op een kaart:
• BF16-basis — 19,54 GiB verdeeld over vijf shards.
• FP8 Block128 — 13,10 GiB, één bestand. Vereist een FP8-geschikte GPU en een gepatchte vLLM 0.18.0.
• AWQ W4A16 — 12,86 GiB, group-128 INT4 in compressed-tensors-formaat. Gepatchte vLLM 0.18.0.
• NVFP4 W4A16 — 13,07 GiB, ModelOpt 0.45.0 gemengde precisie met groepsgrootte 16. Gepatchte vLLM 0.31.0 met Marlin, SM120-referentieconfiguratie.
• GGUF Q4_K_M — 13,28 GiB als een bundel van drie bestanden: 10,41 GiB taal, 2,01 GiB audio, 0,86 GiB vision-projector.

De spreiding over die vier gecomprimeerde builds is 0,42 GiB, wat kleiner is dan de buffer die je zou vrijhouden voor een driverupdate. Als je tussen hen zou kiezen om op een kaart te passen, kies je de verkeerde variabele: kies op basis van welke GPU je bezit en welke runtime je kunt patchen, want het geheugenverschil zit daar niet.
De naïeve verwachting — een kwart van 19,54 GiB, dus ongeveer 4,9 GiB — zit er met een factor tweeënhalf naast. Zelfs de marge ten opzichte van BF16 is bescheiden: 6,68 GiB bespaard door AWQ, wat een echte 34% is, maar niets zoals het "vier keer kleiner" dat een W4-label impliceert.
Wat de exporteurs beschermen, en waarom
Zowel de AWQ- als de GGUF-manifesten vermelden precies welke tensors ze mochten aanraken, en het antwoord verklaart het grootteplateau.
• Alleen de dichte feedforwardmatrices worden gequantiseerd. Het AWQ-manifest vermeldt 96 gequantiseerde taalmatrices — drie per laag over 32 lagen, elk 4.096 bij 12.288. Dat is 4,83 miljard parameters van de 10,49 miljard, oftewel 46% van de checkpoint. Al het andere behoudt zijn precisie.
• Het attention-pad is hersteld naar BF16. Het AWQ-manifest bevat een attention_restoration-blok dat 152 attention-projectiematrices en 32 inputnormen opsomt die met hun SHA-256-hashes terug zijn gekopieerd uit het broncheckpoint. Het GGUF-scope-bestand meldt hetzelfde aantal — protected_attention_BF16: 152 — en voegt toe dat de embedding- en outputtensoren de enige twee andere beschermde items zijn.
• De frontend en beide mediatorens komen nooit in de quantizer terecht.In het AWQ-manifest staan 881 tensoren vermeld als beschermde frontend-, embedding- en headtensoren — 333 uit de visuele toren, 545 uit de audiotoren, de token-embedding, de niet-gekoppelde output-head en de finale norm. In BF16 is dat ongeveer 3,57 miljard parameters, oftewel 7,1 GB van het bestand van 21,0 GB, die volledig buiten de compressiestap vallen.
De consequentie is het getal dat een deploymentplan daadwerkelijk nodig heeft: begroot 13–13,5 GiB VRAM voor gewichten, ongeacht welke build je kiest, en tel daar de KV-cache en de float32-SSM-cache bij op. Een "4-bit 9B" die 13 GiB aan gewichten nodig heeft, is geen probleem van het model — alleen al de vocabulaire bestaat uit 248.320 tokens die twee keer zijn ingebed, en de audiotoren is een Whisper met 1,08 miljard parameters die er middenin zit — maar het is het verschil tussen wel passen op een 16GB-kaart met ruimte om te werken en helemaal niet passen.
Gevalideerd om te laden, niet gevalideerd om gelijk te zijn
Elke kwantisatiekaart in deze familie rapporteert een smoketest, en elk manifest rapporteert iets botter. Lees de twee naast elkaar, want de kloof ertussen is het hele risico van het gebruik van een gecomprimeerde build.
• FP8 Block128 — kaart: gepatchte vLLM laadde het op een H20 en voltooide generatiecontroles voor tekst, beeld, audio en video met audio, en een runtime-precisieaudit bevestigde het W8A8-pad. Manifest: status quantized_and_independently_reloaded_native_inference_pending, met native_inference_validated: false en native_low_precision_gemm_validated: false vastgelegd als afzonderlijke vlaggen.
• AWQ W4A16 — kaart: gepatchte vLLM laadde het op een H20, voltooide dezelfde vier controles en de precisieaudit bevestigde INT4 feed-forward-gewichten ten opzichte van BF16-attentie. Manifest: status quantized_unvalidated, met een diagnostic_variant die een BF16-attentie-referentiebuild naast de INT4-variant noemt.
• NVFP4 W4A16 — kaart: gepatchte vLLM 0.31.0 heeft "de PRO 5000-referentiegewichten" geladen en laten draaien en is geslaagd voor vijf generatiecontroles, inclusief stille video. Manifest: dezelfde drie beweringen zijn als flags vastgelegd en elke ervan staat op false — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — onder een status van cpu_NVFP4_weight_artifact_independently_reread. Wat het manifest wel attesteert, is een numerieke controle: 96 matrices en 4.831.838.208 elementen onafhankelijk gedequantiseerd, gemiddelde relatieve RMSE 0,095 tegen een limiet van 0,35, met 1.209 beschermde tensors bevestigd bit-exact. Dat elementenaantal is hetzelfde als de 4,83 miljard die de scopeverklaring noemt, waardoor je weet dat de berekening in dit stuk en die van de exporteur overeenkomen.
• GGUF Q4_K_M — kaart: de native CPU-runtime laadde de bundel en genereerde tekst-, afbeeldings-, audio- en video-uitvoer. Manifeststatus exported_unvalidated; scopestatus quantized_candidate_not_validated.
“Het is geladen en het heeft gegenereerd” is een echt resultaat en de moeite waard om te hebben — heel wat gequantiseerde multimodale checkpoints falen precies bij die stap. Het is niet het resultaat dat een deployment beslist, want geen van deze modelcards rapporteert één nauwkeurigheidsgetal voor de gecomprimeerde build tegenover de eigen BF16-bron. Er is geen gemeten delta op MMAU, op Video-MME, op transcriptie-WER. De enige precisieclaim die ergens wordt gedaan, is structureel, uit de AWQ-audit: INT4 in de feed-forward, BF16 in attention. Dat beschrijft het bestand. Het vertelt je niet wat de compressie heeft gekost, en bij een model waarvan de marge ten opzichte van Qwen3-Omni-30B-A3B-Instruct op Video-MME met audio 7,8 punten is, is de grootte van die kosten geen afrondingskwestie.
De praktische regel voor deze familie is dus: draai één benchmark die je belangrijk vindt opnieuw op de exacte build die je wilt uitbrengen, tegen de BF16-basis, voordat je een tabel uit het paper vertrouwt. Dat is een paar uur werk, en het is de enige manier om te weten of de INT4 feed-forward kan worden ingezet zonder de videoresultaten te schaden, of dat de 34%-besparing wordt betaald met de cijfers waarmee de kaart wordt verkocht.

Daaronder zitten twee mechanische valkuilen.
De eerste is de GGUF. "GGUF Q4_K_M" klinkt als "draait in llama.cpp of Ollama." Dat is niet zo. De bundel is gebouwd voor Tencent's eigen native runtime, die je uit de repository compileert; de quickstart van de modelcard is install-cpu/bin en een native/run_hf.pylauncher, en de serveergids stuurt GGUF naar die runtime en naar niets anders. Als je pipeline op llama.cpp lijkt, is dit checkpoint niet de snelkoppeling die het lijkt.
Het tweede is een documentatiegebrek dat het verdient om benoemd te worden, omdat het iedereen zal verwarren die de manifests op volgorde leest. Alle drie de FP8-manifests — voor de 2B, de 4B en de 9B — bevatten hetzelfde official_repo-veld: Qwen/Qwen3.5-35B-A3B-FP8. Het is een gekopieerde en geplakte herkomststring in het receptrecord, niet een bewering dat een 9B-checkpoint in het geheim een 35B mixture-of-experts is. Niets anders in het bestand ondersteunt die lezing: de bronnenlijst van hetzelfde manifest wijst naar de vijf shards van tencent/WeMM-Video-9B met overeenkomende hashes, en het architectuurblok registreert een dense model met 32 lagen en nul experts. De 35B-A3B is een echt afzonderlijk model; het is ook de enige maat in de familie zonder een eigen FP8-repository, met alleen base, AWQ, GGUF en NVFP4.
De 9B tegenover een 30B, op Tencent's tabellen
Elk benchmarkcijfer hieronder is van de auteurs zelf, afkomstig uit arXiv 2611.26409, en geen enkele derde partij heeft er ook maar iets van gereproduceerd. Het artikel zegt dat ook: bestaande modellen worden gerapporteerd met "officiële resultaten waar beschikbaar en anders onze eigen evaluaties." Beschouw deze sectie als een beschrijving van een bewering, niet als een meting.
Op de gezamenlijke audio-visuele tabel verslaat de 9B in Thinking-modus Qwen3-Omni-30B-A3B-Instruct op 35 van de 37 cijfers die de twee kolommen gemeen hebben, met één gelijkspel en één verlies — tegen een model dat ongeveer drie keer zo groot is:
• Video-MME met audio — 85,1 tegenover 77,3. MiniCPM-o-4.5-9B staat op 69,2.
• Video-MME-v2 met audio — 51,6 tegenover 36,3, een verschil van 15,3 punten.
• Daily-Omni — 83,6 tegen 70,7, hoewel MiniCPM-o-4.5-9B met 80,2 dit een driestrijd maakt in plaats van een walkover.
• SciVideoBench en MMOU — 64,2 tegen 49,9, en 71,7 tegen 60,5.
• EvaOmni en OmniReasoningBench — 50,7 tegen 26,1, en 43,9 tegen 24,1.
• De enige nederlaag — FutureOmni, 53,7 tegen 55,1. MiniCPM-o-4.5-9B scoort daar 56,1.
Stille video is de nuttigere tabel, omdat die een controle binnen dezelfde familie bevat: Qwen3.5-9B, de backbone waarop deze checkpoint is gebouwd. Lees de twee kolommen naast elkaar en de post-training heeft een duidelijke vorm. Het wint op temporele grounding en temporele perceptie — F-16-NBA 88,7 tegen 75,8, TimeLens-QVHighlights 66,8 tegen 64,3, TimeLens-ActivityNet 55,3 tegen 52,2, TOMATO 48,5 tegen 45,0 — en verliest op het samenvatten van lange video's en algemene herkenning: MLVU 82,4 tegen 84,4, LVBench 68,2 tegen 70,0, VideoVista 82,2 tegen 84,7, VSI-Bench 54,5 tegen 58,3, MVBench 71,4 tegen 74,4. Dit is dus geen uniforme upgrade ten opzichte van de backbone die het erft. Het is een model dat is afgestemd op wanneer en waar iets gebeurde, tegen een meetbare kostprijs in de geaggregeerde videoscores en ruimtelijke redenering waarin de backbone al beter was.
Audio is het domein waar de 9B niet langer wint. In de Instruct-modus scoort de 9B 70,9 op MMAU-Pro tegenover 64,8 van Qwen3.5-Omni-Flash en 76,8 op MMSU tegenover 72,2 — maar verliest hij MMAU met 77,0 tegen 80,4 en MMAR met 72,8 tegen 74,0, en verliest hij spraakherkenning ronduit: LibriSpeech-woordfoutpercentage 1,5 en 3,1 tegen 1,3 en 2,4, WenetSpeech-tekenfoutpercentage 5,4 en 6,8 tegen 4,4 en 5,5. Tekst en kennis vertellen hetzelfde verhaal: MMLU-Pro 81,6 tegen 82,5 voor de Qwen3.5-9B-backbone, GPQA 77,8 tegen 81,7, HMMT 75,0 tegen 82,9. Als de transcriptie het product is, wint een gespecialiseerde herkenner nog steeds.
Eén vergelijking in het artikel moet met de nodige voorzichtigheid worden gelezen. De omni-modale tabel laat de WeMM-modellen in Thinking-modus draaien, terwijl de audiotabel ze in Instruct laat draaien, omdat de auteurs de standaard audio-benchmarks als directe perceptuele taken beoordeelden. Dat is een verdedigbare splitsing, en het betekent ook dat een WeMM-rij in de ene tabel niet vergelijkbaar is met een rij van een concurrent in de andere.
Standaard acht seconden video
De kloof tussen wat de checkpoint kan accepteren en wat de meegeleverde recepten eraan doorgeven is groot genoeg om resultaten te veranderen, dus die hoort in elk evaluatieplan thuis.
• Framebudget — de processor gebruikt standaard 2 fps, een minimum van 4 frames, een maximum van 128 frames en 100.663.296 totale pixels. Het vLLM-recept zet alle vier op 2 fps, 16 frames en 262.144 pixels. Bij 2 fps komt zestien frames overeen met acht seconden aan beeldmateriaal vanaf het midden van een clip.
• Context — de tekstconfiguratie declareert 262.144 positie-embeddings. Elk serveercommando dat Tencent publiceert, geeft max-model-len 8192 of context-length 8192, en niets in de repository legt uit hoe je de grotere waarde kunt bereiken.
• Audiokosten — 10 tokens per seconde, dus een budget van 8.192 tokens staat ongeveer dertien minuten audio toe en niets anders. Een video met soundtrack besteedt dat budget tegelijk aan frames en audio.
• Media per verzoek — vier afbeeldingen, twee video's, twee audio-items, volgens de meegeleverde limieten.
Niemand buiten WeChat Vision heeft gepubliceerd welke sampling de benchmarkruns gebruikten. Als je een getal uit de bovenstaande tabel reproduceert, is dat de eerste onbekende die je moet vaststellen, en de meegeleverde standaard van 16 frames is het verkeerde startpunt.
Wat je er vandaag daadwerkelijk mee kunt doen
OrcaRouter serveert WeMM-Video-9B niet, en de catalogus bevat helemaal geen WeMM-checkpoint. Er is geen gehoste prijs om te vermelden en geen endpoint om aan te roepen, dus vandaag is dit een selfhosttaak: patch vLLM of SGLang vanuit de overlaymap van de repository, pin de exacte combinatie van PyTorch, Transformers en CUDA 12.9 die het patchmanifest voor je engineversie noemt, en begroot 13 GiB plus cache. De GGUF-route vereist de native runtime van Tencent, gebouwd vanaf de bron.
Voor het visiedeel van het werk zijn er al open alternatieven op het platform — Qwen3-VL-235B-A22B-Thinking en Qwen3-VL-8B-Thinking verwerken beide afbeeldingen en videoframes — bereikbaar via één OpenAI-compatibele sleutel naast 200+ andere modellen, tegen 0% opslag bovenop de lijstprijs van de provider. Geen van beide hoort iets, en er is geen WeMM-equivalent voor het audiodeel. Als je een zelfgehoste 9B wilt proberen zonder er een productiepad op te zetten, is het routeren ervan achter een failover-regel de goedkope manier om erachter te komen of de gepatchte runtime jouw gelijktijdigheid aankan voordat je er een kaart aan vastlegt.
De vierbits-builds zijn intussen iets om op te wachten, niet iets om te adopteren. Hun eigen manifests noemen zichzelf ongevalideerd, en de grootteberekening zegt dat de compressie die ze bieden een besparing van 34% op de gewichten oplevert — mooi meegenomen, maar niet de moeite om er de architectuur van een deployment voor om te gooien. Het signaal om in de gaten te houden is niet nog een quantisatierepository. Het is het eerste manifest in deze familie dat afstand doet van het woord in afwachting, gevolgd door de eerste onafhankelijke reproductie van een tabel die momenteel op precies één plek bestaat: de pdf van de auteurs.
Vergeleken in dit artikel1
Herkend uit dit artikel
