Een titelkaart met als kop 'WeMM-Video-4B' en als ondertitel "het audiovisuele model van Tencent, op Hugging Face zonder aankondigingspost", drie kaarten met de tekst 'Naam op de kaart 4B / 5,61B werkelijke parameters', 'Repositories 18 / aangemaakt in 19 minuten' en 'Gehoste prijs geen / alleen zelf hosten', en een voettekst met de tekst 'Cijfers uit de Hugging Face-repo en arXiv 2611.26409; geen onafhankelijke benchmarks.'
Engineering & Research

WeMM-Video-4B: Tencent's stille audiovisuele model van 5,6 miljard

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Het bestand met het label WeMM-Video-4B weegt 10,45 GiB en, bij twee bytes per BF16-parameter, komt dat neer op 5,61 miljard parameters — niet vier. Tencents eigen safetensors-metadata zegt hetzelfde: 5.611.746.312 parameters. De "4B" in de naam is de taalbackbone, niet het checkpoint. Die kleine rekenfout is de juiste ingang tot de WeMM-Video-familie, want bijna alles wat interessant is aan deze release is een kloof tussen het label en het ding: een familie met vier formaten die zonder aankondigingsbericht is uitgebracht, een benchmarksuite die Qwen3-Omni-30B-A3B-Instruct en MiniCPM-o-4.5-9B verslaat op video maar verliest van Qwen3.5-Omni-Flash op audio, en een 256K-positie-embedding die elke uitleverconfiguratie vrijwillig inkort tot 8.192 tokens. De gewichten zijn echt, de paper is openbaar, en niemand heeft er nog iets van gedownload.

Het volgende onderscheidt drie dingen die de Hugging Face-kaarten van de familie door elkaar halen: wat meetbaar is in de repository, wat alleen de eigen evaluatierapporten van Tencent melden, en wat door niemand buiten WeChat Vision is bevestigd.

Het bestand met de naam 4B bevat 5,61 miljard parameters.

Hugging Face registreert per repository een totaal aantal parameters, en voor de vier WeMM-Video-basecheckpoints liggen die consistent ongeveer 1,2 tot 1,6 miljard boven de grootte in de naam.

• WeMM-Video-2B — 3,28 miljard in totaal tegenover een "2B"-label.

• WeMM-Video-4B — 5,61 miljard in totaal tegenover een "4B"-label.

• WeMM-Video-9B — 10,49B totaal tegenover een "9B"-label.

• WeMM-Video-35BA3B — 36,18B totaal tegenover een "35B-A3B"-label, waarbij slechts drie miljard daarvan per token actief is.

Het lezen van de safetensors-index van de 4B maakt het overschot zichtbaar. Van de 1.268 tensors heeft het taalmodel 4,21B parameters, de audiostack 1,07B en de visietoren 0,33B. Ongeveer negentien procent van de checkpoint bestaat uit oren. De paper bevestigt dat de naamgevingsconventie bewust is: de drie dense modellen zijn gebaseerd op Qwen3.5-2B, Qwen3.5-4B en Qwen3.5-9B, en het mixture-of-expertsmodel op Qwen3.6-35B-A3B.

Dat is van belang voor iedereen die een deployment dimensioneert. Een "4B"-model dat ruimte nodig heeft voor 5,61 miljard parameters — 10,45 GiB in BF16, nog vóór enige KV-cache of activatie — belandt in een andere machine dan het getal op de kaart suggereert.

Achttien repo's, negentien minuten, geen aankondiging

De familie kwam niet druppelsgewijs vrij. De aanmaaktijdstempels van Hugging Face plaatsen alle achttien repositories — vier groottes maal vijf precisies — in een venster van 08:53:50 tot 08:59:06 UTC op 17 november 2026, ongeveer veertien seconden na elkaar, wat kenmerkend is voor een uploadscript in plaats van een persoon die op publiceren klikt. De GitHub-repository Tencent/WeMM-Video werd diezelfde dag om 02:29:33 UTC aangemaakt, met de inhoudelijke eerste commit op 19 november en README-aanpassingen die doorliepen tot in 20 november.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing the '6B params / 10.5 GB' panel, a Safetensors tag, an Image-Text-to-Text pipeline tag, 10.4 GiB of weights, an Apache 2.0 licence, and zero downloads and zero likes.

De paper volgde op 19 november: arXiv 2611.26409, "WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding," twaalf auteurs, ingediend om 16:58 UTC. Het is een volledig technisch rapport met zeven resultatentabellen en een link naar een evaluatie- en reproductiepipeline. Dit is dus geen ongedocumenteerde release — het is een gedocumenteerde release die niemand heeft aangekondigd. We konden geen Tencent-blogpost, geen WeChat Vision-lanceringspagina, geen persbericht en geen betaald pakket vinden dat naar de familie verwijst; de modelkaarten, de GitHub README en de arXiv-paper vormen het volledige openbare dossier, en ze zijn voor elkaar geschreven.

De ontvangstcijfers vertellen hetzelfde verhaal. Op het moment van schrijven liet elk van de vier basis-checkpoints nul downloads zien, en de achttien repositories samen hadden drie likes verzameld. Noch Artificial Analysis noch LMArena vermeldt een WeMM-model. Niets daarvan is bewijs over kwaliteit — het is bewijs over distributie, en het is de reden dat een 4B-checkpoint dat op meerdere videobenchmarks beter scoort dan een 30B, geen onafhankelijk cijfer heeft.

Wat zit er in het checkpoint?

Als je het familieverhaal eraf haalt, is de 4B een standaard omni-stack met drie torens en één ongebruikelijke backbonekeuze.

• Taaltoren — 32 lagen, verborgen grootte 2.560, 16 attention-heads tegenover 4 key-value-heads, hoofddimensie 256, vocabulaire 248.320. De backbone is hybride: één volledige-attentielaag per vierde blok, waarbij de andere drie lineaire attention gebruiken, waardoor elk serving-recept in de repository een float32-SSM-cacheflag heeft.

• Vision-toren — 24 blokken met hidden size 1.024, patchgrootte 16, ruimtelijke merge 2, temporele patch 2, projecterend naar 2.560. Het is de native encoder van de backbone, behouden in plaats van vervangen, en de paper bevriest deze vanaf de tweede pretrainingsfase omdat deze "al voldoende sterke visuele representaties biedt".

• Audiotoren — Whisper-achtig, 32 encoder- en 32 decoderlagen met breedte 1.280, met een Q-Former op vensterniveau die vensters van 0,1 seconde comprimeert tot 10 audiotokens per seconde. Audio komt binnen met 16 kHz in blokken van 30 seconden. Dit is het onderdeel dat is geïnitialiseerd vanuit Qwen2.5-Omni, en met 1,07 miljard parameters is het het grootste gat tussen de naam en het bestand.

• Fusion — visuele en audiotokens wisselen elkaar in chronologische volgorde af met expliciete tekstuele tijdstempels, in plaats van te worden samengevoegd in afzonderlijke streams.

• Modi — een Instruct-modus voor directe antwoorden en een Thinking-modus die vóór het antwoord een redeneertrace produceert, op chat-template-niveau omgeschakeld met enable_thinking.

• Licentie — Apache 2.0 voor de gehele collectie, waarbij het licentiebestand van T​encent componenten van derden uitsluit die "onder hun respectieve oorspronkelijke voorwaarden blijven vallen." De uitzondering wordt niet afzonderlijk vermeld in de modelkaart.

256K in de config, 8K in het serveercommando

De tekstconfiguratie specificeert max_position_embeddings als 262.144. Elke serveeropdracht die T​encent publiceert — zowel beide vLLM-profielen als beide SGLang-profielen — geeft max-model-len 8192 of context-length 8192 mee. De 256K-waarde is architectonische speelruimte, geen ondersteunde configuratie, en niets in de repository legt uit hoe je die kunt bereiken.

Het framebudget heeft dezelfde vorm. De eigen standaardwaarden van de processor zijn ruim: 2 frames per seconde, tot 128 frames, 25.165.824 pixels in totaal. Het vLLM-recept verlaagt alle drie — fps 2, max_frames 16, total_pixels 262144. Zestien frames is wat je krijgt als je het commando kopieert. Een clip die op 16 frames is gesampled is een andere input dan een clip die op 128 frames is gesampled, en de paper vermeldt niet welke sampling de video-evaluaties gebruikten.

• Media-limieten per verzoek, zoals geleverd — vier afbeeldingen, twee video's, twee audio-items.

• Context, zoals geleverd — 8.192 tokens, waarbij audio 10 tokens per seconde verbruikt voordat er videoframes worden geteld.

Voor een 4B-model zijn die twee getallen de beperkende factor voor echt werk. Achtduizend tokens is ongeveer dertien minuten audio en niets anders; een video met een soundtrack besteedt het budget aan beide streams tegelijk. De long-video-benchmarks hieronder zijn uitgevoerd onder omstandigheden die de repository niet beschrijft.

De benchmarks zijn van de auteurs zelf.

Elk cijfer in dit artikel komt uit het technische rapport van WeMM-Video. Het rapport zegt het ronduit — "Voor bestaande modellen rapporteren we officiële resultaten waar beschikbaar en anders onze eigen evaluaties" — en geen enkele derde partij heeft er iets van gereproduceerd. De modus wisselt ook tussen tabellen, wat meer uitmaakt dan gewoonlijk, omdat Thinking-modus niet gratis is: de videotabellen rapporteren Thinking voor de 2B, 4B en 9B, de audiotabel rapporteert Instruct omdat de auteurs standaard audio-benchmarks als "direct perceptuele" taken beoordeelden, en de beeld- en teksttabellen keren terug naar Thinking. Een 4B-rij in de audiotabel vergelijken met een concurrerende rij in de videotabel is geen vergelijking.

A single-column scoreboard headed 'WeMM-Video-4B - the scoreboard' listing 'Video-MME with audio: 83.9', 'Video-MME v2 with audio: 48.1', 'LVBench video only: 65.3', 'Daily-Omni: 82.5', 'MMAU audio: 75.2' and 'MMMU image: 78.4', with a footer reading 'Vendor-reported; no independent scores yet. Figures from arXiv 2611.26409.'

Met die kanttekening erbij is de omnimodale videotabel de plek waar de 4B zijn bestandsgrootte rechtvaardigt.

Waar de 4B een 30B verslaat

Tabel 2 van het artikel zet WeMM-Video-4B tegenover Qwen3-Omni-30B-A3B-Instruct en MiniCPM-o-4.5-9B op gecombineerde audio-visuele benchmarks, allemaal in Thinking-modus. De 4B wint de meeste daarvan, tegen een model dat zeven keer zo groot is.

• Video-MME met audio — WeMM-Video-4B 83,9, Qwen3-Omni-30B-A3B-Instruct 77,3, MiniCPM-o-4.5-9B 69,2.

• Video-MME v2 met audio — 48,1 tegenover 36,3 en 28,1, de grootste marge in de tabel.

• Daily-Omni — 82,5 tegenover 70,7 en 80,2.

• WorldSense — 60,3 tegen 54,0 en 55,7.

• OmniVideoBench — 49,7 tegen 45,4 en 37,2.

De tabel voor stille video is nog sterker, en die zou de aankoop moeten bepalen. De soundtrack weglaten en alleen naar beeld testen: Video-MME 75,7 tegen 70,5 en 70,4, LVBench 65,3 tegen 50,2 en 50,9, LongVideoBench 74,8 tegen 63,5 en 66,0, EgoSchema 74,2 tegen 66,4 en 60,4. Een voorsprong van 15 punten op LVBench bij 4B is geen afrondingsartefact; begrip van lange video's is precies waar kleine omni-modellen historisch gezien uit elkaar zijn gevallen.

De rijen voor beeld en tekst zijn concurrerend in plaats van dominant. MMMU 78,4 tegen de 76,9 van Qwen3.5-Omni-Flash, MathVista 85,2 tegen 82,9, DocVQA 96,5 tegen 95,3, IFEval 91,3 tegen 85,2. Dat zijn de rijen die een lezer het meest waarschijnlijk echt nodig heeft, en ze houden stand.

Waar het verliest, en waaraan

De verliezen zijn concreet en het benoemen waard, want een tabel die alleen de overwinningen laat zien, is precies wat deze blog wil vermijden.

• Audio, tegenover een propriëtair flash-model — Qwen3.5-Omni-Flash scoort 80,4 op MMAU en 74,0 op MMAR, tegenover 75,2 en 67,3 voor WeMM-Video-4B. De enige audio-overwinning van de 4B is MMAU-Pro met 68,1 tegen 64,8.

• Video, in de hoeken — Video-Holmes 58,8 tegen de 64,3 van MiniCPM-o-4.5-9B, en FutureOmni 50,9 tegen 55,1 voor Qwen3-Omni-30B-A3B-Instruct en 56,1 voor MiniCPM. Twee benchmarks waar een kleinere of oudere concurrent duidelijk wint.

• Afbeelding en tekst — MMMU-Pro 64,7 tegen 68,2, OCRBench 85,7 tegen 89,1, GPQA 73,2 tegen 76,4, MMLU-Pro 78,3 tegen 79,9. Tussen één en zes punten achter een voor serving bedoeld propriëtair model, wat voor een checkpoint van 5,61B een respectabele plek is om achter te staan.

De interpretatie is dat WeMM-Video-4B is afgestemd op gecombineerde audio-visuele video en zich overal elders staande hield. Als je taak erin bestaat te beschrijven wat er in een clip gebeurt en samen te vatten wat erover gezegd wordt, zijn de cijfers goed. Als je taak dense OCR of tekstredenering op masterniveau is, is hetzelfde checkpoint een compromis.

Het uitvoeren ervan betekent dat je je eigen runtime moet patchen.

A screenshot of the Tencent/WeMM-Video GitHub repository showing five stars, zero forks, and the README model-zoo table listing the WeMM-Video 2B, 4B, 9B and 35B-A3B checkpoints against their base models.

Noch vLLM noch SGLang ondersteunt deze architectuur upstream. Een zoekopdracht in de vLLM-issue-tracker levert geen WeMM-Video-verzoek op, en de repository levert een patch-map in plaats daarvan: bronoverlays met SHA-256-manifesten voor vier exacte upstream-releases — vLLM 0.18.0 en 0.31.0, SGLang 0.5.16 en 0.5.19 — elk vastgezet op een specifieke combinatie van PyTorch, Transformers en CUDA 12.9, waarbij Python 3.12 en FFmpeg vereist zijn en TorchCodec CUDA 12 NPP op het linkerpad nodig heeft. SGLang compileert bovendien CUDA-kernels bij eerste gebruik, dus een C++-toolchain en Ninja maken deel uit van de installatie.

Het GGUF-pad is ook geen snelkoppeling. Het is een bundel van drie bestanden — een taalmodelbestand van 4,90 GiB, een vision-projector van 0,63 GiB en een audiobestand van 2,00 GiB — gebouwd voor een "WeMM native runtime" die je zelf uit de repository compileert, niet voor llama.cpp of Ollama. T​encent's eigen manifest bestempelt de export als exported_unvalidated, en het bijbehorende scope-bestand zegt quantized_candidate_not_validated. Dat is een ongewoon openhartige labeling en die moet letterlijk worden genomen: de Q4_K_M-bundel wordt aangeboden, maar niet gegarandeerd.

Wat Tencent wél als gevalideerd claimt, is beperkt: een gepatchte vLLM laadde het checkpoint op een H20 en voltooide generatiecontroles voor tekst, beeld, audio en video met een soundtrack, en het lokale checkpoint kwam door een directe Transformers-load plus een CPU-tekstgeneratiecontrole. Geen doorvoer, geen latentie, geen geheugengebruik, geen cijfers over gelijktijdigheid. Voor een model waarvan video het verkoopargument is, is "het genereerde" de ondergrens van wat een deploymentbeslissing nodig heeft.

OrcaRouter levert WeMM-Video-4B niet. De catalogus bevat helemaal geen WeMM-checkpoint, dus er is geen gehoste prijs om te noemen en geen endpoint om naar te verwijzen; vandaag is dit een self-hosttaak met een patch toegepast op de inference-engine van iemand anders. Voor de alleen-vision-helft van het werk zijn er open alternatieven op het platform — Qwen3-VL-235B-A22B-Thinking en Qwen3-VL-8B-Thinking nemen beide afbeeldingen en videoframes — bereikbaar via één OpenAI-compatibele sleutel, zonder WeMM-equivalent voor de audiohelft. Als een compatibele host deze weights wel gaat aanbieden, wordt de lijstprijs van de provider doorgegeven met 0% markup, maar dat is een voorwaarde, geen huidig feit.

Wat is er nog onbevestigd?

Vier dingen die een koper normaal gesproken bij een lancering krijgt en hier niet kan krijgen.

• Prijs. Die is er niet. Geen gehost endpoint, geen tarief per token, geen partnerlijst. De enige kosten zijn de GPU die je al bezit.

• Onafhankelijke evaluatie. Geen vermelding in Artificial Analysis, geen arena-inzending, geen reproductie door derden. De evaluatiepipeline is openbaar, wat het op een na beste is en niet hetzelfde.

• Evaluatieomstandigheden. Frameaantallen, pixelbudgetten en contextlengtes die voor de benchmarkruns zijn gebruikt, worden niet in het artikel vermeld, en het meegeleverde recept gebruikt 16 frames waar de processor standaard op 128 staat.

• De uitzondering voor licenties van derden. Tencent stelt dat componenten binnen de collectie onder hun oorspronkelijke voorwaarden blijven vallen, maar somt ze niet op. De audiostream stamt af van Qwen2.5-Omni en de backbone van Qwen3.5, beide Apache 2.0, wat geruststellend is, maar niet doorslaggevend.

Dat is allemaal geen reden om de release af te doen. Het is een reden om de familie te behandelen als wat zij zichtbaar is: achttien repositories en een technisch rapport die binnen een venster van negentien minuten online zijn gezet, waarbij de aankondigingsstap is overgeslagen. De documentatie is beter dan bij de meeste aangekondigde lanceringen. De distributie is nul.

Voor een team dat gezamenlijk audio-visueel begrip nodig heeft op hardware die het zelf beheert, is WeMM-Video-4B de meest interessante kleine checkpoint die deze maand is gepubliceerd, en de videocijfers rechtvaardigen de patchinspanning. Voor iedereen die vrijdag een endpoint nodig heeft, is het eerlijke antwoord dat dit er nog geen is — de weights bestaan, de runtime is een overlay op de broncode, en de enige benchmarks zijn die van de auteurs. Kijk uit naar de eerste onafhankelijke reproductie, een upstream-merge in vLLM of een gehoste prijs. Wat daarvan het eerst komt, zal je meer vertellen dan nog een rij in Tabel 2.

Vergeleken in dit artikel1

Herkend uit dit artikel