Een illustratie van drie stromen — een filmstrip, een audiogolfvorm en een stapel grijze datablokken — die samenkomen in één smal gestippeld kanaal, met daarboven een vagere kopie van dat kanaal in stippellijn.
Engineering & Research

WeMM-Video-35B-A3B: Gewichten gearriveerd, scores zijn van Tencent zelf

Auteur

Gideon Frost

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Drie dagen lang bevatte de Hugging Face-repository tencent/WeMM-Video-35BA3B één bestand: een 1,5 KB groot .gitattributes. Het technische rapport dat WeMM-Video-35B-A3B beschreef, verscheen op 19 november op arXiv en noemde het checkpoint een nieuwe open-source state of the art voor gezamenlijk audio-visueel begrip, beter dan Qwen3.5-Omni-Flash en Seed2.0-Mini-0428 en dicht op Gemini-3.0-Flash. Een lezer die het rapport geloofde en doorklikte naar de gewichten, vond niets om te downloaden. De 67,39 GiB aan BF16-tensors kwamen pas om 03:57 UTC op 20 november binnen — vanochtend. Het vlaggenschip werd een dag aangekondigd voordat het bestond, en elk getal dat er tot nu toe aan is gekoppeld, komt van het team dat het heeft getraind.

Die timing is geen schandaal, het is een normale onderzoeksrelease waarbij de stappen in de verkeerde volgorde staan. Maar het betekent wel dat de nuttige vraag over WeMM-Video-35B-A3B niet is "is het goed" — het rapport beantwoordt dat in het voordeel van het team zelf, over zeven tabellen — maar "wat kun je vandaag zelf verifiëren, en wat neem je op vertrouwen aan." De repository beantwoordt het eerste deel beter dan de meeste releases doen.

De gewichten zijn vanmorgen aangekomen, niet op de 17e.

Hugging Face-tijdstempels maken de reeks ongewoon goed leesbaar. De negentien WeMM-Video-repositories in de collectie van Tencent zijn aangemaakt binnen een venster van zes minuten op 17 november, tussen 08:53:50 en 08:59:06 UTC — het kenmerk van een uploadscript in plaats van iemand die op publiceren klikt. Voor de 35B-A3B-repository bevat de commit met de titel initiële commit om 08:53:50 precies één bestand, en dat is geen gewicht. De commit met de titel Upload WeMM-Video-35BA3B BF16-release, met zeventien safetensors-shards, is gedateerd op 2026-11-20T03:57:36Z.

De kleinere varianten werden dezelfde ochtend toegevoegd: 2B om 01:41, 4B om 04:08, 9B om 05:08. De GitHub-repository Tencent/WeMM-Video werd op 17 november om 02:29 UTC aangemaakt en de README werd op 20 november om 05:09 nog steeds herzien. Het arXiv-rapport, 2611.26409, werd op 19 november om 16:58 UTC ingediend.

Niets daarvan is ongewoon voor een lab dat een familie uitbrengt. Wat het verandert, is de positie van iedereen die deze week over het model leest: het rapport beschrijft een checkpoint dat ongeveer zesendertig uur lang een belofte was. Als je op 19 november de berichtgeving las en het probeerde te draaien, lag de fout niet aan je toolchain.

A screenshot of the GitHub repository Tencent/WeMM-Video showing the README revision timestamped about an hour earlier, eight commits, a main branch, and a description calling it a family of omni-modal foundation models by WeChat Vision at Tencent.

Wat zit er in een checkpoint van 36,18B?

De eigen metadata van Hugging Face zet het checkpoint op 36.177.564.536 parameters — 36,18B tegenover een label van "35B-A3B". Het label is niet verkeerd; het telt alleen iets anders dan de bestandsgrootte, en het verschil tussen beide is het praktisch meest belangrijke aspect van dit model.

• Taaltoren — 40 lagen op verborgen breedte 2.048, 16 query-heads tegenover 2 key-value-heads, headdimensie 256, vocabulaire 248.320. Attention is hybride: elke vierde laag is volledige attention en de andere drie zijn lineaire attention, daarom draagt elk servingcommando in de repository een float32-SSM-cacheflag.

• Experts — 256 gerouteerde experts per laag bij een tussenliggende breedte van 512, top-8-routering, plus een gedeelde expert van 512 breed. Over 40 lagen zijn dat 10.240 gerouteerde experts.

• Vision-toren — 27 blokken met een verborgen breedte van 1.152, patchgrootte 16, ruimtelijke samenvoeging 2, temporele patch 2, projecterend naar 2.048.

• Audio — Whisper-vormig, 32 encoder- en 32 decoderlagen met breedte 1.280, die een Q-Former op vensterniveau aansturen die elk venster van 0,1 seconde comprimeert tot één token. Dat komt neer op 10 audiotokens per seconde, uit 16 kHz invoer opgesplitst in stukken van 30 seconden.

• Herkomst — het rapport stelt dat de MoE is gebaseerd op Qwen3.6-35B-A3B en dat de audio-encoders zijn geïnitialiseerd vanuit Qwen2.5-Omni. Videoframes bevatten tekstuele tijdstempels, en visuele en audiotokens worden in chronologische volgorde verweven in plaats van samengevoegd in afzonderlijke streams.

• Training — ongeveer 1,2 biljoen multimodale tokens via progressieve pretraining, vervolgens on-policy distillatie met meerdere leraren, een voorkeursfase tegen herhaling die de auteurs MrDPO noemen, en gespecialiseerde reinforcement learning.

• Licentie — Apache 2.0 voor de hele collectie, met een uitzondering voor componenten van derden die "onder hun respectieve oorspronkelijke voorwaarden blijven vallen." De uitzondering wordt vermeld, maar niet per onderdeel opgesomd.

Naast de BF16-checkpoint worden vier gekwantiseerde varianten gepubliceerd, en hun manifestbestanden zijn het lezen waard vanwege de manier waarop ze openhartig zijn gelabeld. AWQ W4A16 telt op tot 22,69 GiB en het manifest ervan vermeldt quantized_unvalidated. NVFP4 W4A16 is één enkel safetensors-bestand van 24,11 GiB waarvan het manifest slechts cpu_NVFP4_weight_artifact_independently_reread vermeldt — de gewichten zijn op de CPU opnieuw gelezen, wat een controlesom is, geen evaluatie. De GGUF Q4_K_M-bundel bestaat uit drie bestanden (22,61 GiB taal, 0,84 GiB vision-projector, 1,99 GiB audio) en het manifest ervan vermeldt exported_unvalidated, waarbij het per-tensor-scopebestand vermeldt quantized_candidate_not_validated.

De vijfde variant ontbreekt. Zowel de modelkaart als de GitHub model-zoo-tabel linkt naar een FP8 Block128-repository; de Hub geeft er 401 voor terug, hetzelfde antwoord als voor een repositorynaam die nooit heeft bestaan, terwijl elke live sibling 200 teruggeeft. De Hugging Face-collectie heeft een gat op positie 1, precies waar die repository had moeten staan. Dit is een release die nog wordt samengesteld terwijl je dit leest.

Eén gemeten getal, en dat is audio

De modelkaart meldt precies één evaluatie die de leverancier zelf heeft uitgevoerd: MMAR1000 op 72,7%, 727 van de 1.000. De omstandigheden worden volledig vermeld, en dat is het goede deel — alleen audio, volledige audio gedecodeerd op 16 kHz, Instruct-modus, greedy decoding, maximaal 256 outputtokens, gepatchte vLLM 0.18 op twee H20-GPU's met tensorparallellisme.

Alles wat verder op die kaart staat, is een bewering dat er iets is geladen. Gepatchte vLLM laadde de checkpoint op H20 en voltooide generatiecontroles voor tekst, afbeelding, audio en video met een soundtrack; de lokale checkpoint slaagde voor een rechtstreekse Transformers-load en een CPU-tekstgeneratiecontrole. Dat is de ondergrens van wat een deploymentbeslissing nodig heeft, en Tencent doet niet alsof dat anders is.

Er is één los eindje dat de moeite waard is om aan te trekken. De servinggids in dezelfde GitHub-repository bevat een validatietabel waarvan de laatste rij luidt: "GPU-generatie na het downloaden van een checkpoint van de Hub is nog in behandeling." De modelkaart zegt dat de H20-run, die vanaf de Hub laadt, de generatie voor alle vier modaliteiten heeft voltooid. Twee documenten die door hetzelfde team zijn geschreven, spreken elkaar tegen over hoeveel er is aangetoond. De bewering op de kaart is specifieker en waarschijnlijk actueler; de onenigheid is een goede reden om een dag voor je eigen smoke tests te reserveren in plaats van een week voor integratie.

De audiotabel van het rapport vermeldt voor deze checkpoint ook 73,6 op MMAR, wat een andere harness is dan de MMAR1000-run van de kaart en niet van 72,7 mag worden afgetrokken om een "echt" getal te produceren. De enige eerlijke lezing is dat T​encent's eigen audiofiguur in de lage zeventig ligt en dat geen tweede partij die heeft gemeten.

28 van de 30 tegen Qwens omni flash

Tabel 1 in het rapport vormt de onderbouwing voor de flagship, en het is een omvangrijke. Van de 30 benchmarks met één waarde in die tabel — gecombineerde audio-visuele taken, audio-visuele hallucinatie, muziekbegrip, interactie, captioning — is WeMM-Video-35B-A3B in Thinking-modus op 28 benchmarks voor op Qwen3.5-Omni-Flash en op 2 achter. Tegenover Seed2.0-Mini-0428 is het op 26 voor en op 4 achter. Tegenover Gemini-3.0-Flash is het op 9 voor en op 21 achter.

De overwinningen die er het meest toe doen, zijn niet de nette:

• Video-MME with audio — 86,4 voor WeMM-Video-35B-A3B, 79,3 voor Qwen3.5-Omni-Flash, 83,6 voor Seed2.0-Mini-0428, 88,6 voor Gemini-3.0-Flash.

• Video-MME v2 met audio — 54,9 tegenover 36,6 en 51,7, met Gemini-3.0-Flash op 63,2. Een voorsprong van achttien punten op de dichtstbijzijnde open concurrent in de moeilijkere split van dezelfde benchmark.

• AV-SpeakerBench — 72,6 tegen 65,2 en 68,5, nog steeds achter G​emini op 75,9. Onderscheiden wie er sprak, via video, is de taak die echte audiovisuele fusie scheidt van een visiemodel met een transcript eraan vastgeschroefd.

• SciVideoBench en EvaOmni — 69,4 tegen 51,3, en 57,8 tegen 30,4. Beide zijn redeneerintensief; beide zijn situaties waarin een zwakker omni-model doorgaans instort.

De verliezen zijn even concreet en de moeite waard om te benoemen, want een tabel die alleen overwinningen laat zien, is precies het ding dat deze blog wil vermijden:

• JointAVBench — 65,9, achter Qwen3.5-Omni-Flash met 69,0 en Gemini-3.0-Flash met 68,4, en alleen voor op Seed2.0-Mini-0428 met 64,7.

• MUSIC-AVQA — 79,5 tegenover Qwens 82,1, maar wel voor op Gemini's 76,2. Muziek is waar Qwens audiostack nog steeds de voorsprong heeft.

• Vergeleken met Seed2.0-Mini-0428 — OmniCompass-AV 46,3 tegen 47,9, OmniVChat 48,9 tegen 49,8, O-IN-Bench 49,0 tegen 49,4, de testset van video-SALMONN 2 28,3 tegen 32,7. Drie van die vier liggen binnen één punt.

• Vergeleken met Gemini-3.0-Flash — het verschil is het grootst bij lange en toekomstgerichte video: MMOU 74,5 tegen 84,7, FutureOmni 56,2 tegen 65,3, OmniVideoBench 55,3 tegen 63,3, LVOmniBench 52,6 tegen 59,8. "Verkleint de kloof" is een goede omschrijving; "dicht de kloof" niet.

Elk cijfer hierboven is van T​encent. Het rapport zegt het zelf — "Voor bestaande modellen rapporteren we officiële resultaten waar beschikbaar en anders onze eigen evaluaties" — en wisselt afhankelijk van de tabel tussen Instruct- en Thinking-modus, wat het ook vermeldt. Geen enkele derde partij heeft er ook maar iets van gereproduceerd, en noch Artificial Analysis noch LMArena vermeldt een WeMM-model.

A two-column scoreboard headed 'WeMM-Video-35B-A3B vs Qwen3.5-Omni-Flash — the scoreboard', with six shared rows: Video-MME with audio 86.4 against 79.3, Video-MME v2 with audio 54.9 against 36.6, AV-SpeakerBench 72.6 against 65.2, SciVideoBench 69.4 against 51.3, JointAVBench 65.9 against 69.0, and MUSIC-AVQA 79.5 against 82.1.

Het toevoegen van oren deed de visionscores nauwelijks dalen.

De bewering in deze release die meer aandacht verdient dan de benchmark die de krantenkoppen haalt, is een stillere: dat het toevoegen van een audiostream aan een visie-taalmodel het model niet veel visuele capaciteit kostte. Omni-modale training kost meestal wel iets — het model verdeelt capaciteit over modaliteiten en levert terrein in op stille video.

Het rapport test dat direct door WeMM-Video-35B-A3B tegen zijn eigen backbone, Qwen3.6-35B-A3B, op 31 benchmarks met stille video's te zetten. Het vlaggenschip staat voor op 20 en achter op 11, en de meeste van die elf liggen binnen één punt.

• Waar het vooruitgang boekte — TimeLens-Charades 54,8 tegen 47,4, F-16-NBA 89,9 tegen 82,8, CrossVid 50,2 tegen 45,2, OVO-Bench 63,9 tegen 61,0, TemporalBench 45,9 tegen 43,3.

• Waar het verloor — EgoSchema 74,2 tegen 77,2, Video-MME 80,4 tegen 82,5, MVBench 73,1 tegen 74,6, MLVU 85,3 tegen 86,2. De rest zijn fracties van een punt.

Lees het patroon, niet de aantallen: de winst clustert in temporele grounding en associatie over lange video's, de verliezen in egocentrische first-personvideo. Dat is een plausibele afweging voor een model dat is afgestemd op video met geluid. Tegen Qwen3.5-Omni-Flash op dezelfde tabel voor stille video's staat het voor op 30 van de 31, met alleen verlies op VideoVista, 83,5 tegen 84,1.

De beeldtabel en de teksttabel laten hetzelfde patroon zien. Tegenover Qwen3.5-Omni-Flash gaan 26 van de 28 beeldbenchmarks naar WeMM, met RefCOCO (89,5 tegen 92,6) en TallyQA (80,7 tegen 81,2) als uitzonderingen. Tegenover zijn eigen backbone is de beeldtabel nagenoeg een gelijkspel — 13 voor, 14 achter — en in de teksttabel wordt de prijs zichtbaar: MMLU-Pro 84,7 tegen 85,2, GPQA 83,8 tegen 86,0, IMOAnswerBench 74,8 tegen 78,9, SuperGPQA 63,4 tegen 64,7. Een paar punten aan moeilijk redeneervermogen opgeven voor een werkend paar oren is een normale en verdedigbare ruil, maar het is een ruil, en iedereen die tekst op masterniveau door dit checkpoint laat lopen, moet weten dat die bestaat.

36 miljard aan geheugen, 3 miljard aan rekenwerk

Hier is de rekenkundige berekening die bepaalt of dit model voor jou inzetbaar is, en die komt voort uit de configuratie in plaats van uit de lopende tekst. Van de 36,18B parameters zitten er ongeveer 32,2B in gerouteerde experts: 40 lagen maal 256 experts maal drie projecties met breedte 2.048 bij 512. Top-8-routing raakt per token een tweeëndertigste daarvan, ongeveer 1,0B parameters, en het label "3B actief" is consistent zodra attention, de gedeelde expert en de embeddingtabel worden meegeteld.

Dus de rekening voor rekenkracht is klein, en die voor geheugen niet:

• BF16 — 67,39 GiB verdeeld over zeventien shards. Tencents eigen validatie gebruikte tensorparallelisme over twee H20's. Er is geen gepubliceerd aantal voor tensorparallelisme bij grotere configuraties; de serveergids zegt alleen: "plan geheugen voor de volledige expertgewichten en stel --tensor-parallel-size in zoals nodig."

• NVFP4 W4A16 — 24,11 GiB, wat binnen één 48 GB-kaart past met ruimte voor cache. Het recept is een aparte gepatchte vLLM 0.31.0-omgeving met ModelOpt gemengde precisie en Marlin, en het draait met --max-num-seqs 1.

• AWQ W4A16 — 22,69 GiB op gepatchte vLLM 0.18.0 met de eigen compressed-tensors-configuratie van het checkpoint.

• GGUF Q4_K_M — een bundel van drie bestanden van 24,6 GiB, maar dan voor Tencents eigen native runtime, niet voor llama.cpp of Ollama. Het manifest presenteert het als geëxporteerd en niet gevalideerd.

Niets hier draait op een ongepatchte engine. De repository levert een patch-map: bron-overlays met SHA-256-manifesten voor precies vier upstream-releases — vLLM 0.18.0 en 0.31.0, SGLang 0.5.16 en 0.5.19 — elk vastgezet op een specifieke combinatie van PyTorch, Transformers en CUDA 12.9, met Python 3.12 en FFmpeg vereist, TorchCodec dat CUDA 12 NPP op het linkerpad nodig heeft, en SGLang dat CUDA-kernels compileert bij eerste gebruik. Een zoekopdracht in de vLLM-issuetracker levert geen upstreamverzoek voor deze architectuur op. Dit is een self-hostklus waarbij een overlay wordt toegepast op de inferentie-engine van iemand anders.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-35BA3B showing an Image-Text-to-Text pipeline tag with Transformers and Safetensors, English and Chinese language tags, the wemm_qwen3_5_moe architecture tag, an apache-2.0 licence, and a 36B-parameter BF16 model size.

Twee configuratiedetails bepalen wat je er daadwerkelijk in kunt stoppen. De tekstconfiguratie declareert 262.144 posities, maar het eigen vLLM-commando van de kaart geeft --max-model-len 8192 door, en elk SGLang-recept begrenst de context ook op 8.192 — het hoge aantal is extra ruimte, geen ondersteunde instelling. Framebemonstering is hetzelfde verhaal: de processor gebruikt standaard 2 fps en tot 128 frames, terwijl het gepubliceerde recept dit overschrijft naar 16 frames en een budget van 262.144 pixels. Bij 10 audiotokens per seconde is een context van 8.192 tokens iets meer dan dertien minuten audio en niets anders.

OrcaRouter serveert WeMM-Video-35B-A3B niet, en de catalogus vermeldt helemaal geen WeMM-checkpoint, dus er is geen gehoste prijs om te noemen. Wat we wel serveren is het model waarop dit model is gebaseerd: Qwen3.6-35B-A3B staat op het platform voor $0,25 per miljoen inputtokens en $1,48 per miljoen output binnen een context van 262.144 tokens, met tekst-, beeld- en video-input. Als de helft van deze taak die u nodig hebt "bekijk de clip en redeneer erover" is in plaats van "bekijk de clip en transcribere de kamer", dan is dat een gehoste vervanger die vanmiddag beschikbaar is in plaats van een download van 67 GiB en een patch op bronniveau. De lijstprijs van de provider wordt tegen 0% markup doorberekend, en elk model zit achter één OpenAI-compatibele sleutel met automatische failover, dus een tweede mening proberen kost een configuratiewijziging in plaats van een tweede contract.

Wat niemand buiten WeChat heeft gecontroleerd

Vier dingen die een koper normaal gesproken bij een lancering krijgt en hier niet kan krijgen.

• Onafhankelijke evaluatie. Geen. De evaluatie- en reproductiepijplijn is openbaar, wat de op een na beste optie is en niet hetzelfde.

• Evaluatieomstandigheden. Aantallen frames, pixelbudgetten en contextlengtes die voor de benchmarkruns zijn gebruikt, worden niet in het rapport vermeld, en het meegeleverde recept bemonstert 16 frames waar de processor standaard 128 gebruikt. Een sample van 16 frames uit een lange clip is een andere invoer dan een sample van 128 frames uit dezelfde clip.

• De claim over de uitrol. Het rapport stelt dat de familie "is uitgerold over meerdere kernvideodiensten binnen WeChat", waarbij livestreamcommerce, analyse van korte dramaseries en interactieve video worden genoemd. Dat is een serieuze claim als die klopt — productieverkeer is de enige evaluatie waar niemand tegenin kan gaan — en die is van buitenaf volledig niet te verifiëren. Nergens in het bericht worden cijfers over latentie, doorvoer, gelijktijdigheid of geheugen gepubliceerd.

• De gequantiseerde artefacten. Drie van de vier gepubliceerde varianten beschrijven zichzelf in hun eigen manifests als niet-gevalideerd. AWQ, GGUF en NVFP4 worden aangeboden, maar niet gegarandeerd.

Niets daarvan is een reden om de release af te wijzen. Het is een reden om hem te lezen als wat hij zichtbaar is: een goed gedocumenteerde onderzoeksrelease waarvan de flagship-gewichten uren oud zijn, waarvan de paper eerst kwam, waarvan de FP8-repository nog niet is aangemaakt, en waarvan de voorsprong in benchmarks op de beste open omni-concurrent groot genoeg is om de moeite waard te zijn om te reproduceren in plaats van te betwijfelen.

Wat de knoop zou doorhakken, is dezelfde lijst als altijd. Een upstream-merge in vLLM zou een einde maken aan het patchen. Een eerste onafhankelijke reproductie op Video-MME v2 met audio zou de kloof van achttien punten bevestigen of doorprikken. Een gehoste prijs, of de ontbrekende FP8-repository, zou je vertellen of T​encent dit bedoeld heeft om te worden gebruikt of slechts om te worden geciteerd. Tot een van die dingen er is, is de eerlijke samenvatting dat WeMM-Video-35B-A3B de interessantste open omnimodale checkpoint van de maand is, dat zijn visionscores de toevoeging van gehoor lijken te overleven, en dat al zijn cijfers momenteel afkomstig zijn van de mensen die hem hebben getraind.