
WeMM-Video-35B-A3B: Vikterna har landat, poängen är Tencents egna
- OrcaNYOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1M tokens · 182 tok/s
- tencentNYTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1M tokens · 356 tok/s
- GoogleNYGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M tokens · 87 tok/s
- AnthropicNYAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M tokens · 147 tok/s
- orcaNYOrca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M tokens · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M tokens · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1M tokens · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1M tokens · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M tokens · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M tokens · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligens
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M tokens · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligens
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M tokens · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligens
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1M tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligens
I tre dagar har Hugging Face-repositoriet tencent/WeMM-Video-35BA3B innehållit en enda fil: en 1,5 KB .gitattributes. Den tekniska rapporten som beskriver WeMM-Video-35B-A3B publicerades på arXiv den 19 november och beskrev checkpointen som ett nytt toppresultat inom öppen källkod för gemensam ljud- och bildförståelse, ett resultat som låg före Qwen3.5-Omni-Flash och Seed2.0-Mini-0428 och närmade sig Gemini-3.0-Flash. En läsare som trodde på rapporten och klickade sig vidare till vikterna hittade inget att ladda ner. De 67,39 GiB BF16-tensorer landade först 03:57 UTC den 20 november – i morse. Flaggskeppet annonserades en dag innan det fanns, och varje siffra som hittills förknippats med det kommer från teamet som tränade det.
Tidpunkten är ingen skandal, det är en normal forskningsrelease med stegen i oordning. Men det betyder att den användbara frågan om WeMM-Video-35B-A3B inte är "är den bra" – rapporten besvarar det till teamets egen fördel, över sju tabeller – utan "vad kan du själv verifiera i dag, och vad tar du på tro". Repositoriet besvarar den första halvan bättre än de flesta releaser gör.
Vikterna anlände i morse, inte den 17:e
Hugging Face-tidsstämplar gör sekvensen ovanligt lätt att läsa. De nitton WeMM-Video-repositorierna i Tencents samling skapades inom ett sexminutersfönster den 17 november, mellan 08:53:50 och 08:59:06 UTC – kännetecknet för ett uppladdningsskript snarare än en person som klickar på publicera. För 35B-A3B-repositoriet innehåller commiten med titeln första commit vid 08:53:50 exakt en fil, och den är inte en vikt. Commitens titel Ladda upp WeMM-Video-35BA3B BF16-release, som innehåller sjutton safetensors-shards, är daterad 2026-11-20T03:57:36Z.
De mindre storlekarna fylldes på samma morgon: 2B kl. 01:41, 4B kl. 04:08, 9B kl. 05:08. GitHub-repositoriet Tencent/WeMM-Video skapades den 17 november kl. 02:29 UTC, och dess README reviderades fortfarande kl. 05:09 den 20 november. arXiv-rapporten, 2611.26409, skickades in den 19 november kl. 16:58 UTC.
Inget av det är ovanligt för ett labb som släpper en familj. Det som förändras är positionen för alla som läser om modellen den här veckan: rapporten beskriver en checkpoint som i ungefär trettiosex timmar var ett löfte. Om du läste bevakningen den 19 november och försökte köra den, var felet inte din verktygskedja.

Vad finns inuti en 36,18B-checkpoint?
Hugging Faces egen metadata anger att checkpointen har 36 177 564 536 parametrar – 36,18B mot en etikett på "35B-A3B". Etiketten är inte fel, den räknar bara något annat än filstorleken, och gapet mellan de två är det mest praktiskt viktiga med den här modellen.
• Språktorn — 40 lager med dold bredd 2 048, 16 query-huvuden mot 2 key-value-huvuden, huvuddimension 256, vokabulär 248 320. Attention är hybrid: var fjärde lager är full attention och de övriga tre är linjär attention, vilket är anledningen till att varje serveringskommando i repositoriet bär en float32-flagga för SSM-cache.
• Experter — 256 routade experter per lager vid mellanliggande bredd 512, top-8-routning, plus en delad expert med bredd 512. över 40 lager blir det 10 240 routade experter.
• Visionstorn — 27 block med dold bredd 1 152, patchstorlek 16, rumslig sammanslagning 2, temporal patch 2, projicerar till 2 048.
• Ljud — Whisper-formad, 32 encoderlager och 32 decoderlager med bredd 1 280, som matar en Q-Former på fönsternivå som komprimerar varje 0,1-sekundersfönster till en enda token. Det motsvarar 10 ljudtoken per sekund, från 16 kHz-indata uppdelad i 30-sekundersblock.
• Härkomst — rapporten säger att MoE är byggd på Qwen3.6-35B-A3B och att ljudkodarna initieras från Qwen2.5-Omni. Videobilder bär texttidsstämplar, och visuella token och ljudtoken flätas samman i kronologisk ordning i stället för att slås ihop till separata strömmar.
• Träning — ungefär 1,2 biljoner multimodala tokens genom progressiv förträning, därefter multi-teacher on-policy-distillation, en preferensfas mot upprepning som författarna kallar MrDPO, och specialiserad förstärkningsinlärning.
• Licens — Apache 2.0 för hela samlingen, med ett undantag för tredjepartskomponenter som "fortsatt omfattas av sina respektive ursprungliga villkor." Undantaget är angivet, men inte specificerat.
Fyra kvantiserade varianter publiceras bredvid BF16-checkpointen, och deras manifestfiler är värda att läsa eftersom de är så uppriktigt märkta. AWQ W4A16 uppgår till 22,69 GiB och dess manifest anger quantized_unvalidated NVFP4 W4A16 är en enda safetensors-fil på 24,11 GiB vars manifest endast gör anspråk på cpu_NVFP4_weight_artifact_independently_reread — vikterna lästes om på CPU, vilket är en kontrollsumma, inte en utvärdering. GGUF Q4_K_M-paketet består av tre filer (22,61 GiB språk, 0,84 GiB bildprojektor, 1,99 GiB ljud) och dess manifest anger exported_unvalidated, med per-tensor-omfattningsfilen som anger quantized_candidate_not_validated.
Den femte varianten saknas. Både modellkortet och GitHub-tabellen för model-zoo länkar till ett FP8 Block128-repo; Hubben returnerar 401 för det, samma svar som den ger för ett reponamn som aldrig har funnits, medan varje aktivt syskon-repo returnerar 200. Hugging Face-samlingen har ett hål på position 1, exakt där det repot var tänkt att sitta. Det här är en release som fortfarande sätts samman medan du läser den.
Ett uppmätt tal, och det är ljud
Modellkortet rapporterar exakt en utvärdering som leverantören själv körde: MMAR1000 på 72,7 %, 727 av 1 000. Villkoren anges i sin helhet, vilket är det positiva — endast ljud, fullständigt ljud avkodat vid 16 kHz, Instruct-läge, girig avkodning, högst 256 utdatatoken, patchad vLLM 0.18 på två H20-GPU:er med tensorparallellism.
Allt annat på det kortet är ett konstaterande att något har laddats. Den patchade versionen av vLLM laddade checkpointen på H20 och slutförde genereringskontroller för text, bild, ljud och video med ett ljudspår; den lokala checkpointen klarade en direkt Transformers-laddning och en CPU-kontroll av textgenerering. Det är miniminivån för vad ett driftsättningsbeslut kräver, och Tencent låtsas inte om något annat.
Det finns en lös tråd som är värd att dra i. Serveringsguiden i samma GitHub-repositorium innehåller en valideringstabell vars sista rad lyder "GPU-generering efter nedladdning av en checkpoint från Hub är väntande." Modellkortet säger att H20-körningen, som läser in från Hub, slutförde generering för alla fyra modaliteter. Två dokument skrivna av samma team är oense om hur mycket som har demonstrerats. Kortets påstående är det mer specifika och förmodligen det mer aktuella; oenigheten är ett rimligt skäl att avsätta en dag för dina egna smoke-tester i stället för en vecka för integration.
Rapportens ljudtabell listar också 73,6 på MMAR för denna checkpoint, vilket är ett annat ramverk än kortets MMAR1000-körning och bör inte subtraheras från 72,7 för att få ett "riktigt" tal. Den enda ärliga tolkningen är att Tencents egen ljudsiffra ligger i de låga sjuttiotalen och att ingen andra part har mätt den.
28 av 30 mot Qwens omni flash
Rapportens tabell 1 är flaggskeppets fall, och det är ett stort sådant. Bland de 30 envärdesbenchmarksen i tabellen – gemensamma audiovisuella uppgifter, audiovisuell hallucination, musikförståelse, interaktion, captioning – ligger WeMM-Video-35B-A3B i Thinking-läge före Qwen3.5-Omni-Flash på 28 och efter på 2. Mot Seed2.0-Mini-0428 ligger den före på 26 och efter på 4. Mot Gemini-3.0-Flash ligger den före på 9 och efter på 21.
De segrar som betyder mest är inte de prydliga:
• Video-MME med ljud — 86,4 för WeMM-Video-35B-A3B, 79,3 för Qwen3.5-Omni-Flash, 83,6 för Seed2.0-Mini-0428, 88,6 för Gemini-3.0-Flash.
• Video-MME v2 med ljud — 54,9 mot 36,6 och 51,7, med Gemini-3.0-Flash på 63,2. En ledning på arton poäng över den närmaste öppna konkurrenten på den svårare delen av samma benchmark.
• AV-SpeakerBench — 72,6 mot 65,2 och 68,5, fortfarande bakom Gemini på 75,9. Att skilja ut vem som talade, i video, är uppgiften som skiljer äkta audiovisuell fusion från en visionsmodell med en påklistrad transkription.
• SciVideoBench och EvaOmni — 69,4 mot 51,3, och 57,8 mot 30,4. Båda är resonemangstunga; båda är områden där en svagare omni-modell tenderar att kollapsa.
Förlusterna är lika specifika och värda att namnge, eftersom en tabell som bara visar vinster är precis det som den här bloggen finns till för att undvika:
• JointAVBench — 65,9, bakom Qwen3.5-Omni-Flash på 69,0 och Gemini-3.0-Flash på 68,4, endast före Seed2.0-Mini-0428 på 64,7.
• MUSIC-AVQA — 79,5 mot Qwens 82,1, men före Geminis 76,2. Musik är området där Qwens ljudstack fortfarande har övertaget.
• Mot Seed2.0-Mini-0428 — OmniCompass-AV 46,3 mot 47,9, OmniVChat 48,9 mot 49,8, O-IN-Bench 49,0 mot 49,4, video-SALMONN 2:s testset 28,3 mot 32,7. Tre av dessa fyra ligger inom en poäng.
• Mot Gemini-3.0-Flash — gapet är som störst för långa och framtidsinriktade videor: MMOU 74,5 mot 84,7, FutureOmni 56,2 mot 65,3, OmniVideoBench 55,3 mot 63,3, LVOmniBench 52,6 mot 59,8. "Minskar gapet" är en rättvisande beskrivning; "stänger det" skulle det inte vara.
Alla siffror ovan är Tencents. Rapporten säger det själv – "För befintliga modeller rapporterar vi officiella resultat där sådana finns och annars våra egna utvärderingar" – och växlar mellan Instruct- och Thinking-läge beroende på tabellen, vilket den också anger. Ingen tredje part har reproducerat något av det, och varken Artificial Analysis eller LMArena listar någon WeMM-modell.

Att lägga till öron påverkade knappt synpoängen
Påståendet i det här släppet som förtjänar mer uppmärksamhet än huvudbenchmarken är ett mer lågmält sådant: att det inte kostade modellen särskilt mycket synförmåga att montera en ljudstack på en vision-språkmodell. Omnimodal träning kostar vanligtvis något – modellen fördelar kapacitet över modaliteter och tappar mark på tyst video.
Rapporten testar det direkt genom att ställa WeMM-Video-35B-A3B mot dess egen backbone, Qwen3.6-35B-A3B, på 31 benchmarks för tyst video. Flaggskeppet ligger före på 20 och efter på 11, och de flesta av de elva ligger inom en punkt.
• Där den vann — TimeLens-Charades 54,8 mot 47,4, F-16-NBA 89,9 mot 82,8, CrossVid 50,2 mot 45,2, OVO-Bench 63,9 mot 61,0, TemporalBench 45,9 mot 43,3.
• Där den förlorade — EgoSchema 74,2 mot 77,2, Video-MME 80,4 mot 82,5, MVBench 73,1 mot 74,6, MLVU 85,3 mot 86,2. Resten är bråkdelar av en poäng.
Läs mönstret snarare än antalet: vinsterna klustrar sig inom tidsmässig förankring och långvideoassociation, förlusterna inom egocentrisk förstapersonsvideo. Det är ett rimligt utbyte för en modell tränad på video med ljud. Mot Qwen3.5-Omni-Flash i samma tabell för tyst video ligger den före i 30 av 31 och förlorar bara mot VideoVista, 83,5 mot 84,1.
Bild- och texttabellerna visar samma form. Mot Qwen3.5-Omni-Flash vinner WeMM 26 av 28 bildbenchmarker, med RefCOCO (89,5 mot 92,6) och TallyQA (80,7 mot 81,2) som undantag. Mot sin egen backbone är bildtabellen nästan jämn – 13 före, 14 efter – och det är i texttabellen kostnaden syns: MMLU-Pro 84,7 mot 85,2, GPQA 83,8 mot 86,0, IMOAnswerBench 74,8 mot 78,9, SuperGPQA 63,4 mot 64,7. Att ge upp några poäng i svår resonemangsförmåga för ett fungerande par öron är ett normalt och försvarbart byte, men det är ett byte, och alla som dirigerar text på avancerad nivå genom denna checkpoint bör veta att det finns.
36B minne, 3B aritmetik
Här är aritmetiken som avgör om den här modellen är driftsättningsbar för dig, och den kommer från konfigurationen snarare än prosan. Av de 36,18B parametrarna ligger ungefär 32,2B i routade experter: 40 lager gånger 256 experter gånger tre projektioner med dimensionerna 2 048 gånger 512. Top-8-routing berör en trettioandra del av detta per token, cirka 1,0B parametrar, och etiketten "3B active" stämmer när attention, den delade experten och inbäddningstabellen räknas in.
Så beräkningskostnaden är liten och minneskostnaden är det inte:
• BF16 — 67,39 GiB över sjutton shardar. Tencents egen validering använde tensorparallellism över två H20:or. Det finns inget publicerat tensorparallellt värde för större konfigurationer; serveringsguiden säger bara "planera minne för de fullständiga expertvikterna och ställ in --tensor-parallel-size efter behov."
• NVFP4 W4A16 — 24,11 GiB, vilket får plats på ett enda 48 GB-kort med utrymme för cache. Receptet är en separat patchad vLLM 0.31.0-miljö med ModelOpt blandad precision och Marlin, och den körs med --max-num-seqs 1.
• AWQ W4A16 — 22.69 GiB på patchad vLLM 0.18.0 med checkpointets egen compressed-tensors-konfiguration.
• GGUF Q4_K_M — ett 24,6 GiB stort paket med tre filer, men för Tencents egen nativa runtime, inte llama.cpp eller Ollama. Dess manifest uppger att den är exporterad och ovaliderad.
Ingenting här körs på en opatchad motor. Repositoriet levererar en patch-katalog: källkodöverlägg med SHA-256-manifest för exakt fyra uppströmsversioner – vLLM 0.18.0 och 0.31.0, SGLang 0.5.16 och 0.5.19 – var och en låst till en specifik kombination av PyTorch, Transformers och CUDA 12.9, med Python 3.12 och FFmpeg som krav, TorchCodec som behöver CUDA 12 NPP i länkarens sökväg, och SGLang som kompilerar CUDA-kärnor vid första användningen. En sökning i vLLMs issue-spårare hittar ingen uppströmsförfrågan för den här arkitekturen. Det här är ett självhostat jobb med ett överlägg applicerat på någon annans inferensmotor.

Två konfigurationsdetaljer begränsar vad du faktiskt kan skicka in till den. Textkonfigurationen deklarerar 262 144 positioner, men kortets eget vLLM-kommando skickar --max-model-len 8192, och varje SGLang-recept begränsar kontexten till 8 192 också – den höga siffran är extra utrymme, inte en inställning som stöds. Bildrutesampling är samma historia: processorn har standardvärdet 2 fps och upp till 128 bildrutor, medan det publicerade receptet ställer om till 16 bildrutor och en budget på 262 144 pixlar. Vid 10 ljudtoken per sekund är en kontext på 8 192 token drygt tretton minuter ljud och inget annat.
OrcaRouter tillhandahåller inte WeMM-Video-35B-A3B, och katalogen listar ingen WeMM-checkpoint alls, så det finns inget hostat pris att ange. Det vi däremot tillhandahåller är modellen som den här byggdes på: Qwen3.6-35B-A3B finns på plattformen till $0,25 per miljon indatatoken och $1,48 per miljon utdatatoken över ett kontextfönster på 262 144 token, med text-, bild- och videoinmatning. Om det du behöver är den del av jobbet som går ut på att "titta på klippet och resonera kring det" snarare än att "titta på klippet och transkribera rummet", så är det en hostad ersättningsmodell som finns tillgänglig redan i eftermiddag i stället för en nedladdning på 67 GiB och en patch på källkodsnivå. Leverantörens listpris förs vidare med 0 % påslag, och varje modell ligger bakom en OpenAI-kompatibel nyckel med automatisk failover, så att prova en andra åsikt kostar en konfigurationsändring i stället för ett andra avtal.
Vad ingen utanför WeChat har kontrollerat
Fyra saker som en köpare normalt får vid en lansering men inte kan få här.
• Oberoende utvärdering. Ingen. Utvärderings- och reproduktionsflödet är offentligt, vilket är det näst bästa och inte samma sak.
• Utvärderingsvillkor. Antal bildrutor, pixelbudgetar och kontextlängder som användes för benchmarkkörningarna anges inte i rapporten, och det levererade receptet samplar 16 bildrutor där processorn som standard använder 128. Ett urval på 16 bildrutor från ett långt klipp är en annan indata än ett urval på 128 bildrutor från samma klipp.
• Driftsättningspåståendet. Rapporten uppger att familjen är "driftsatt över flera centrala videotjänster inom WeChat," och nämner livehandel, kortdramaanalys och interaktiv video. Det är ett allvarligt påstående om det stämmer – produktionstrafik är den enda utvärdering som ingen kan argumentera emot – och det går helt inte att verifiera utifrån. Inga siffror för latens, genomströmning, samtidighet eller minne publiceras någonstans i utgåvan.
• De kvantiserade artefakterna. Tre av de fyra publicerade varianterna beskriver sig själva, i sina egna manifest, som ovaliderade. AWQ, GGUF och NVFP4 erbjuds, men garanteras inte.
Inget av det är ett skäl att avfärda släppet. Det är ett skäl att läsa det som vad det uppenbart är: ett väl dokumenterat forskningssläpp vars flaggskeppsvikter är några timmar gamla, vars artikel kom först, vars FP8-förvar ännu inte har skapats och vars benchmarkförsprång över den bästa öppna omni-konkurrenten är tillräckligt stort för att vara värt att reproducera snarare än att betvivla.
Det som skulle avgöra saken är samma lista som alltid. En uppströmsmerge i vLLM skulle sätta stopp för patchandet. En första oberoende reproduktion på Video-MME v2 med ljud skulle bekräfta eller punktera gapet på arton punkter. Ett pris för en hostad version, eller det saknade FP8-repot, skulle visa om Tencent avser att detta ska användas eller bara citeras. Tills något av detta inträffar är den ärliga sammanfattningen att WeMM-Video-35B-A3B är den mest intressanta öppna omnimodala checkpointen den här månaden, att dess visionsiffror verkar överleva tillägget av hörsel, och att alla dess siffror för närvarande kommer från dem som tränade den.
