Una card del titolo con intestazione 'WeMM-Video-4B' e sottotitolo "Il modello audiovisivo di Tencent, su Hugging Face senza un post di lancio", tre card con 'Nome sulla scheda 4B / 5,61B parametri effettivi', 'Repository 18 / creati in 19 minuti' e 'Prezzo hosted nessuno / solo self-host', e un piè di pagina con 'Dati dal repository Hugging Face e da arXiv 2611.26409; nessun benchmark indipendente.'
Engineering & Research

WeMM-Video-4B: il silenzioso modello audio-visivo da 5,6 miliardi di Tencent

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Il file etichettato WeMM-Video-4B pesa 10,45 GiB e, a due byte per parametro BF16, ciò equivale a 5,61 miliardi di parametri — non quattro. I metadati safetensors di Tencent dicono lo stesso: 5.611.746.312 parametri. Il "4B" nel nome indica il backbone linguistico, non il checkpoint. Quella piccola svista aritmetica è il modo giusto per entrare nella famiglia WeMM-Video, perché quasi tutto ciò che di interessante c'è in questa release è uno scarto tra l'etichetta e la cosa: una famiglia di quattro dimensioni pubblicata senza un post di lancio, una suite di benchmark che batte Qwen3-Omni-30B-A3B-Instruct e MiniCPM-o-4.5-9B sul video mentre perde contro Qwen3.5-Omni-Flash sull'audio, e un embedding di posizione da 256K che ogni configurazione distribuita taglia volontariamente a 8.192 token. I pesi sono reali, il paper è pubblico e nessuno ne ha ancora scaricato nulla.

Quanto segue separa tre cose che le card Hugging Face della famiglia accorpano: ciò che è misurabile nel repository, ciò che solo la valutazione interna di Tencent riporta, e ciò che non è stato confermato da nessuno al di fuori di WeChat Vision.

Il file chiamato 4B contiene 5,61 miliardi di parametri

Hugging Face registra un conteggio totale dei parametri per repository e, per i quattro checkpoint di base di WeMM-Video, risultano costantemente superiori di circa 1,2–1,6 miliardi rispetto alla dimensione indicata nel nome.

• WeMM-Video-2B — 3,28B in totale rispetto a un'etichetta "2B".

• WeMM-Video-4B — 5,61B in totale rispetto a un'etichetta "4B".

• WeMM-Video-9B — 10,49B in totale rispetto a un'etichetta "9B".

• WeMM-Video-35BA3B — 36.18B totali rispetto a un'etichetta "35B-A3B", dove solo tre miliardi di questi sono attivi per token.

Leggere l'indice safetensors del 4B rende visibile il surplus. Dei suoi 1.268 tensori, il modello linguistico conta 4,21B parametri, lo stack audio 1,07B e la torre visiva 0,33B. Circa il diciannove per cento del checkpoint è orecchie. L'articolo conferma che la convenzione di denominazione è intenzionale: i tre modelli densi sono basati su Qwen3.5-2B, Qwen3.5-4B e Qwen3.5-9B, e il modello mixture-of-experts su Qwen3.6-35B-A3B.

Questo è importante per chiunque stia dimensionando un deployment. Un modello "4B" che ha bisogno di spazio per 5,61B parametri — 10,45 GiB in BF16 prima di qualsiasi KV cache o attivazione — finisce in una macchina diversa da quella che il numero sulla scheda suggerisce.

Diciotto repository, diciannove minuti, nessun annuncio

La famiglia non è emersa poco alla volta. I timestamp di creazione di Hugging Face collocano tutti e diciotto i repository — quattro dimensioni per cinque precisioni — in una finestra dalle 08:53:50 alle 08:59:06 UTC del 17 novembre 2026, a circa quattordici secondi di distanza l'uno dall'altro, che è la firma di uno script di caricamento anziché di una persona che clicca su pubblica. Il repository GitHub Tencent/WeMM-Video è stato creato alle 02:29:33 UTC dello stesso giorno, con il suo commit iniziale sostanziale arrivato il 19 novembre e le revisioni del README proseguite fino al 20 novembre.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing the '6B params / 10.5 GB' panel, a Safetensors tag, an Image-Text-to-Text pipeline tag, 10.4 GiB of weights, an Apache 2.0 licence, and zero downloads and zero likes.

Il paper è arrivato il 19 novembre: arXiv 2611.26409, "WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding," dodici autori, inviato alle 16:58 UTC. È un rapporto tecnico completo con sette tabelle di risultati e un link a una pipeline di valutazione e riproduzione. Quindi non è un rilascio non documentato — è un rilascio documentato che nessuno ha annunciato. Non siamo riusciti a trovare un post sul blog di T​encent, una pagina di lancio di WeChat Vision, un comunicato stampa o un piano a pagamento che rimandasse alla famiglia; le model card, il README su GitHub e il paper su arXiv sono l'intera documentazione pubblica, e sono stati scritti gli uni per gli altri.

I dati sulla ricezione raccontano la stessa storia. Al momento in cui scriviamo, ciascuno dei quattro checkpoint di base mostrava zero download, e i diciotto repository nel complesso avevano raccolto tre like. Né Artificial Analysis né LMArena elenca un modello WeMM. Niente di tutto ciò è una prova sulla qualità: è una prova sulla distribuzione, ed è il motivo per cui un checkpoint 4B che supera un 30B su diversi benchmark video non ha alcun numero indipendente associato.

Cosa c'è dentro il checkpoint

Tralasciando l'inquadratura della famiglia, il 4B è uno stack omni standard a tre torri con un'unica insolita scelta di backbone.

• Torre linguistica — 32 livelli, dimensione nascosta 2.560, 16 teste di attenzione rispetto a 4 teste chiave-valore, dimensione della testa 256, vocabolario 248.320. Il backbone è ibrido: un livello di attenzione completa ogni quattro blocchi, con gli altri tre che utilizzano l'attenzione lineare, motivo per cui ogni ricetta di serving nel repository include un flag di cache SSM float32.

• Torre visiva — 24 blocchi con dimensione nascosta 1.024, dimensione patch 16, fusione spaziale 2, patch temporale 2, con proiezione a 2.560. È l'encoder nativo del backbone, mantenuto anziché sostituito, e il paper lo congela a partire dalla seconda fase di pre-addestramento perché "fornisce già rappresentazioni visive sufficientemente forti".

• Torre audio — In stile Whisper, 32 livelli encoder e 32 livelli decoder con ampiezza 1.280, con un Q-Former a livello di finestra che comprime finestre da 0,1 secondi in 10 token audio al secondo. L'audio arriva a 16 kHz in blocchi da 30 secondi. Questa è la parte inizializzata da Qwen2.5-Omni e, con 1,07 miliardi di parametri, è il singolo divario più grande tra il nome e il file.

• Fusion — i token visivi e audio si alternano in ordine cronologico con timestamp testuali espliciti, anziché essere raggruppati in flussi separati.

• Modalità — una modalità Instruct per risposte dirette e una modalità Thinking che emette una traccia di ragionamento prima della risposta, selezionabili a livello di template della chat con enable_thinking.

• Licenza — Apache 2.0 per l'intera raccolta, con il file di licenza di T​encent che esclude i componenti di terze parti che "restano soggetti ai rispettivi termini originali". L'esclusione non è dettagliata nella scheda del modello.

256K nella configurazione, 8K nel comando di serving

La configurazione testuale dichiara max_position_embeddings di 262.144. Ogni comando di serving pubblicato da Tencent — entrambi i profili vLLM ed entrambi i profili SGLang — passa max-model-len 8192 o context-length 8192. Il valore di 256K è margine architetturale, non una configurazione supportata, e nulla nel repository spiega come raggiungerla.

Il budget dei frame ha la stessa forma. I valori predefiniti del processore sono generosi: 2 frame al secondo, fino a 128 frame, 25.165.824 pixel totali. La ricetta vLLM sovrascrive tutti e tre al ribasso — fps 2, max_frames 16, total_pixels 262144. Sedici frame è ciò che si ottiene copiando il comando. Una clip campionata a 16 frame è un input diverso da una clip campionata a 128, e l'articolo non dichiara quale campionamento abbiano usato le sue valutazioni video.

• Limiti dei media per richiesta, come forniti — quattro immagini, due video, due elementi audio.

• Contesto, nella versione fornita — 8.192 token, con l'audio che consuma 10 token al secondo prima che qualsiasi fotogramma video venga conteggiato.

Per un modello 4B quei due numeri sono il vincolo decisivo per il lavoro reale. Ottomila token equivalgono a circa tredici minuti di audio e nient'altro; un video con una colonna sonora spende il budget su entrambi i flussi contemporaneamente. I benchmark per video lunghi riportati di seguito sono stati eseguiti in condizioni che il repository non descrive.

I benchmark sono quelli degli autori stessi

Ogni numero in questo articolo proviene dal rapporto tecnico WeMM-Video. Il documento lo dice chiaramente — "Per i modelli esistenti, riportiamo i risultati ufficiali quando disponibili e, negli altri casi, le nostre valutazioni" — e nessuna terza parte ne ha riprodotto alcunché. La modalità cambia anche da una tabella all’altra, il che conta più del solito perché la modalità Thinking non è priva di costi: le tabelle video riportano Thinking per 2B, 4B e 9B, la tabella audio riporta Instruct perché gli autori hanno giudicato i benchmark audio standard compiti «percettivi diretti», e le tabelle immagini e testo tornano a Thinking. Confrontare una riga 4B nella tabella audio con una riga di un concorrente nella tabella video non è un confronto.

A single-column scoreboard headed 'WeMM-Video-4B - the scoreboard' listing 'Video-MME with audio: 83.9', 'Video-MME v2 with audio: 48.1', 'LVBench video only: 65.3', 'Daily-Omni: 82.5', 'MMAU audio: 75.2' and 'MMMU image: 78.4', with a footer reading 'Vendor-reported; no independent scores yet. Figures from arXiv 2611.26409.'

Con questa avvertenza, è nella tabella video omni-modale che il 4B giustifica la sua dimensione del file.

Dove il 4B batte un 30B

La Tabella 2 del paper mette WeMM-Video-4B a confronto con Qwen3-Omni-30B-A3B-Instruct e MiniCPM-o-4.5-9B su benchmark audio-visivi congiunti, tutti in modalità Thinking. Il 4B vince la maggior parte di essi, contro un modello sette volte più grande.

• Video-MME con audio — WeMM-Video-4B 83.9, Qwen3-Omni-30B-A3B-Instruct 77.3, MiniCPM-o-4.5-9B 69.2.

• Video-MME v2 con audio — 48,1 contro 36,3 e 28,1, il margine più ampio della tabella.

• Daily-Omni — 82,5 contro 70,7 e 80,2.

• WorldSense — 60,3 contro 54,0 e 55,7.

• OmniVideoBench — 49,7 contro 45,4 e 37,2.

La tabella dei video senza audio è persino più solida, ed è quella che dovrebbe orientare l'acquisto. Rimuovendo la traccia audio e testando solo la visione: Video-MME 75,7 contro 70,5 e 70,4, LVBench 65,3 contro 50,2 e 50,9, LongVideoBench 74,8 contro 63,5 e 66,0, EgoSchema 74,2 contro 66,4 e 60,4. Un vantaggio di 15 punti su LVBench a 4B non è un artefatto di arrotondamento; la comprensione di video lunghi è esattamente il punto in cui i piccoli modelli omni sono storicamente crollati.

Le righe relative a immagini e testo sono competitive anziché dominanti. MMMU 78,4 contro 76,9 di Qwen3.5-Omni-Flash, MathVista 85,2 contro 82,9, DocVQA 96,5 contro 95,3, IFEval 91,3 contro 85,2. Sono le righe di cui un lettore ha più probabilmente bisogno davvero, e reggono.

Dove perde, e contro cosa

Le perdite sono specifiche e meritano di essere nominate, perché una tabella che mostra solo le vittorie è proprio la cosa che questo blog esiste per evitare.

• Audio, contro un modello flash proprietario — Qwen3.5-Omni-Flash ottiene 80,4 su MMAU e 74,0 su MMAR, contro 75,2 e 67,3 di WeMM-Video-4B. L'unica vittoria del 4B sull'audio è MMAU-Pro, con 68,1 contro 64,8.

• Video, negli angoli — Video-Holmes 58,8 contro 64,3 di MiniCPM-o-4.5-9B, e FutureOmni 50,9 contro 55,1 di Qwen3-Omni-30B-A3B-Instruct e 56,1 di MiniCPM. Due benchmark in cui un concorrente più piccolo o più vecchio vince nettamente.

• Immagine e testo — MMMU-Pro 64,7 contro 68,2, OCRBench 85,7 contro 89,1, GPQA 73,2 contro 76,4, MMLU-Pro 78,3 contro 79,9. Tra uno e sei punti dietro un modello proprietario orientato al serving, che per un checkpoint da 5,61B è un distacco rispettabile.

L'interpretazione è che WeMM-Video-4B sia stato ottimizzato per video audiovisivi congiunti e abbia tenuto testa ovunque altrove. Se il tuo compito è descrivere ciò che accade in una clip e riassumere ciò che viene detto nel suo audio, i numeri sono buoni. Se il tuo compito è OCR denso o ragionamento su testi di livello universitario, lo stesso checkpoint è un compromesso.

Eseguirlo significa applicare una patch al proprio runtime

A screenshot of the Tencent/WeMM-Video GitHub repository showing five stars, zero forks, and the README model-zoo table listing the WeMM-Video 2B, 4B, 9B and 35B-A3B checkpoints against their base models.

Né vLLM né SGLang supportano questa architettura upstream. Una ricerca nel issue tracker di vLLM non trova alcuna richiesta relativa a WeMM-Video, e il repository fornisce invece una directory patch: overlay del codice sorgente con manifest SHA-256 per quattro release upstream esatte — vLLM 0.18.0 e 0.31.0, SGLang 0.5.16 e 0.5.19 — ciascuna vincolata a una specifica combinazione di PyTorch, Transformers e CUDA 12.9, con Python 3.12 e FFmpeg richiesti e TorchCodec che necessita di CUDA 12 NPP nel percorso del linker. Inoltre SGLang compila i kernel CUDA al primo utilizzo, quindi una toolchain C++ e Ninja fanno parte dell'installazione.

Anche il percorso GGUF non è una scorciatoia. È un bundle di tre file — un file linguistico da 4,90 GiB, un proiettore visivo da 0,63 GiB e un file audio da 2,00 GiB — creato per un "runtime nativo WeMM" che si compila dal repository, non per llama.cpp o Ollama. Il manifest di Tencent stesso etichetta l'esportazione come exported_unvalidated, e il file di ambito allegato indica quantized_candidate_not_validated. Si tratta di un'etichettatura insolitamente schietta e va letta alla lettera: il bundle Q4_K_M è offerto, non garantito.

Ciò che Tencent dichiara effettivamente come convalidato è limitato: la vLLM con patch ha caricato il checkpoint su un H20 e ha completato le verifiche di generazione per testo, immagine, audio e video con una traccia audio, e il checkpoint locale ha superato un caricamento diretto con Transformers più una verifica di generazione testuale su CPU. Nessun dato su throughput, latenza, impronta di memoria o concorrenza. Per un modello il cui punto di forza è il video, «ha generato» è il minimo indispensabile per una decisione di deployment.

OrcaRouter non serve WeMM-Video-4B. Il suo catalogo non elenca alcun checkpoint WeMM, quindi non c'è alcun prezzo hosted da citare né endpoint a cui fare riferimento; oggi si tratta di un lavoro di self-hosting con una patch applicata al motore di inferenza di qualcun altro. Per la metà del lavoro relativa solo alla visione ci sono alternative aperte sulla piattaforma — Qwen3-VL-235B-A22B-Thinking e Qwen3-VL-8B-Thinking accettano entrambi immagini e frame video — raggiungibili tramite una chiave compatibile con OpenAI, senza alcun equivalente WeMM per la metà audio. Se un host compatibile dovesse iniziare a servire questi pesi, il prezzo di listino del provider verrebbe trasferito con markup 0%, ma questa è una condizione, non un fatto attuale.

Cosa non è ancora stato confermato

Quattro cose che un acquirente normalmente otterrebbe da un lancio e che qui non può ottenere.

• Prezzo. Non ce n'è. Nessun endpoint ospitato, nessuna tariffa per token, nessun elenco di partner. L'unico costo è la GPU che già possiedi.

• Valutazione indipendente. Nessuna voce su Artificial Analysis, nessun invio all'arena, nessuna riproduzione da parte di terzi. La pipeline di valutazione è pubblica, che è la seconda cosa migliore e non è la stessa cosa.

• Condizioni di valutazione.I conteggi dei frame, i budget di pixel e le lunghezze di contesto utilizzati per le esecuzioni del benchmark non sono indicati nell'articolo, e la ricetta distribuita utilizza 16 frame mentre il processore ne usa 128 per impostazione predefinita.

• L'eccezione relativa alle licenze di terze parti. T​encent afferma che i componenti all'interno della raccolta restano soggetti alle rispettive condizioni originali, ma non li elenca. Lo stack audio discende da Qwen2.5-Omni e il backbone da Q​wen3.5, entrambi Apache 2.0, il che è rassicurante più che decisivo.

Niente di tutto ciò è un motivo per liquidare il rilascio. È un motivo per trattare la famiglia per quello che è visibilmente: diciotto repository e un rapporto tecnico messi online in una finestra di diciannove minuti, saltando il passo dell'annuncio. La documentazione è migliore di quella della maggior parte dei lanci annunciati. La distribuzione è zero.

Per un team che ha bisogno di comprensione audio-visiva congiunta su hardware che controlla, WeMM-Video-4B è il checkpoint piccolo più interessante pubblicato questo mese, e i numeri sul video giustificano lo sforzo di patching. Per chiunque abbia bisogno di un endpoint entro venerdì, la risposta onesta è che questo non lo è ancora — i pesi esistono, il runtime è un overlay del codice sorgente, e gli unici benchmark sono quelli degli autori. Tenete d'occhio la prima riproduzione indipendente, un merge upstream in vLLM o un prezzo per l'hosting. Qualunque arrivi per primo vi dirà più di un'altra riga nella Tabella 2.

Confrontati in questo articolo1

Rilevato da questo articolo