Scheda del titolo principale con scritto 'WeMM-Video-2B', sottotitolo 'rilasciato senza alcun annuncio', con quattro badge che recitano '2B dense, 3,28B totali', 'video + audio + immagine + testo in ingresso', 'Apache 2.0, quattro quantizzazioni', 'zero download sull'Hub'.
Engineering & Research

WeMM-Video-2B: un modello omni-modale da 2B che nessuno ha annunciato

Autore

Gideon Frost

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Non c'è alcun post di lancio. Non c'è una model card su una pagina prodotto, nessuna lista d'attesa, nessuna tabella dei prezzi, nessun tweet sui benchmark da un dirigente di T​encent. Quello che esiste è un repository Hugging Face creato alle 08:58 UTC del 17 novembre 2026 e un repo GitHub il cui primo commit è arrivato sei ore e mezza prima, ed entrambi descrivono WeMM-Video-2B come il checkpoint denso da 2B in una famiglia di modelli video omni-modali cinese–inglese di WeChat Vision di T​encent. Sei giorni dopo, il repo ha due like, zero download e quattro modelli fratelli quantizzati creati entro undici minuti dai pesi di base. Quindi la prima frase onesta di qualsiasi articolo su questo modello è una frase sul suo packaging: è pubblico, è scaricabile e nessuno ne ha fatto parola.

Vale la pena prendere sul serio quel divario invece di trattarlo come una giornata fiacca. Una famiglia di modelli che pubblica pesi, un paper, quattro formati di quantizzazione, ricette patchate per vLLM e SGLang, un runtime nativo in C++ e un file Docker compose nella stessa settimana non è una scarica di materiale di ricerca che qualcuno si è dimenticato di annunciare — è un rilascio preparato e poi pubblicato senza il livello di marketing. Quanto segue separa ciò che gli artefatti dimostrano da ciò che solo T​encent può confermare, e non ha deliberatamente alcun interesse a stabilire se il modello sia buono.

Cosa contiene effettivamente il repository

Il checkpoint di base è tencent/WeMM-Video-2B, Apache 2.0, 6,12 GiB di safetensors BF16 distribuiti su due shard. Il file di indice riporta 3.283.624.264 parametri in totale, il che dice qualcosa che il nome non dice: "2B" è il modello linguistico, non il sistema. La backbone testuale è un decoder della famiglia Qwen3.5 — 24 layer, dimensione nascosta 2048, 8 teste di attenzione rispetto a 2 teste KV, un vocabolario di 248.320 token e un embedding di posizione massimo di 262.144 token — con un layout di attenzione ibrido che inserisce un layer di attenzione completa ogni tre layer di attenzione lineare. Davanti ad essa si trovano un vision transformer da 24 layer con dimensione nascosta 1024, e uno stack audio costruito da un encoder Whisper da 32 layer che alimenta un Q-Former a due layer con dimensione nascosta 4104. I parametri rimanenti risiedono in quei due encoder.

Generated scoreboard titled 'WeMM-Video-2B — the scoreboard' with six rows: parameters 3.28B total with a 2B language model, modalities in text, image, audio and video plus soundtrack, output text only, video sampling 2 fps from 4 to 16 frames, an 8,192-token context, and no hosted endpoint as the price. A footer reads 'Vendor-reported; no independent evaluations published.'

Quell'architettura risponde alla domanda che il nome solleva. Non è un generatore di video. Prende in input video — fotogrammi più, facoltativamente, la colonna sonora originale — e produce testo in output. Gli stessi token ID della configurazione lo confermano: un token video, un token audio, un token immagine e un modello linguistico che genera. Se sei arrivato sperando in un altro concorrente nella corsa text-to-video, il repository ti deluderà alla prima lettura del tag della pipeline, che è image-text-to-text.

• Dimensioni della famiglia — 2B, 4B, 9B dense e un 35B-A3B mixture-of-experts, tutti pubblicati insieme il 17 novembre.

• Quantizzazioni per il 2B — FP8 Block128, AWQ W4A16, GGUF Q4_K_M e NVFP4 W4A16, ciascuna nel proprio repository, ciascuna creata entro undici minuti dai pesi di base.

• Percorsi di serving — Transformers 5.2.0, vLLM 0.18.0 o 0.31.0 con patch, SGLang 0.5.16 o 0.5.19 con patch, e un runtime nativo per la build GGUF che viene eseguito su CPU o CUDA.

• Limiti di input nelle ricette distribuite — fino a quattro immagini, due video e due elementi audio per richiesta, con una lunghezza di contesto di 8.192 token.

• Licenza — Apache 2.0 sui pesi, con un file separato di avvisi di terze parti che copre i componenti LAVIS, vLLM e SGLang.

Il dettaglio del serving con patch è ciò che distingue questo rilascio da un tipico rilascio di pesi aperti. T​encent non ha pubblicato un repository che «funziona in teoria»; ha pubblicato patch overlay per versioni specifiche di vLLM e SGLang, file delle dipendenze bloccati, immagini Docker con tag CUDA 12.9 e una nota di validazione che afferma che il checkpoint è stato caricato e ha completato la generazione su hardware L20 e H20 per testo, immagini, audio e video con colonna sonora. Se queste patch reggano al di fuori del cluster di T​encent è esattamente il tipo di domanda a cui risponde una settimana di estranei che le eseguono, e quella settimana non è ancora arrivata.

Screenshot of the Hugging Face model card for tencent/WeMM-Video-2B, showing the image-text-to-text pipeline tag, Transformers and Safetensors, the qwen3_5 architecture with custom code, an Apache-2.0 licence, a model size of 3B parameters, a downloads figure with no deployments, and a Quantizations section listing the four sibling repositories.

Cosa sostiene l'articolo e chi lo ha verificato

Il rapporto tecnico è arXiv 2611.26409, datato 19 novembre 2026 — due giorni dopo la comparsa dei pesi — ed è un paper su una famiglia di modelli, non un paper su un modello 2B. Dodici autori, con Changli Tang come primo nome e Jing Lyu come ultimo, tutti sotto il marchio WeChat Vision.

L'affermazione principale riguarda il modello 35B-A3B, non il 2B: esso stabilisce un nuovo stato dell'arte open-source nella valutazione video omnimodale, superando in modo sostanziale Qwen3.5-Omni-Flash e Seed2.0-Mini-0428 e riducendo il divario con Gemini-3.0-Flash. Una seconda affermazione riguarda invece il modello nel titolo di questo articolo: WeMM-Video-9B supera il più grande modello open-source Qwen3-Omni-30B-A3B-Instruct. Il 2B compare nella descrizione della famiglia e nel model zoo, ma l'argomentazione del paper è sostenuta dalla sua variante più grande.

Tutti quei numeri sono dichiarati dal fornitore. Non esiste una voce su Artificial Analysis, nessun risultato LMArena, nessuna riproduzione indipendente e — al momento in cui scriviamo — nessuna valutazione di terze parti di alcun tipo per alcun membro della famiglia. L’articolo afferma che i modelli sono stati valutati su più di 120 benchmark; non dice chi li ha eseguiti, e la risposta è Tencent. Non è un’accusa, è lo stato normale di un rilascio di sei giorni. Ma significa che la descrizione corretta della posizione del 35B-A3B è "Tencent riferisce che è in testa", non "è in testa".

Un'ulteriore avvertenza è di natura strutturale, non editoriale. Una suite di benchmark di 120 attività, scelte e ponderate dal laboratorio che ha addestrato il modello, è una misura dell'idoneità: ti dice che il modello è bravo nelle cose che i suoi autori hanno pensato di misurare. Non ti dice che è bravo nelle cose di cui hai bisogno. Il divario tra queste due affermazioni è il punto in cui si commette la maggior parte degli errori di selezione del modello, e nessuna quantità di lettura di tabelle lo colma.

Le quattro modalità e perché il percorso audio è importante

L'API di inferenza espone cinque forme di richiesta, e quella interessante è l'ultima. Testo e immagine non hanno nulla di particolare. L'audio da solo non ha nulla di particolare. I fotogrammi video da soli sono il caso standard del video multimodale. Il video con la sua colonna sonora originale è quello che cambia ciò che si può chiedere al modello di fare, ed è un tipo di contenuto separato nell'API di serving anziché un comportamento implicito.

In pratica, questo significa che puoi dare al modello una clip e chiedergli di descrivere ciò che appare sullo schermo e riassumere ciò che viene detto, in un'unica chiamata, ottenendo una risposta che riflette entrambe le cose. Gli esempi presenti nella scheda del modello fanno esattamente questo: trascrivono il parlato in inglese da una registrazione dell'Apollo 11, poi descrivono lo stesso MP4 con e senza la relativa traccia audio. Se il ragionamento congiunto sia migliore rispetto all'esecuzione affiancata di un modello video e di un modello vocale con successiva ricucitura degli output è una questione empirica, ed è la singola cosa più utile che un valutatore indipendente potrebbe testare.

L'altra decisione progettuale che vale la pena menzionare è il template di chat a due modalità. Passando enable_thinking=False si ottiene una risposta diretta; enable_thinking=True si ottiene una traccia di ragionamento prima della risposta. Si tratta di un controllo latenza-qualità fornito come flag del template anziché come due checkpoint, una scelta ragionevole per un modello da 2B — non si paga per un secondo set di pesi per ottenere il secondo comportamento.

Eseguirlo e l'onesto stato della disponibilità

Il percorso di avvio rapido prevede un ambiente Python 3.12, una GPU NVIDIA, un driver compatibile con CUDA 12.9 e FFmpeg. Installa Torch 2.10.0, TorchVision 0.25.0 e TorchCodec 0.10.0 dall'indice CUDA 12.9, poi Transformers 5.2.0, Accelerate, Pillow, Librosa, SoundFile, SciPy e Requests. Il modello viene caricato tramite AutoModelForImageTextToText con trust_remote_code=True — l'architettura è personalizzata, quindi quel flag è portante e non decorativo, e la card indica correttamente di leggere il codice personalizzato prima di abilitarlo.

Se vuoi un server invece di uno script, la ricetta vLLM fissa una build 0.18.0 con patch e passa --no-enable-prefix-caching insieme a --mamba-ssm-cache-dtype float32, una combinazione che ti dice che i livelli ibridi di linear attention non hanno ancora una prefix cache funzionante. Si tratta di una vera limitazione di throughput per i carichi di lavoro di chat, ed è il genere di dettaglio che emerge solo quando qualcuno ha effettivamente provato a servire la cosa.

Ciò che manca da ogni documento è un prezzo. Non esiste un endpoint ospitato da Tencent per WeMM-Video-2B, nessuna tariffa per token, nessun deployment gestito. Si scaricano i pesi e la GPU è tua. Sul fronte OrcaRouter l'affermazione onesta è la stessa: non serviamo WeMM-Video-2B. Ciò che invece portiamo da Tencent è la linea di modelli testuali Hunyuan — tencent/hy4, tencent/hy4-flash e le build di anteprima — su un unico endpoint compatibile con OpenAI al prezzo di listino del provider con 0% di ricarico, il che è utile se la tua pipeline necessita di un modello testuale dello stesso laboratorio e inutile se necessita di questo. Due prodotti diversi, un solo nome di fornitore, e confonderli sarebbe l'errore facile da fare di fretta.

Screenshot of the OrcaRouter catalogue page for tencent/hy4, showing pricing of $0.56 per million input tokens and $2.24 per million output tokens, a quality score of 90, a speed score of 67, a 1M-token context window, a 64k maximum output, zero-data-retention support and a release date of 4 November 2026.

Dalla curiosità alla raccomandazione

Tre cose, in ordine di quanto potrebbero fare la differenza.

Il primo è una valutazione indipendente su un benchmark che Tencent non ha scelto. Qualsiasi run in un'arena cieca — comprensione video, QA audiovisiva, qualunque cosa sia la più vicina — ti direbbe subito se la posizione rivendicata dalla famiglia sopravvive al contatto con un set di prompt neutro. Finché non esiste, il "nuovo stato dell'arte open source" del 35B-A3B è un'affermazione su una tabella in un PDF.

Il secondo è un report di serving proveniente dall'esterno di Tencent. Le patch sono specifiche, l'hardware è specifico e la nota di validazione riguarda due modelli di GPU. Non è noto se questo funzioni senza problemi su un nodo H100, un nodo A100 o una 4090 a noleggio, e la risposta determinerà se il 2B è un progetto da weekend o un artefatto di ricerca.

Il terzo è un annuncio di un fornitore — un annuncio di qualsiasi fornitore. Un post sul blog, una model card su una pagina prodotto di T​encent, un livello tariffario. Al momento il rilascio è comprensibile solo a chi legge i timestamp del repository, e la finestra di sette giorni in cui ciò è vero si sta chiudendo. Se T​encent non pubblica nulla, l'interpretazione più probabile è che questi pesi esistano per supportare il paper e il 35B, e che il 2B sia un checkpoint di comodità più che un prodotto.

Qual è il fondo onesto della questione. WeMM-Video-2B è un modello omni-modale reale, scaricabile e con licenza Apache-2.0 che nessuno ha annunciato, nessuno ha scaricato e nessuno ha testato in modo indipendente. Se il tuo lavoro riguarda la comprensione congiunta audio-visiva e hai una GPU libera e un pomeriggio, il costo per scoprire cosa fa è il download. Se il tuo lavoro prevede di rilasciare qualcosa il mese prossimo, il costo per scoprirlo è più alto di così, e la cosa responsabile è aspettare i numeri di qualcun altro.

Confrontati in questo articolo1

Rilevato da questo articolo