VideoJev: un modello video che risponde con un numero invece di una frase

VideoJev è una famiglia di modelli di comprensione video che non scrive mai una risposta. Se gli chiedi il timestamp di un evento, restituisce un intervallo assemblato da slot candidati valutati; se gli poni una domanda a scelta multipla su un video, restituisce l'opzione con il punteggio più alto. Ci sono due checkpoint rilasciati — VideoJev-4B su Qwen3.5-4B e VideoJev-35B-A3B su Qwen3.6-35B-A3B — e non sono stati lanciati. Nessuno ha diffuso un comunicato stampa. Un articolo è apparso su arXiv il 2026-10-13, i pesi sono stati pubblicati su Hugging Face il 2026-10-10, e il repository era ancora in fase di sistemazione quattro giorni dopo: al 14 ottobre riceveva commit come "Ripristina il video README inline con un allegato pubblico" e "Aggiungi il link all'articolo arXiv e la citazione BibTeX ufficiale". Ecco com'è un rilascio silenzioso — gli artefatti sono reali e ispezionabili, e non c'è alcun annuncio che ti dica ciò che gli autori ritengono importante.

Tutto ciò che segue proviene da uno di tre luoghi: il preprint arXiv (2610.18615, cs.CV, inviato il 13 ottobre 2026), le model card e il codice pubblicati dagli autori, e le note a piè di pagina del paper stesso su come sono stati misurati i numeri. Ho cercato di tenere ben separati questi tre elementi, perché la cosa interessante di questa release non è il numero di punta — è quanto fragile sia il terreno su cui poggia.

Ciò che l'articolo sostiene effettivamente

VideoJev prende un LLM multimodale preaddestrato, elimina l'MLP finale e la testa di output del modello linguistico, e mette al loro posto un valutatore di candidati. Due nuovi token, <|option_end|> e <|decide|>, producono readout. Lo stato di decisione e ciascuno stato candidato vengono proiettati a 512 dimensioni, normalizzati e moltiplicati scalarmente tra loro; gli intervalli temporali vengono valutati con una sigmoid e assemblati in uno span, le opzioni di risposta vengono valutate e normalizzate con una softmax. Entrambi i compiti passano attraverso la stessa testa. Nulla viene decodificato in modo autoregressivo, perché non c'è nulla da decodificare.

Le tre cifre principali del paper, tutte dichiarate dai fornitori e tutte provenienti dall'ambiente di valutazione degli autori stessi:

• Qualità del grounding — VideoJev-4B raggiunge 65,3 mIoU medio su tre benchmark di grounding temporale, 6,7 punti sopra il suo backbone Qwen3.5-4B. VideoJev-35B-A3B raggiunge 67,7, 10,8 punti sopra Qwen3.6-35B-A3B.

• Parità QA senza ragionamento — su quattro benchmark video-QA i due modelli si collocano a una media di 74,3 e 79,5, rispettivamente 0,6 punti sotto e 0,7 punti sopra i loro backbone in modalità Thinking.

• Latenza — 2,8–3,1× più veloce di questi backbone sul grounding e oltre 100× su QA. Il valore misurato per QA è 129× a 4B e 100× a 35B-A3B.

L'inquadramento onesto dell'affermazione sulla velocità è che si tratta di un confronto con un modello di ragionamento che fa qualcosa di molto più difficile di quanto richieda il compito. Qwen3.5-4B in modalità Thinking consuma 144,9 secondi per domanda su LVBench per ottenere un punteggio di 74,9; VideoJev-4B impiega 1,123 secondi per ottenere 74,3. Il 129× è aritmetica reale sulla tabella di latenza dello stesso articolo, ed è anche l'aritmetica che otterresti da qualsiasi modello che si rifiuta di pensare. La domanda interessante non è se l'accelerazione sia reale — è se si possa costruire un sistema in cui quel compromesso sia corretto.

L'argomentazione alla base: decisioni, non generazioni.

Ciò che rende questo più interessante di una tabella di benchmark è la rivendicazione architetturale. Gli autori hanno messo a punto un normale Qwen3.5-4B autoregressivo esattamente sugli stessi dati di post-addestramento, nella stessa singola fase, con le stesse impostazioni, e gli hanno fatto generare intervalli o rispondere con lettere. La Tabella 3 nell'articolo dice che VideoJev-4B batte quel controllo di 1,3 punti di mIoU media di grounding e 1,9 punti di punteggio QA medio. Entrambi i modelli hanno visto una supervisione identica; solo la forma del readout differiva.

Se questo vale, il guadagno non è nei dati né nella scala — è che chiedere a un modello di emettere una distribuzione di probabilità su candidati strutturati si adatta meglio a una decisione strutturata che chiedergli di produrre una stringa e poi fare il parsing della stringa per riconvertirla in una decisione. Questa è la stessa scommessa che TypeSafe ha fatto con Jev 1.13 e la sua famiglia System One, generalizzata da stati testuali a video. Il paper è esplicito nel dire che si basa su quella linea di lavoro anziché inventare la categoria.

Due dettagli implementativi valgono più dei numeri in evidenza, perché sono ciò che lo rende utilizzabile e non solo veloce. Inferenza con cache codifica e precompila il video una volta e consente alle query in arrivo di diramarsi da quel prefisso memorizzato nella cache — un solo forward pass per query. Inferenza congiunta mette diverse query dietro un unico prefisso video e legge un <|decide|> separato per ciascuna, quindi un gruppo di domande costa un solo forward pass in totale. Su dieci query di grounding relative a un video, l'articolo misura 0,39 s per VideoJev rispetto a 5,98 s per una baseline Instruct; sul versante QA, dieci query arrivano a 1,67 s. L'articolo verifica anche l'ovvia modalità di fallimento dell'inferenza congiunta — ovvero che una domanda precedente faccia trapelare la propria risposta in una successiva — e riporta di aver verificato che nessuna risposta di riferimento o prevista venga inserita nel prefisso condiviso. Vale la pena notare che questa è la verifica degli stessi autori, e che l'inferenza congiunta ottiene risultati migliori rispetto alla modalità isolata con cache (65,3 vs 64,5 mIoU a 4B), cosa che attribuiscono all'addestramento sullo stesso layout congiunto.

Quello che la carta non ti dice

Quattro cose sono vistosamente assenti, e contano più di qualsiasi cosa sopra elencata se stai decidendo se questo è pronto per la produzione.

• I dati di addestramento non sono divulgati. Il repository documenta il formato e fornisce gli strumenti per creare il proprio JSONL, ma il corpus, le sue dimensioni e la sua provenienza non sono dichiarati. Non è possibile valutare la contaminazione rispetto ai sette benchmark su cui riporta i risultati.

• I pesi del 35B partono da FP32. La pagina del progetto indica FP32 per l'inferenza Cached e BF16 per Joint — quindi la configurazione di punta del modello più grande è quella con l'impronta di memoria più pesante, e la pagina non fornisce un valore di VRAM per nessuna delle due.

• La confidenza è eccessivamente alta. L'articolo riporta un errore medio di calibrazione di 8,65 punti per 4B e 8,13 per 35B-A3B. Il punteggio è un segnale di ranking utilizzabile, non una probabilità su cui dovresti diramare senza una soglia che hai tarato tu stesso.

• Nessuno ha eseguito i calcoli in modo indipendente.Ogni numero qui riportato proviene dal gruppo che ha addestrato i modelli. Al momento in cui scriviamo non esiste alcuna replica da parte di terzi, nessuna voce in classifica e nessun supporto di framework integrato — il percorso di inferenza è trust_remote_code=True su un'architettura personalizzata, che richiede come minimo PyTorch 2.8/CUDA 12.8 e FlashAttention 2.

Quest'ultimo punto vale anche per il modello più piccolo, e va contro l'assunzione ovvia. VideoJev-4B è quello che ti aspetteresti di eseguire su hardware modesto, e la quickstart della sua scheda presuppone un H200 a 2 fps con un massimo di 2.048 fotogrammi. Esiste una demo più economica — una clip di dieci secondi, dieci intervalli candidati, probabilità stampate — ma i risultati del paper sui video lunghi usano un contesto fisso di 262.144 token con fotogrammi limitati a 640×640. Il 4B è piccolo in termini di parametri, non necessariamente di costo di servizio.

Provarlo senza scommetterci sopra

Poiché i checkpoint sono ciò che esiste realmente, il modo a basso rischio per iniziare è eseguire VideoJev in locale sui propri filmati prima di costruirci qualcosa sopra: il percorso demo è un download e una dozzina di righe, e i casi di fallimento che il paper stesso documenta (conteggio di piccoli oggetti su Video-MME, dove entrambe le dimensioni mancano una risposta da quattro libri) sono esattamente quelli che conviene incontrare sui propri dati anziché su Charades. VideoJev-4B e VideoJev-35B-A3B sono Apache-2.0, quindi nulla te lo impedisce.

Il punto in cui OrcaRouter si inserisce è l'altra metà del flusso di lavoro. Un'interfaccia decisionale video è rara di per sé; ciò che è comune è una pipeline che ha bisogno anche di un modello generativo per scrivere il riepilogo, di un classificatore economico per controllare l'accesso alla chiamata costosa e di qualcosa che instradi tra loro. OrcaRouter mette oltre 200 modelli dietro un'unica API con markup dello 0% — il prezzo di listino del provider viene passato tal quale, quindi un taglio di prezzo del fornitore è attivo qui lo stesso giorno — con failover automatico tra provider, un DSL di routing per comporre più modelli in un'unica chiamata e fusione di modelli per i panel. Nessuno dei due checkpoint di VideoJev è ospitato qui, e questo articolo non ha intenzione di far finta del contrario; i due ambiti in cui si guadagna il suo posto sono il secondo anello di una pipeline il cui primo anello è un modello locale, e il motivo per cui un modello di ricerca come questo può essere provato senza un secondo contratto con un fornitore per tutto ciò che gli sta intorno.

Cosa lo renderebbe una storia più grande?

Il gate su questo articolo è insolitamente pulito, quindi vale la pena affermarlo chiaramente: VideoJev è un rilascio di ricerca, non il lancio di un prodotto. Non c'è alcun changelog, nessuna pagina dei prezzi, nessun endpoint ospitato, nessuna lista d'attesa e nessun post sul blog del fornitore. Ciò che esiste è un preprint inviato il 13 ottobre 2026, due checkpoint Apache-2.0 caricati il 10 ottobre, e un repository che era ancora in fase di modifica il 14 ottobre — il giorno prima di questo articolo. L'assenza di un annuncio non è prova di un problema, ma significa che l'inquadramento deve essere "ciò che dicono gli artefatti", non "ciò che sostiene il fornitore".

Tre sviluppi cambierebbero l'assetto della questione. Una valutazione di terze parti che riproducesse i guadagni di +6.7 e +10.8 mIoU sugli stessi backbone con lo stesso protocollo. Un'implementazione per vLLM o SGLang, che lo farebbe passare da curiosità con trust_remote_code a qualcosa di servibile con un throughput concreto. Oppure un endpoint ospitato da qualcuno, che renderebbe l'affermazione del 100× un numero che puoi misurare sul tuo video invece di uno che prendi da una tabella a pagina sei. Finché non arriva una di queste cose, la posizione utile è quella che assume il paper stesso: l'interfaccia di scoring diretto è un modo genuinamente diverso di costruire un agente video, e le prove a suo sostegno sono attualmente il preprint di nove pagine di un solo gruppo.

Tieni aperto il notebook dimostrativo, provalo sul filmato meno lusinghiero che hai e tratta i punteggi di confidenza come una classifica finché non li avrai calibrati tu stesso.

Un rilascio è anche il momento di verificare cosa è andato storto in precedenza: gli incidenti documentati di IA e i guasti degli agenti relativi ai modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di affidabilità e il flag di contestazione.