Een gegenereerde titelkaart met de bovenkop 'Onderzoeksrelease - niet aangekondigd' boven de hoofdkop VideoJev, met als ondertitel 'Een videomodel dat antwoordt met een getal, niet met een zin - het scoort kandidaat-intervallen en kandidaat-opties rechtstreeks.' Op twee panelen staat 'Eén scorer, twee vraagvormen' (temporele grounding retourneert een gescoord interval in seconden; video-QA retourneert de index van de optie met de hoogste score; twee nieuwe readout-tokens, <|option_end|> en <|decide|>) en 'Wat daadwerkelijk is uitgeleverd' (VideoJev-4B op Qwen3.5-4B en VideoJev-35B-A3B op Qwen3.6-35B-A3B; Apache-2.0-gewichten geüpload op 2026-10-10; arXiv-preprint 2610.18615 ingediend op 2026-10-13), met een derde paneel met de tekst 'Geen lancering - geen bericht van de leverancier, geen prijspagina, geen gehoste endpoint'. Een voettekst luidt 'Alle benchmarkcijfers zijn de eigen evaluatie van de auteurs, niet onafhankelijk gereproduceerd.' Het OrcaRouter-logo is gecompositeerd in de rechteronderhoek.
Guides & Insights

VideoJev: een videomodel dat antwoordt met een getal in plaats van een zin

Auteur

Rowan Sterling

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

VideoJev is een familie van modellen voor videobegrip die nooit een antwoord schrijft. Vraag het om de tijdstempel van een gebeurtenis en het retourneert een interval dat is samengesteld uit gescoorde kandidaatslots; stel het een meerkeuzevraag over een video en het retourneert de optie met de hoogste score. Er zijn twee vrijgegeven checkpoints — VideoJev-4B op Qwen3.5-4B en VideoJev-35B-A3B op Qwen3.6-35B-A3B — en ze werden niet gelanceerd. Niemand bracht een persbericht uit. Er verscheen een paper op arXiv op 2026-10-13, de gewichten werden op 2026-10-10 op Hugging Face geplaatst, en de repository werd vier dagen later nog opgeruimd: op 14 oktober kreeg die commits zoals "Restore inline README video with a public attachment" en "Add arXiv paper link and official BibTeX citation." Zo ziet een stille release eruit — de artefacten zijn echt en te inspecteren, en er is geen aankondiging die je vertelt wat de auteurs belangrijk vinden.

Alles hieronder komt uit een van drie bronnen: de arXiv-preprint (2610.18615, cs.CV, ingediend op 13 oktober 2026), de modelkaarten en code die de auteurs hebben gepubliceerd, en de voetnoten van het paper zelf over hoe de cijfers zijn gemeten. Ik heb geprobeerd die drie duidelijk gescheiden te houden, want het interessante aan deze release is niet het kopcijfer — het is hoe dun de grond eronder is.

A headless-browser capture of the arXiv abstract page for VideoJev, paper 2610.18615 in cs.CV, submitted 13 October 2026. The page shows the paper title, the author list, the abstract describing a System One model for video understanding and interaction with direct scoring instead of autoregressive decoding, and the comment line pointing at the project page and code release.

Wat het artikel eigenlijk beweert

VideoJev neemt een vooraf getraind multimodaal LLM, verwijdert de laatste MLP en de output-head van het taalmodel, en plaatst een kandidaatscorer in hun plaats. Twee nieuwe tokens, <|option_end|> en <|decide|>, produceren uitlezingen. De beslissingstoestand en elke kandidaattoestand worden geprojecteerd naar 512 dimensies, genormaliseerd en met elkaar vermenigvuldigd; temporele intervallen worden met een sigmoïde gescoord en tot een span samengesteld, antwoordopties worden met een softmax gescoord en genormaliseerd. Beide taken lopen door dezelfde head. Er wordt niets autoregressief gedecodeerd, omdat er niets te decoderen is.

De drie kerncijfers uit het artikel, allemaal door leveranciers gerapporteerd en allemaal afkomstig uit het eigen evaluatieraamwerk van de auteurs:

• Kwaliteit van grounding — VideoJev-4B behaalt een gemiddelde mIoU van 65,3 op drie benchmarks voor temporele grounding, 6,7 punten hoger dan de eigen Qwen3.5-4B-backbone. VideoJev-35B-A3B behaalt 67,7, 10,8 punten hoger dan Qwen3.6-35B-A3B.

• QA-pariteit zonder redeneren — op vier video-QA-benchmarks scoren de twee modellen gemiddeld 74,3 en 79,5, respectievelijk 0,6 punten onder en 0,7 punten boven hun backbones in Thinking-modus.

• Latentie — 2,8–3,1× sneller dan die backbones bij grounding, en meer dan 100× bij QA. De gemeten waarde voor QA is 129× bij 4B en 100× bij 35B-A3B.

A generated scoreboard titled 'VideoJev - the scoreboard' with the eyebrow 'Authors' own harness - unaudited' and two columns headed VideoJev-4B on Qwen3.5-4B and VideoJev-35B-A3B on Qwen3.6-35B-A3B. The left column reads grounding mIoU 65.3, gain over backbone +6.7 mIoU, video QA mean 74.3, QA speedup vs Thinking 129x, grounding speedup 2.8-3.1x and weights Apache-2.0; the right column reads 67.7, +10.8 mIoU, 79.5, 100x, 2.8-3.1x and Apache-2.0. A footer reads that all figures are vendor-reported from the authors' own evaluation harness with no independent reproduction, and that mean calibration error is 8.65 points at 4B and 8.13 at 35B-A3B. The OrcaRouter logo is composited in the bottom-right corner.

De eerlijke framing van de snelheidsclaim is dat het een vergelijking is met een redeneermodel dat iets veel moeilijkers doet dan de taak vereist. Qwen3.5-4B in Thinking-modus verbruikt 144,9 seconden per vraag op LVBench om 74,9 te scoren; VideoJev-4B besteedt 1,123 seconden om 74,3 te scoren. De 129× is echte rekenkunde op de eigen latentietabel van het paper, en het is ook de rekenkunde die je zou krijgen van elk model dat weigert na te denken. De interessante vraag is niet of de versnelling echt is — het is of er een systeem kan worden gebouwd waarin die afweging juist is.

Het argument eronder: beslissingen, niet generaties

Waar dit interessanter wordt dan een benchmarktabel, is de architectuurclaim. De auteurs hebben een gewone autoregressieve Qwen3.5-4B gefinetuned op precies dezelfde post-trainingsdata, in dezelfde enkele fase, met dezelfde instellingen, en lieten het intervallen of antwoordletters genereren. Tabel 3 in het artikel zegt dat VideoJev-4B die controleconditie verslaat met 1,3 punten gemiddelde grounding-mIoU en 1,9 punten gemiddelde QA-score. Beide modellen zagen identieke supervisie; alleen de vorm van de readout verschilde.

Als dat klopt, is de winst niet data en niet schaal — het is dat een model vragen een kansverdeling over gestructureerde kandidaten af te geven beter past bij een gestructureerde beslissing dan het te vragen een string te produceren en die string vervolgens weer naar een beslissing te parsen. Dat is dezelfde gok die TypeSafe deed met Jev 1.13 en zijn System One-familie, gegeneraliseerd van teksttoestanden naar video. Het artikel is expliciet dat het voortbouwt op die lijn van werk in plaats van de categorie uit te vinden.

Twee implementatiedetails zijn meer waard dan de kopcijfers, want die zijn wat het bruikbaar maakt in plaats van louter snel. Gecachte inferentie codeert de video één keer, doet de prefill en laat aankomende queries vertakken vanaf dat gecachte prefix — één forward pass per query. Gezamenlijke inferentie plaatst meerdere queries achter één enkele videoprefix en leest voor elk afzonderlijk een <|decide|> uit, zodat een groep vragen in totaal één forward pass kost. Bij tien grounding-queries op één video meet de paper 0,39 s voor VideoJev tegenover 5,98 s voor een Instruct-baseline; aan de QA-kant komen tien queries uit op 1,67 s. De paper controleert ook de voor de hand liggende faalmodus van gezamenlijke inferentie — dat een eerdere vraag zijn antwoord laat lekken naar een latere — en meldt dat is geverifieerd dat er geen referentie- of voorspelde antwoorden in het gedeelde prefix terechtkomen. Het is het vermelden waard dat dit de eigen verificatie van de auteurs is, en dat gezamenlijke inferentie beter scoort dan de geïsoleerde gecachte modus (65,3 vs 64,5 mIoU bij 4B), wat zij toeschrijven aan training op dezelfde gezamenlijke lay-out.

Wat de kaart je niet vertelt

Vier dingen zijn opvallend afwezig, en ze zijn belangrijker dan alles hierboven als je beslist of dit productieklaar is.

• De trainingsgegevens zijn niet bekendgemaakt. De repo documenteert het formaat en geeft je de hulpmiddelen om je eigen JSONL te bouwen, maar het corpus, de omvang en de herkomst ervan worden niet vermeld. Je kunt contaminatie niet beoordelen ten opzichte van de zeven benchmarks waarover het rapporteert.

• De 35B-gewichten beginnen bij FP32. De projectpagina vermeldt FP32 voor Cached-inference en BF16 voor Joint — dus de belangrijkste configuratie van het grotere model is degene die het zwaarste beslag legt op het geheugen, en de pagina geeft voor geen van beide een VRAM-cijfer.

• Vertrouwen is overmoedig. Het artikel rapporteert een gemiddelde kalibratiefout van 8,65 punten voor 4B en 8,13 voor 35B-A3B. De score is een bruikbaar rankingsignaal, geen waarschijnlijkheid waarop je moet vertakken zonder een drempelwaarde die je zelf hebt afgestemd.

• Niemand heeft de cijfers onafhankelijk nagerekend. Elk cijfer hier is afkomstig van de groep die de modellen heeft getraind. Op het moment van schrijven is er geen replicatie door derden, geen leaderboard-vermelding en is er geen frameworkondersteuning verschenen — het inferentiepad is trust_remote_code=True tegen een aangepaste architectuur, waarvoor minimaal PyTorch 2.8/CUDA 12.8 en FlashAttention 2 nodig zijn.

A headless-browser capture of the MCG-NJU/VideoJev repository page, showing the VideoJev README heading and project description, links to the arXiv paper and the Hugging Face checkpoints, the two released models VideoJev-4B and VideoJev-35B-A3B, and the recent commit list dated 14 October 2026.

Dat laatste punt geldt ook voor het kleinere model, en het druist in tegen de voor de hand liggende aanname. VideoJev-4B is degene waarvan je zou verwachten dat die op bescheiden hardware draait, en de eigen quickstart van de kaart gaat uit van een H200 bij 2 fps met maximaal 2.048 frames. Er is een goedkopere demo — een clip van tien seconden, tien kandidaatintervallen, afgedrukte waarschijnlijkheden — maar de resultaten voor lange video's in het paper gebruiken een vaste context van 262.144 tokens, waarbij frames zijn beperkt tot 640×640. De 4B is klein qua parameters, maar niet noodzakelijkerwijs qua serveerkosten.

Uitproberen zonder erop te wedden

Omdat het de checkpoints zijn die daadwerkelijk bestaan, is de manier met het minste risico om ermee te beginnen om VideoJev lokaal te draaien op je eigen beeldmateriaal voordat je er iets op bouwt — het demopad bestaat uit een download en een tiental regels, en de faalgevallen die het paper zelf documenteert (het tellen van kleine objecten op Video-MME, waar beide groottes een antwoord van vier boeken missen) zijn precies degene die je op je eigen data wilt tegenkomen in plaats van op Charades. VideoJev-4B en VideoJev-35B-A3B zijn Apache-2.0, dus niets houdt je tegen.

Waar OrcaRouter past, is de andere helft van de workflow. Een interface voor videobeslissingen is op zichzelf zeldzaam; wat gebruikelijk is, is een pipeline die ook een generatief model nodig heeft om de samenvatting te schrijven, een goedkope classifier om de dure aanroep te beperken, en iets om tussen die twee te routeren. OrcaRouter zet 200+ modellen achter één API met 0% opslag — de adviesprijs van de provider wordt doorgegeven, dus een prijsverlaging van een leverancier is hier dezelfde dag nog actief — met automatische failover tussen providers, een routing-DSL om meerdere modellen in één aanroep te combineren, en model fusion voor panels. Geen van beide VideoJev-checkpoints wordt hier gehost, en dit artikel gaat niet doen alsof dat anders is; de twee plekken waar het zijn waarde bewijst, zijn als het tweede been van een pipeline waarvan het eerste been een lokaal model is, en als de reden waarom een onderzoeksmodel als dit kan worden uitgeprobeerd zonder een tweede leverancierscontract voor alles eromheen.

Wat zou dit een groter verhaal maken?

De poort voor dit stuk is ongewoon schoon, dus het is de moeite waard om het ronduit te zeggen: VideoJev is een onderzoeksrelease, geen productlancering. Er is geen changelog, geen prijspagina, geen gehoste endpoint, geen wachtlijst en geen blogpost van de leverancier. Wat bestaat, is een preprint ingediend op 13 oktober 2026, twee op 10 oktober geüploade Apache-2.0-checkpoints, en een repository die op 14 oktober nog werd bewerkt — de dag voor dit artikel. Het ontbreken van een aankondiging is geen bewijs van een probleem, maar het betekent wel dat de framing moet zijn "wat de artefacten zeggen," niet "wat de leverancier beweert."

Drie ontwikkelingen zouden de vorm hiervan veranderen. Een evaluatie door een derde partij die de winst van +6.7 en +10.8 mIoU reproduceert tegen dezelfde backbones onder hetzelfde protocol. Een implementatie voor vLLM of SGLang, die het van een trust_remote_code-curiositeit zou verplaatsen naar iets dat met doorvoer te serveren is. Of een gehoste endpoint van iemand, waardoor de 100×-claim een getal wordt dat je op je eigen video kunt meten in plaats van een getal dat je uit een tabel op pagina zes haalt. Totdat een van die dingen er is, is de bruikbare positie de positie die het artikel zelf inneemt: de direct-scoring-interface is een werkelijk andere manier om een video-agent te bouwen, en het bewijs ervoor is op dit moment de preprint van negen pagina's van één groep.

Houd het demo-notebook open, draai het op het minst flatteuze beeldmateriaal dat je hebt, en behandel de confidence-scores als een rangorde totdat je ze zelf hebt gekalibreerd.

Een release is ook het moment om te controleren wat er eerder mis is gegaan: de gedocumenteerde AI-incidenten en agentfouten rond modellen in deze klasse zijn verzameld in the OrcaRouter AI Incident Archive , waar elk item zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwist-markering bevat.