Een gegenereerde titelkaart met de bovenregel 'Vergelijking - geen gedeelde benchmark' boven de kop 'VideoJev vs Jev 1.13', met als ondertitel 'Dezelfde architectonische keuze - twee verschillende taken. De ene neemt video en retourneert gescoorde intervallen; de andere neemt tekststatus en retourneert getypeerde beslissingen.' Twee panelen staan aan weerszijden van een verticale scheidingslijn: VideoJev leest 'Input: videoframes met 2 fps, beperkt tot 640x640', 'Output: een tijdstempel, of één optie-index', 'Levering: zelfgehoste Apache-2.0-gewichten'; Jev 1.13 leest 'Input: tekststatus - strings, JSON, arrays', 'Output: een getypeerd label, niveau of waarschijnlijkheid', 'Levering: gehost endpoint met verbruiksmeting'. Een doorgestreepte strook eronder leest 'Geen taak die beide modellen kunnen accepteren - elke head-to-head-tabel zou verzonnen zijn.' Het OrcaRouter-logo is samengesteld in de rechteronderhoek.
Guides & Insights

VideoJev vs Jev 1.13: Hetzelfde idee, twee verschillende taken

Auteur

Gideon Frost

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

De vergelijking lijkt voor de hand te liggen totdat je hem probeert op te schrijven. VideoJev is een open-weights onderzoeksrelease van het MCG-lab van NJU die temporele intervallen en antwoordopties scoort tegen videobewijs, in twee checkpoints, VideoJev-4B en VideoJev-35B-A3B. Jev 1.13 is het gesloten, gehoste beslissingsmodel van TypeSafe AI — het model dat de categorie heeft benoemd waarin beide zich bevinden. VideoJev's eigen paper citeert Jev als de oorsprong van het paradigma dat het uitbreidt, waardoor dit op een rechtstreekse confrontatie lijkt. Dat is het grotendeels niet. Jev 1.13 neemt tekstuele toestand en retourneert getypeerde beslissingen. VideoJev neemt video en retourneert gescoorde intervallen of een gekozen optie. Ze overlappen op het idee en vrijwel nergens op de input, dus de nuttige vraag is niet "welke is beter" maar "welke komt überhaupt in aanmerking voor de klus die jij hebt."

Beide arriveerden geruisloos en recent, op verschillende manieren. Jev 1.13 lanceerde op 2026-09-15 — het eerste publieke model van TypeSafe na twee jaar in stealth — en is aanroepbaar via OrcaRouter's eigen catalogus op typesafe/jev-1.13 sinds 2026-09-24. VideoJev heeft helemaal geen lancering: de arXiv-preprint verscheen op 2026-10-13, de twee Apache-2.0-checkpoints werden op 2026-10-10 op Hugging Face geplaatst, en de repository ontving op 2026-10-14 nog steeds README-fixes. Geen van beide is vandaag een lanceerverhaal. Wat het duo de moeite van het lezen waard maakt, is dat ze dezelfde architectonische gok zijn, toegepast op twee verschillende datatypes, en het verschil in hoe elk wordt geleverd vertelt je het grootste deel van wat je moet beslissen.

Elk één regel, want de samenvattingen lopen snel uiteen.

Jev 1.13 is een gehost endpoint. Je POST een blok toestand en een set benoemde vragen naar /v1/systemone en krijgt één getypeerd antwoord per vraag terug — noul (een waar/onwaar met een gekalibreerde waarschijnlijkheid), choice (één label uit maximaal 255 opties), of score (een niveau op een geordende schaal van 2 tot 10). Er wordt niets gegenereerd, dus er zijn geen uitvoertokens en TypeSafe factureert niets; invoer kost $0,042 per miljoen tokens. De architectuur, het aantal parameters en de rekenkracht voor training worden niet bekendgemaakt. De invoer is alleen tekst — strings, JSON, arrays — zonder pad voor afbeeldingen, audio of video. Je draait het niet; elke aanroep wordt gemeten.

VideoJev is de tegenovergestelde opzet. Het is een checkpoint dat je zelf downloadt en serveert, onder Apache-2.0, gebouwd door een bestaand multimodaal LLM te fine-tunen: VideoJev-4B op Qwen3.5-4B, VideoJev-35B-A3B op Qwen3.6-35B-A3B. De auteurs verwijderen de laatste MLP en de output-head van het taalmodel en vervangen die door een kandidaatscorer, zodat het model nooit een antwoord schrijft — het scoort kandidaatintervallen en kandidaatantwoorden rechtstreeks. Twee inferentiemodi organiseren het: Gecachte inferentie codeert de video één keer en vertakt elke nieuwe query vanaf dat prefix, en Gezamenlijke inferentie zet een groep vragen achter één videoprefix en leest ze allemaal uit in één forward pass.

De dimensies die hen daadwerkelijk scheiden

• Invoermodaliteit — video, met 2 fps en frames beperkt tot 640×640 voor VideoJev, tegenover alleen tekststatus voor Jev 1.13.

• Wat een "beslissing" is — een tijdsinterval in seconden plus een optie-index versus een getypeerd label, niveau of waarschijnlijkheid.

• Levering — zelf-gehoste Apache-2.0-gewichten versus een gehost endpoint met verbruikskosten.

• Prijs — je eigen GPU-uren versus $ 0,042 per miljoen inputtokens, waarbij de output tegen nul wordt gefactureerd.

• Kosten van een tweede query op dezelfde context — VideoJevs hele ontwerpprobleem, opgelost door hergebruik van prefixen; Jev stuurt bij elke aanroep de state opnieuw mee, omdat het geen prefix ter grootte van een video heeft om te amortiseren.

• Gepubliceerde details — een preprint van negen pagina's met tabellen per benchmark en ablaties versus geen openbaarmaking van architectuur, parameters of training.

• Waar je het kunt draaien — overal waar je een geschikte GPU hebt, tegenover het endpoint van TypeSafe en de gateways die het doorgeven, waaronder typesafe/jev-1.13 op OrcaRouter.

Let op wat er niet op die lijst staat: een gedeelde benchmark. Er is niets waarop beide modellen zijn gescoord, omdat er geen taak is die beide kunnen accepteren. Elke tabel die ze naast elkaar zet, zou een vergelijking verzinnen.

A generated infographic headed 'The dimensions that actually separate them' with the eyebrow 'Where they diverge', listing seven rows that each carry both models on one line: input modality (video at 2 fps capped 640x640 versus text state only); what a decision is (an interval in seconds plus an option index versus a typed label, level or probability); delivery (self-hosted Apache-2.0 weights versus a metered hosted endpoint); price (your own GPU hours versus $0.042 per million input tokens with output billed at zero); second query on the same context (prefix reuse via Cached or Joint inference versus state re-sent per call); published detail (a preprint with per-benchmark tables versus no architecture or training disclosure); and where you can run it. A footer reads that nothing both models are scored on exists, because no task accepts both input types. The OrcaRouter logo is composited in the bottom-right corner.

Waar de afstamming echt is, en waar ze ophoudt.

De intellectuele schuld is expliciet in plaats van afgeleid. De inleiding van VideoJev positioneert zijn bijdrage als het overnemen van het System One-uitgangspunt — dat een model een gestructureerd oordeel kan uiten in plaats van tokens te genereren — en het stellen van de vraag wat er verandert wanneer het ding dat wordt beoordeeld een tijdlijn heeft. Het antwoord van Jev op "hoe beslist een model zonder te schrijven?" is een scoring head over een gedeclareerde optieset. Het antwoord van VideoJev is dezelfde scoring head, gericht op zowel tijdstempels als labels.

Die uitbreiding is niet cosmetisch, en het paper is ongewoon specifiek over waarom. Wanneer de onderliggende context een video is, is het dure deel de visuele codering, en een agent die zes vragen over dezelfde beelden stelt, zou daarvoor niet zes keer moeten betalen. Beide inferentiemodi van VideoJev bestaan om dat op te lossen, en de cijfers laten zien wat ze opleveren: bij tien grounding-query's op één video, 0,39 s voor VideoJev tegen 5,98 s voor een Instruct-baseline; aan de QA-kant, tien queries in 1,67 s. Jev heeft geen equivalent omdat een tekststatus goedkoop is om opnieuw te versturen — het probleem dat Jev oplost is beslissingslatentie per aanroep, en het probleem dat VideoJev oplost is beslissingslatentie per aanroep na de eerste.

Het struikelblok is modaliteit. Uit TypeSafe's eigen documentatie blijkt duidelijk dat System One-invoer tekst is — "strings, JSON-objecten en arrays van tekst" — en dat afbeeldingen, audio en video niet worden ondersteund. De twee modellen zijn dus op geen enkele taak inwisselbaar. Als je state een document, een chatlog of een formulierinzending is, kan VideoJev die niet aannemen. Als je vraag is "wanneer eet de vrouw in het groen pasta in deze beelden", kan Jev 1.13 die ook niet aannemen.

A generated side-by-side graphic headed 'Where they can and cannot meet' with the eyebrow 'Side by side, honestly'. One band for VideoJev reads 'video input - timestamp or option - self-hosted weights'; a second band for Jev 1.13 reads 'text state input - typed label, level or probability - metered hosted endpoint'. A crossed-out strip beneath them reads 'No shared task. No shared benchmark.' A footer reads 'Different inputs entirely - a head-to-head scoreboard would be invented, so there is none here.' The OrcaRouter logo is composited in the bottom-right corner.

De cijfers, en wie ze heeft geproduceerd

De kopcijfers van VideoJev komen uit de eigen harness van de auteurs en zijn niet onafhankelijk gereproduceerd. VideoJev-4B bereikt 65,3 gemiddelde mIoU op drie temporele grounding-benchmarks, 6,7 punten boven zijn Qwen3.5-4B-backbone; VideoJev-35B-A3B bereikt 67,7, 10,8 punten boven Qwen3.6-35B-A3B. Op vier video-QA-benchmarks staan de twee op 74,3 en 79,5 gemiddeld, binnen 0,6 punten onder en 0,7 punten boven hun Thinking-modus-backbones, bij 129× en 100× de snelheid. Het artikel voert ook een gecontroleerde vergelijking uit — een gewone autoregressieve Qwen3.5-4B die op precies dezelfde data en met hetzelfde schema is finegetuned — en VideoJev verslaat die met 1,3 punten grounding-mIoU en 1,9 punten QA-score. Die controle is het sterkste bewijs in het artikel, omdat deze de readout-vorm isoleert van de trainingsdata.

Twee kanttekeningen zijn van belang als je van plan bent erop te vertrouwen. De paper rapporteert een gemiddelde kalibratiefout van 8,65 punten bij 4B en 8,13 bij 35B-A3B, wat betekent dat de scores een goed rangschikkingssignaal en een slechte waarschijnlijkheid zijn — behandel een 0,9 als "bovenaan de lijst", niet als "90% waarschijnlijk". En de belangrijkste configuratie van het 35B-checkpoint is FP32, volgens de projectpagina, dus de geheugenvoetafdruk van het grotere model is zwaarder dan het aantal parameters doet vermoeden.

De cijfers van Jev 1.13 zijn ook door de leverancier gepubliceerd, maar het zijn cijfers die kunnen worden gecontroleerd door het aan te roepen: een vaste $0,042 per miljoen invoertokens, nul outputkosten en 70–500 ms end-to-end responstijden. TypeSafe is ook openhartig over welke beweringen niet falsifieerbaar zijn en welke wel, en merkt op dat "geen typefouten" niet kan worden weerlegd met een tegenvoorbeeld, omdat een waarde buiten je gedeclareerde set geen waarde is die het model kan produceren.

Als u beide nodig hebt, hebt u twee inkoopproblemen.

Dit is het punt waarop het verschil in levering niet langer filosofisch is. VideoJev komt als een repo: PyTorch 2.8, CUDA 12.8, FlashAttention 2, trust_remote_code=True, en een quickstart die uitgaat van een H200 voor de instellingen voor lange video's. Er is nog geen ondersteuning voor vLLM of SGLang, dus het is niet iets dat je morgen op throughput kunt serveren. Je neemt een inferentiestack op je, geen leveranciersrelatie.

A headless-browser capture of the OrcaRouter catalogue page for TypeSafe Jev 1.13, showing the model name and the identifier typesafe/jev-1.13, the description of it as a structured decision and evaluation model served through a single non-streaming endpoint, the per-million-token input price of $0.042 with no output token charge, and the end-to-end latency figures.

Jev 1.13 komt beschikbaar als API-sleutel, en dit is de enige plek waar OrcaRouter direct relevant is: het model staat in onze catalogus, dus het zit op dezelfde sleutel als het generatieve deel van welke workflow je ook bouwt — één API voor 200+ modellen, 0% opslag (de lijstprijs van de provider wordt doorgegeven, dus een prijswijziging bij TypeSafe is hier dezelfde dag live), automatische failover tussen providers, en een routing-DSL als je meerdere modellen in één aanroep wilt samenbrengen. VideoJev wordt hier niet gehost en dit artikel zal niet doen alsof dat wel zo is. Om het te draaien moet je Apache-2.0-gewichten downloaden en je eigen service opzetten; wat wij je uit handen nemen, is alles eromheen — de samenvatter die het resultaat samenvat, de goedkopere classifier die bepaalt of de video-aanroep überhaupt de moeite waard is, de fallback wanneer een provider wankelt.

De beslissingsregel

De eerlijke samenvatting is dat deze twee een familieverwantschap zijn, geen rivaliteit. Kies Jev 1.13 wanneer het oordeel over tekst gaat, het antwoord een van een reeks is die je vooraf vaststelt, en je wilt dat iemand anders de infrastructuur en het kalibratiewerk draait. Kies VideoJev wanneer het bewijs een video is, het antwoord een tijdstempel of een meerkeuzeoptie is, en je beschikt over de GPU's en de bereidheid om een niet-gerepliceerde onderzoeksrelease te draaien — waarbij je eerst je eigen beeldmateriaal kritisch onder de loep neemt, aangezien het artikel zijn eigen faalmodus documenteert (het tellen van kleine objecten, waar beide groottes een antwoord van vier boeken missen) en die van jou anders zal zijn.

Wat het beeld zou veranderen, is een derde checkpoint in plaats van een winnaar. Geen van beide modellen is dicht bij een algemene visuele agent: Jev kan niet zien, en VideoJev kan alleen antwoord geven op de twee vraagvormen waarmee het is getraind. Het interessante nieuws zou een VideoJev-release met een tekstpad zijn, of een Jev-release die frames accepteert — op dat punt komen de twee lijnen samen en gaat dit niet langer over twee artikelen over twee paradigma's, maar wordt het één artikel over een gevecht.

Een release is ook het moment om te controleren wat er eerder mis is gegaan: de gedocumenteerde AI-incidenten en agentfouten rond modellen in deze klasse zijn verzameld in the OrcaRouter AI Incident Archive , waar elk item zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwist-markering bevat.