Tavus Griffin: Het Human Interaction Model, uitgelegd

Tavus Griffin is een Human Interaction Model — HIM, de eigen categorienaam van de leverancier — en het nuttigste dat je er eerst over moet vaststellen, is wat het niet is. Het is geen videogenerator. Een videomodel neemt een prompt, een stilstaand beeld of een clip en levert een afgewerkt bestand op; het bestand is het product. Tavus Griffin neemt een persoon die voor een camera zit en voert een gesprek met diegene, waarbij het gezicht, de stem en het non-verbale gedrag worden gegenereerd op hetzelfde moment dat het luistert en beslist, continu, zolang het gesprek duurt. De enige versie ervan waarmee iemand buiten het bedrijf in aanraking is gekomen, is Griffin-Lite, een onderzoekspreview waarvan de pagina een datum van 1 oktober 2026 vermeldt, toegankelijk voor een selecte groep vertrouwde testers via een aanvraagformulier, zonder gepubliceerde prijs, zonder modelidentificatie in Tavus' API-documentatie en zonder endpoint. Deze pagina is het blijvende antwoord op wat het model is, waarop het draait, wat daadwerkelijk is gemeten en wie het kan gebruiken.

De vraag van de klas, omdat die steeds verkeerd beantwoord wordt.

Zoek naar Tavus Griffin en een lezer stuit net zo makkelijk op een vergelijking met een tekst-naar-video- of afbeelding-naar-video-model als op iets over conversatie. Dat kader is het corrigeren waard in plaats van eromheen te werken, want alles wat daaruit voortvloeit — waar het model goed voor is, wat de scores betekenen, of de latentie snel of traag is — hangt af van de klasse waarin je het indeelt. De twee klassen zijn geen variaties op een thema. Ze accepteren verschillende dingen, produceren verschillende dingen en worden met verschillende instrumenten gemeten.

• Videogeneratiemodellen — invoer is een prompt, een afbeelding of een clip; uitvoer is een bestand met een vaste lengte; de interactie eindigt wanneer het renderen klaar is. Benchmarks beoordelen de pixels.

• Tavus Griffin — de input is een live persoon, hun audio en hun video, continu; de output is een stroom van spraak en video die nooit hoeft te eindigen; de interactie is het product. Benchmarks moeten de uitwisseling beoordelen.

Griffin is, in de framing van de leverancier, ook een afwijzing van de gebruikelijke manier waarop een interactieve agent wordt samengesteld. Tavus zet het expliciet tegenover cascadesystemen die spraakherkenning, een taalmodel en spraaksynthese achter elkaar schakelen en wachten tot de gebruiker is uitgepraat voordat ze beginnen te reageren. Griffin wordt beschreven als full-duplex video-naar-video: waarneming, de beslissing over wanneer en hoe te reageren, en het genereren van het antwoord draaien allemaal tegelijkertijd, en ze blijven draaien terwijl het model spreekt.

Er zit een signaal in de bewoording die lezers daadwerkelijk intypen. Een van de geregistreerde zoekopdrachten voor dit model is "tavus griffin human interaction model", waarmee een zoeker de klasse beschrijft voordat die een pagina heeft gevonden die die naam noemt. Het is de juiste beschrijving. Tavus heeft de term bedacht, verkort die tot HIM, en geeft de eigen pagina van het model de titel Het eerste Human Interaction Model. Dus het korte antwoord op wat Tavus Griffin is: een realtime conversationeel avatarsysteem, door de maker geclassificeerd als een Human Interaction Model, wat een andere productcategorie is dan een videomodel, in plaats van een betere.

Wat erin gaat en wat eruit komt, live

De invoer bestaat uit de audio en video van een levend persoon, plus een systeemprompt, de gespreksgeschiedenis, een referentieafbeelding en een referentie-audioclip, en de mogelijkheid om midden in een gesprek een tool aan te roepen. Aan de uitvoerkant geeft het gespreksmodel niet alleen tekst af: het geeft tekst af plus een reeks controlesignalen die de spraak- en videogeneratoren aansturen, en daardoor blijven toon, houding, gezichtsuitdrukking en gebaar verbonden met de beslissing die ze heeft voortgebracht.

Aan de generatiekant zegt Tavus dat de architectuur in realtime 720p-video produceert, één latent per keer, en streamingbesturing accepteert zodat het gespreksmodel non-verbaal gedrag kan aansturen, zoals gebaren maken, wegkijken of het veranderen van emotioneel register. Aan de spraakkant worden audiopakketten van slechts 10 ms uitgezonden, en een stem kan worden gekloond op basis van ongeveer tien seconden referentie-audio. Elk van die cijfers is de eigen beschrijving van de leverancier van zijn eigen systeem, op zijn eigen pagina.

Latentie is het enige getal in die groep dat de leverancier publiceert als een meting in plaats van een ontwerpdoel. Vergeleken met vier gepubliceerde streaming-diffusiemodellen, in een audio-naar-video-setting waarin elk systeem spraak en een referentieafbeelding krijgt en het pratende gezicht moet produceren, meldt Tavus dat Griffin-Lite gemiddeld 0,43 seconden aan werkelijke audio-naar-video-latentie op H100's, met een beste geval van 0,27 s en een slechtste geval van 0,59 s. Ter vergelijking: de eigen cijfers van de leverancier voor de op een na snelste methode in die vergelijking bedragen gemiddeld 0,86 s, en de langzaamste komt gemiddeld op 1,45 s uit. Tavus voerde die vergelijking uit tegen door Tavus gekozen baselines, dus beschouw het als een door de leverancier gerapporteerd cijfer met een specifiek protocol eraan verbonden, niet als een neutrale rangorde.

Eén ding dat de leverancier niet publiceert, is de framegeometrie van de videogenerator. Er staat geen aantal frames per seconde op de pagina en geen uitspraak over hoeveel videoframes één latent beslaat, wat betekent dat elke specifieke chunkduur die je voor Griffin hebt zien opgeven — 320 ms, of een latent van acht frames, of een vermelde compressieverhouding — vandaag niet op Tavus' pagina staat en niet herhaald moet worden alsof dat wel zo is. Wat wel wordt vermeld, is 720p, één latent tegelijk, en het audio-naar-video-gemiddelde van 0,43 seconde.

Waar de pijplijn eigenlijk van gemaakt is

Tavus beschrijft Griffin als een tweedelig systeem, en beide onderdelen zijn gedocumenteerd in voldoende detail om te controleren.

De eerste is een Continuous Conversational Modeling-engine. Hij neemt inkomende audio en video waar, beslist wanneer en hoe hij moet reageren, en zendt de tekst- en controlesignalen uit. Het ontwerppunt is het interval: hij neemt conversationele beslissingen met regelmatige tussenpozen van minder dan een seconde in plaats van één keer per beurt, wat de leverancier mini-turns noemt. Bij elk interval beoordeelt hij de staat van het gesprek en kan hij het woord nemen, vasthouden, afstaan, backchannelen zonder te onderbreken, of stoppen wanneer hij wordt onderbroken. Omdat de beslissing continu is in plaats van gebonden aan beurtgrenzen, wordt een pauze om na te denken niet als het einde van een beurt beschouwd. Griffin neemt ook video waar, terwijl de meeste interactieve systemen alleen audio waarnemen, wat het blik, gezichtsuitdrukking, de omgeving van de gebruiker en alles wat de gebruiker omhoog houdt of met de camera deelt, verschaft.

De tweede is een Audio Visual Generation-engine, die zelf twee architecturen omvat — streaming spraakgeneratie en streaming videogeneratie — en die de besturingssignalen omzet in geluid en pixels. Het spraakmodel is een snelle autoregressieve diffusietransformer die een gecodeerde referentieclip als prefix neemt en nieuwe spraak geleidelijk genereert, één latente chunk per keer, naarmate er incrementen van output en besturing binnenkomen, in plaats van te wachten tot de hele uiting is samengesteld voordat het begint te spreken.

Onder de spraakkant zit een codec die de leverancier Tavec v1.7 noemt, en dit is waar de gepubliceerde cijfers concreet worden. Het is een convolutionele autoencoder die 48 kHz-audio omzet in een continue latente representatie van 40 waarden per frame bij 100 frames per seconde, zonder codeboeken. De decoder is volledig causaal, dus hij neemt toestand mee van chunk naar chunk en produceert één naadloze golfvorm uit gestreamde latents. De compactheid is waar het om gaat: een minuut spraak is 6.000 latente frames tegenover 2,88 miljoen samples ruwe audio, wat de reeks kort genoeg maakt voor een autoregressieve transformer om sneller dan realtime te voorspellen. Tavus meldt 2.193× realtime-decodering, een ViSQOL MOS-LQO van 4,242, en 28,42 miljoen decoderparameters, waarbij de doorvoer is gemeten op een H100. Allemaal door de leverancier gerapporteerd.

De videokant komt vanuit de andere richting op hetzelfde punt uit. Tavus' eerdere modellen leunden sterk op uitgebreide 3D-priors, wat beperkte wat ze konden uitdrukken; de door de leverancier genoemde eisen voor de videogenerator van Griffin zijn: een snelle reactie op elke inkomende audiochunk, tolerantie voor besturingselementen die snel veranderen, en stabiele identiteit, lip-synchronisatie en visuele kwaliteit bij lange generaties. De route daarnaartoe was een distillatie in drie fasen van een grote bidirectionele diffusieleraar met veel stappen. Distribution Matching Distillation produceerde een student met weinig stappen die snel was, maar nog steeds een hele video in één keer genereerde. Teacher forcing zette die student om in een autoregressief model dat telkens één latent produceerde. Self-Forcing trainde het vervolgens op zijn eigen gegenereerde geschiedenis, met een toegevoegd mechanisme dat op de frames uit de geschiedenis inwerkte, zodat lange rollouts niet afdrijven — de faalmodus die deze klasse van modellen normaal heeft: een gezicht dat verslechtert of een achtergrond die afdwaalt gedurende een gesprek dat minuten duurt.

Wat is er gemeten, en door wie?

Bijna elk getal hierboven is Tavus die Tavus meet. De uitzondering, en de reden waarom het gewicht in de schaal legt, is NVIDIA's VideoFDB — een benchmark voor full-duplex audiovisuele gesprekken die NVIDIA heeft gebouwd, en waarvan NVIDIA aangeeft dat die onafhankelijk wordt uitgevoerd met de gepubliceerde metrieken en zijn eigen beoordelaar. Het beoordeelt een model op twee tracks, generatie en perceptie, elk met een eigen rubric en een eigen leaderboard, op een schaal van nul tot vijf.

• Generatie — wat de agent produceerde, audio en video samen, als reactie op een dynamische gebeurtenis in de stream van de gebruiker. Griffin-Lite scoorde 3,83 tegenover een menselijke ground-truth-referentie van 3,92; het op een na hoogste systeem scoorde 2,80. Takeover-rate-afstemming, die meet hoe nauwkeurig de beslissingen van het model over wanneer te spreken overeenkomen met de timing in de referentiegesprekken, was 62,8% voor Griffin-Lite en 78% voor de menselijke referentie, met een timingcijfer van 1.892 ms.

• Perceptie — audio-visueel in, audio uit, met een score voor of de agent het moment correct aanvoelde. Griffin-Lite scoorde 3,73 tegen een menselijke referentie van 4,20, met een takeover-rate-afstemming van 73,8% en 2.232 ms timing. Tavus beschrijft het als het meest perceptieve model op de benchmark onder de 15 geëvalueerde modellen.

Er horen twee kanttekeningen bij die cijfers voordat iemand ze herhaalt. De dichtstbijzijnde baseline op het perceptietrack staat vermeld als MiniCPM-o 4.5 met 3,44 — maar dat is de audio-only (A2A)-rij; de volledige audio-visuele rij van hetzelfde systeem is 3,40. Griffin verwerkt video, dus de eerlijke vergelijking is met de audio-visuele rijen, waardoor het verschil 0,33 in plaats van 0,29 bedraagt, en een deel van wat het verschil meet is simpelweg de waarde van het hebben van ogen. En een verschil van 0,09 punt met een menselijke referentie op een vijfpuntsschaal die door een taalmodel wordt beoordeeld, kun je beter lezen als "dicht bij de mens op deze rubric" dan als "op menselijk niveau".

Het andere opvallende cijfer is dat van Tavus zelf. In een onderzoek dat het bedrijf uitvoerde, kregen deelnemers die via een onafhankelijk onderzoeksplatform waren geworven te horen dat ze voor een videogesprek van één minuut aan een andere deelnemer zouden worden gekoppeld; hun partner was een PAL die Griffin-Lite draaide. Van de 54 deelnemers geloofden 26 — 48% — dat hun partner een echt persoon was. Bij hetzelfde protocol leverde de vorige stack van het bedrijf, opgebouwd uit Phoenix-4.5, Raven-1 en Sparrow-2, 2,4% op, oftewel één deelnemer op 41. Beide groepen waren zelfverzekerd: 79% onder degenen die zeiden dat het echt was, 81% onder degenen die zeiden dat het AI was. Meer dan de helft zei dat de mogelijkheid helemaal niet bij hen was opgekomen, en degenen die wel vermoedden, deden dat meestal binnen de eerste twintig seconden. Op een zevenpuntsschaal scoorde het model gemiddeld 5,4 voor natuurlijk overkomen, 5,6 voor betrouwbaarheid, 5,8 voor opnieuw willen praten, 5,5 voor zich gehoord voelen, en 4,9 — het laagste van de vijf — voor of het gesprek natuurlijk verliep.

Die studie is een door een leverancier uitgevoerde studie met een beschreven protocol en een vermelde steekproefgrootte, wat meer is dan de meeste modelintroducties bieden en minder dan een onafhankelijke replicatie. Geen enkele derde partij heeft het face-to-faceprotocol gereproduceerd, en Tavus Griffin komt niet voor op een onafhankelijke ranglijst voor videomodellen. De twee trackscores van VideoFDB zijn de enige cijfers op deze pagina die door een andere organisatie dan Tavus zijn geproduceerd.

Toegang en prijs: wat er vandaag bestaat

Dit is het kortste gedeelte op de pagina, omdat er bijna niets in staat. Wat er is gepubliceerd, in het eigen materiaal van de leverancier:

• Status — Griffin-Lite is een onderzoekspreview, en Tavus stelt dat het op dit moment niet beschikbaar zal zijn voor gebruik door klanten, hoewel het beschikbaar is voor een selecte groep vertrouwde testers.

• Toegang — via aanvraagformulier, met een bredere release van een capabeler model dat als volgt wordt beschreven.

• Platform — de eigen afsluitende regel van de leverancier zegt dat Griffin nog niet op het Tavus-platform staat, en zal komen zodra het bedrijf heeft uitgewerkt hoe het veilig kan worden uitgebracht.

• Prijs — niets gepubliceerd. De prijzenpagina van Tavus behandelt het PAL-product en de Phoenix-, Raven- en Sparrow-stack; er staat niets over Griffin, en er is nergens op de site van de leverancier een bedrag per minuut, per seconde of per verzoek te vinden.

• Endpoint en identificator — geen. Griffin komt niet voor in de API-documentatie-index van Tavus, waarvan de modellenpagina Phoenix documenteert voor gezichtsrendering, Raven voor perceptie en Sparrow voor beurtwisseling. Er is geen modelstring om aan te roepen.

De leverancier verklaart dat hij verwacht Griffin zeer binnenkort uit te brengen nadat het veiligheidswerk dat hij beschrijft is aangepakt. Dat is een verklaarde intentie, geen datum, en het is de enige toekomstgerichte uitspraak over dit onderwerp.

Waar Tavus Griffin niet voor bedoeld is

Het gat tussen het benchmarkresultaat en de releasestatus vormt de praktische inhoud van deze pagina, dus het loont om ronduit te zijn over de dingen waarvoor het model momenteel niet kan worden gebruikt.

Het is dit kwartaal geen basis om een klantgericht traject op te bouwen. Een deployment heeft een modelidentificatie, een prijs, een rate limit, een regioverhaal en een of andere vorm van beschikbaarheidstoezegging nodig, en niets daarvan bestaat. Een team dat vandaag rond Griffin plant, plant rond een aanvraagformulier.

Het is geen videogenerator en mag niet op grond van de cijfers in een clip-pipeline worden gestopt. De scores komen uit een full-duplex gesprekstestomgeving met een eigen rubric en een eigen beoordelaar; leaderboards voor videomodellen beoordelen korte clips via paarsgewijze voorkeur op prompts. De twee instrumenten leveren geen vergelijkbare cijfers op, wat betekent dat Tavus Griffin niet head-to-head is gebenchmarkt met enig videomodel bij gelijkwaardige inspanning en testomgeving, en dat er uit wat is gepubliceerd geen rangorde tussen beide mag worden afgeleid.

Het is, volgens de leverancier zelf, nog niet veilig om het openlijk vrij te geven. Tavus schrijft dat dezelfde eigenschappen die een Human Interaction Model een betere interface maken, het ook beter maken in het misleiden van een persoon zodat die gelooft dat het geen AI is, dat verder alignment- en veiligheidswerk nodig is, en dat openbaarmakingsfuncties en externe veiligheidsevaluaties in ontwikkeling zijn. Aangezien bijna de helft van een live steekproef het niet kon onderscheiden, en de deelnemers die het wel konden het meestal binnen twintig seconden doorhadden, is de openbaarmakingskwestie geen voetnoot bij het model — het is de poort ervoor.

Wat vandaag koopbaar is, is de rest van de stack eromheen. Een conversationele videopijplijn is een keten — spraakherkenning, een taalmodel, spraaksynthese en dan de renderlaag die er een gezicht van maakt — en de eerste drie zijn commodity, uitwisselbaar en al routeerbaar. Die draaien achter één OpenAI-compatibel endpoint bij OrcaRouter, met meer dan tweehonderd modellen op één sleutel, de lijstprijs van de provider doorgegeven tegen 0% markup zodat een prijswijziging van een leverancier dezelfde dag ingaat in plaats van na een contractcyclus, automatische failover die omleidt wanneer een provider verslechtert — wat bij een livegesprek meer uitmaakt dan bij een batchtaak, omdat de storing hoorbaar is — plus een routerings-DSL om uit te drukken welk model wat moet afhandelen, en modelfusie om outputs te combineren. De generatielaag is het deel dat nog een research preview is; de lagen erboven zijn het deel dat een team nu kan samenstellen. Tavus Griffin staat niet op de live modellenlijst van OrcaRouter, wat consistent is met een model dat geen gepubliceerd endpoint en geen identifier heeft om naartoe te routeren.

Wat zou deze pagina veranderen

Drie dingen, en ze zijn specifiek genoeg om op te letten. Een modelkaart met een modelstring en een prijs zou Tavus Griffin van onderzoeksresultaat naar inkoopvraag verplaatsen. Een onafhankelijke replicatie van het face-to-faceprotocol — een tweede lab dat hetzelfde gesprek van één minuut uitvoert met zijn eigen deelnemers — zou meer doen voor de 48% dan welke verdere leveranciersstudie dan ook kan. En een rapport over een lange sessie van iemand buiten Tavus zou de ene claim testen waarop de architectuur is gebouwd en die geen enkele benchmark dekt: dat Self-Forcing en het history-frame-mechanisme daadwerkelijk een gezicht en een achtergrond bij elkaar houden gedurende een gesprek dat minuten duurt in plaats van seconden. Totdat een van die dingen er is, zijn de twee VideoFDB-tracks het sterkste bewijs dat beschikbaar is, en ze komen met een kloof van 0,09 punt ten opzichte van de mens op generatie en 0,47 op perceptie.