Tavus Griffin: Das Human Interaction Model, erklärt

Tavus Griffin ist ein Human Interaction Model – HIM, der eigene Kategoriename des Anbieters – und das Nützlichste, was man zuerst darüber feststellen sollte, ist, was es nicht ist. Es ist kein Videogenerator. Ein Videomodell nimmt einen Prompt, ein Standbild oder einen Clip entgegen und gibt eine fertige Datei zurück; die Datei ist das Produkt. Tavus Griffin nimmt eine Person, die vor einer Kamera sitzt, und führt mit ihr ein Gespräch, wobei es das Gesicht, die Stimme und das nonverbale Verhalten im selben Moment erzeugt, in dem es zuhört und entscheidet – kontinuierlich, solange der Anruf läuft. Die einzige Version davon, die jemand außerhalb des Unternehmens berührt hat, ist Griffin-Lite, eine Forschungsvorschau, deren Seite ein Datum vom 1. Oktober 2026 trägt, offen für ausgewählte vertrauenswürdige Tester über ein Anfrageformular, ohne veröffentlichten Preis, ohne Modellkennung in der API-Dokumentation von Tavus und ohne Endpunkt. Diese Seite ist die ständige Antwort darauf, was das Modell ist, worauf es läuft, was tatsächlich gemessen wurde und wer es nutzen kann.

Die Klassenfrage, weil sie immer wieder falsch beantwortet wird

Bei einer Suche nach Tavus Griffin landet ein Leser ebenso wahrscheinlich bei einem Vergleich mit einem Text-zu-Video- oder Bild-zu-Video-Modell wie bei irgendetwas über Konversation. Diese Rahmung sollte man korrigieren, statt sie zu umgehen, denn alles, was daraus folgt — wofür das Modell gut ist, was seine Scores bedeuten, ob seine Latenz schnell oder langsam ist —, hängt davon ab, welcher Klasse man es zuordnet. Die beiden Klassen sind keine Variationen ein und desselben Themas. Sie akzeptieren unterschiedliche Dinge, erzeugen unterschiedliche Dinge und werden mit unterschiedlichen Instrumenten gemessen.

• Videogenerierungsmodelle — Eingabe ist ein Prompt, ein Bild oder ein Clip; Ausgabe ist eine Datei fester Länge; die Interaktion endet, wenn das Rendern endet. Benchmarks bewerten die Pixel.

• Tavus Griffin — Eingabe ist eine reale Person in Echtzeit, ihr Audio und ihr Video, kontinuierlich; Ausgabe ist ein Strom aus Sprache und Video, der nie enden muss; die Interaktion ist das Produkt. Benchmarks müssen den Austausch bewerten.

In der Darstellung des Anbieters ist Griffin außerdem eine Absage an die übliche Art und Weise, wie ein interaktiver Agent zusammengesetzt wird. Tavus stellt es ausdrücklich Kaskadensystemen gegenüber, die Spracherkennung, ein Sprachmodell und Sprachsynthese hintereinanderschalten und darauf warten, dass der Nutzer zu Ende gesprochen hat, bevor sie mit der Antwort beginnen. Griffin wird als Vollduplex-Video-zu-Video beschrieben: Wahrnehmung, die Entscheidung darüber, wann und wie geantwortet wird, und die Erzeugung der Antwort laufen alle gleichzeitig, und sie laufen weiter, während das Modell spricht.

Es gibt ein Signal in der Formulierung, die Leser tatsächlich eintippen. Eine der erfassten Suchanfragen für dieses Modell lautet „tavus griffin human interaction model" – ein Suchender, der die Klasse beschreibt, bevor er eine Seite gefunden hat, die sie benennt. Es ist die richtige Beschreibung. Tavus hat den Begriff geprägt, kürzt ihn mit HIM ab und betitelt die eigene Seite des Modells mit Das erste Human Interaction Model. Die kurze Antwort darauf, was Tavus Griffin ist, lautet also: ein Echtzeit-Konversations-Avatar-System, das sein Hersteller als Human Interaction Model einstuft – eine andere Produktkategorie als ein Videomodell, nicht eine bessere.

Was es aufnimmt und was es erzeugt, live

Die Eingaben bestehen aus den Audio- und Videodaten einer realen Person sowie einem System-Prompt, dem Gesprächsverlauf, einem Referenzbild und einem Referenzaudioclip und der Möglichkeit, mitten im Gespräch ein Tool aufzurufen. Auf der Ausgabeseite gibt das Konversationsmodell nicht nur Text aus: Es gibt Text plus eine Reihe von Steuersignalen aus, die die Sprach- und Videogeneratoren steuern. Auf diese Weise bleiben Tonfall, Haltung, Gesichtsausdruck und Gestik an die Entscheidung gekoppelt, die sie hervorgebracht hat.

Auf der Generierungsseite sagt Tavus, dass die Architektur 720p-Video in Echtzeit erzeugt, jeweils ein Latent nach dem anderen, und Streaming-Steuerungen akzeptiert, sodass das Konversationsmodell nonverbales Verhalten wie Gestikulieren, Wegschauen oder einen Wechsel des emotionalen Registers steuern kann. Die Sprachseite gibt Audiopakete von nur 10 ms aus, und eine Stimme kann aus ungefähr zehn Sekunden Referenzaudio geklont werden. Jede dieser Angaben ist die eigene Beschreibung des Anbieters für sein eigenes System auf dessen eigener Seite.

Die Latenz ist die eine Zahl in dieser Gruppe, die der Anbieter als Messwert statt als Designziel veröffentlicht. Im Vergleich zu vier veröffentlichten Streaming-Diffusionsmodellen berichtet Tavus in einem Audio-zu-Video-Setting, bei dem jedes System Sprache und ein Referenzbild erhält und das sprechende Gesicht erzeugen muss, dass Griffin-Lite im Durchschnitt 0,43 Sekunden an tatsächlicher Audio-zu-Video-Latenz auf H100s erreicht, mit einem Bestwert von 0,27 s und einem schlechtesten Wert von 0,59 s. Zur Einordnung: Die eigenen Werte des Anbieters für die zweitschnellste Methode in diesem Vergleich liegen im Durchschnitt bei 0,86 s, und die langsamste erreicht durchschnittlich 1,45 s. Tavus führte diesen Vergleich gegen von Tavus ausgewählte Baselines durch, daher sollten Sie ihn als einen vom Anbieter gemeldeten Wert betrachten, dem ein spezifisches Protokoll zugrunde liegt, und nicht als neutrales Ranking.

Eine Sache, die der Anbieter nicht veröffentlicht, ist die Frame-Geometrie des Videogenerators. Auf der Seite gibt es keine Angabe zu Frames pro Sekunde und keine Aussage darüber, wie viele Videoframes ein Latent abdeckt, was bedeutet, dass jede konkrete Chunk-Dauer, die Sie für Griffin zitiert gesehen haben – 320 ms, ein Latent mit acht Frames oder ein angegebenes Kompressionsverhältnis –, heute nicht auf Tavus’ Seite steht und nicht so wiedergegeben werden sollte, als stünde sie dort. Angegeben sind 720p, ein Latent auf einmal und der durchschnittliche Audio-zu-Video-Wert von 0,43 Sekunden.

Woraus die Pipeline wirklich besteht

Tavus beschreibt Griffin als ein zweiteiliges System, und beide Teile sind detailliert genug dokumentiert, um überprüft werden zu können.

Das erste ist eine Continuous Conversational Modeling Engine. Sie nimmt eingehendes Audio und Video wahr, entscheidet, wann und wie sie antwortet, und gibt Text- und Steuersignale aus. Der entscheidende Designpunkt ist das Intervall: Sie trifft Gesprächsentscheidungen in regelmäßigen Abständen von unter einer Sekunde statt einmal pro Turn, was der Anbieter Mini-Turns nennt. Bei jedem dieser Intervalle bewertet sie den Zustand des Gesprächs und kann das Wort ergreifen, es behalten, es abgeben, ein Backchannel-Signal geben, ohne zu unterbrechen, oder aufhören, wenn sie unterbrochen wird. Weil die Entscheidung kontinuierlich erfolgt und nicht an Turn-Grenzen gebunden ist, wird eine Denkpause nicht als Ende eines Turns behandelt. Griffin nimmt außerdem Video wahr, wo die meisten interaktiven Systeme nur Audio wahrnehmen, was ihm die Wahrnehmung von Blickrichtung, Gesichtsausdruck, der Umgebung des Nutzers und allem, was der Nutzer in die Kamera hält oder mit ihr teilt, ermöglicht.

Das zweite ist eine Audio Visual Generation Engine, die selbst zwei Architekturen umfasst – Streaming-Sprachgenerierung und Streaming-Videogenerierung – und diese Steuersignale in Klang und Pixel umwandelt. Das Sprachmodell ist ein schneller autoregressiver Diffusions-Transformer, der einen kodierten Referenzclip als Präfix verwendet und neue Sprache schrittweise generiert, jeweils einen latenten Chunk, während Ausgabe- und Steuerungsinkremente eintreffen, anstatt darauf zu warten, dass die gesamte Äußerung zusammengesetzt wird, bevor es mit dem Sprechen beginnt.

Unter der Sprachseite sitzt ein Codec, den der Anbieter Tavec v1.7 nennt, und hier werden die veröffentlichten Zahlen konkret. Es ist ein konvolutionaler Autoencoder, der 48-kHz-Audio in ein kontinuierliches Latent von 40 Werten pro Frame bei 100 Frames pro Sekunde abbildet, ohne Codebooks. Sein Decoder ist vollständig kausal, sodass er Zustand über Chunks hinweg mitführt und aus gestreamten Latents eine nahtlose Wellenform erzeugt. Die Kompaktheit ist das Entscheidende: Eine Minute Sprache sind 6.000 latente Frames gegenüber 2,88 Millionen Rohaudio-Samples, was die Sequenz kurz genug macht, damit ein autoregressiver Transformer schneller als Echtzeit vorhersagen kann. Tavus berichtet von 2.193× Echtzeit-Dekodierung, einem ViSQOL MOS-LQO von 4,242 und 28,42 Millionen Decoder-Parametern, wobei der Durchsatz auf einem H100 gemessen wurde. Alle Angaben vom Anbieter.

Die Videoseite gelangt aus der anderen Richtung an denselben Punkt. Tavus' frühere Modelle stützten sich stark auf umfangreiche 3D-Priors, was ihre Ausdrucksmöglichkeiten einschränkte; die vom Anbieter genannten Anforderungen an Griffins Videogenerator sind schnelle Reaktion auf jeden eingehenden Audio-Chunk, Toleranz gegenüber Steuerungen, die sich schnell ändern, sowie stabile Identität, Lip-Sync und visuelle Qualität über lange Generierungen hinweg. Der Weg dorthin war eine dreistufige Destillation eines großen bidirektionalen vielstufigen Diffusions-Lehrers. Distribution Matching Distillation erzeugte einen Few-Step-Studenten, der schnell war, aber noch ein ganzes Video in einem einzigen Block generierte. Teacher Forcing verwandelte diesen Studenten in ein autoregressives Modell, das jeweils ein Latent erzeugte. Self-Forcing trainierte es dann auf seiner eigenen generierten Historie, mit einem zusätzlichen Mechanismus, der auf die Historien-Frames einwirkt, sodass lange Rollouts nicht abdriften – was der übliche Fehlermodus dieser Modellklasse ist: ein Gesicht, das verfällt, oder ein Hintergrund, der über ein Gespräch, das minutenlang läuft, umherwandert.

Was wurde gemessen, und von wem?

Fast jede Zahl oben ist Tavus, das Tavus misst. Die Ausnahme – und der Grund, warum sie ins Gewicht fällt – ist NVIDIAs VideoFDB: ein Benchmark für voll-duplexe audiovisuelle Konversation, den NVIDIA entwickelt hat und den NVIDIA nach eigenen Angaben unabhängig anhand der veröffentlichten Metriken und mit seinem eigenen Judge durchführt. Dabei wird ein Modell in zwei Kategorien bewertet – Generierung und Wahrnehmung –, jede mit eigenem Bewertungsraster und eigener Bestenliste, auf einer Skala von null bis fünf.

• Generierung – was der Agent als Reaktion auf ein dynamisches Ereignis im Stream des Nutzers produzierte, Audio und Video zusammen. Griffin-Lite erreichte 3,83 gegenüber einer menschlichen Ground-Truth-Referenz von 3,92; das nächstbeste System erreichte 2,80. Die Takeover-Rate-Ausrichtung, die misst, wie genau die Entscheidungen des Modells darüber, wann es sprechen soll, mit dem Timing in den Referenzgesprächen übereinstimmen, lag bei 62,8 % für Griffin-Lite und 78 % für die menschliche Referenz, mit einem Timing-Wert von 1.892 ms.

• Wahrnehmung — audio-visueller Input, Audio-Output, Bewertung, ob der Agent den Moment korrekt erfasst hat. Griffin-Lite erzielte 3,73 gegenüber einer menschlichen Referenz von 4,20, mit einer Übereinstimmung der Übernahmerate von 73,8 % und 2.232 ms Timing. Tavus bezeichnet es als das wahrnehmungsstärkste Modell im Benchmark unter den 15 bewerteten.

Bevor sie jemand wiederholt, gehören zwei Einschränkungen zu ihnen. Die nächste Baseline im Perception-Track ist als MiniCPM-o 4.5 mit 3,44 aufgeführt — aber das ist die Nur-Audio-Zeile (A2A); die vollständige audio-visuelle Zeile desselben Systems liegt bei 3,40. Griffin verarbeitet Video, also sollte der ehrliche Vergleich gegen die audio-visuellen Zeilen erfolgen, womit die Lücke bei 0,33 statt 0,29 liegt, und ein Teil dessen, was die Lücke misst, ist schlicht der Wert, Augen zu haben. Und eine Lücke von 0,09 Punkten zu einer menschlichen Referenz auf einer Fünf-Punkte-Skala, die von einem Sprachmodell bewertet wird, sollte eher als „nah am Menschen gemessen an dieser Rubrik“ denn als „auf menschlichem Niveau“ gelesen werden.

Die andere zentrale Zahl stammt von Tavus selbst. In einer vom Unternehmen durchgeführten Studie wurde Teilnehmenden, die über eine unabhängige Forschungsplattform rekrutiert wurden, gesagt, dass sie für einen einminütigen Videoanruf mit einer anderen teilnehmenden Person zusammengebracht würden; ihr Gegenüber war ein PAL, auf dem Griffin-Lite lief. Von 54 Teilnehmenden hielten 26 – 48 % – ihr Gegenüber für eine echte Person. Im selben Protokoll erzielte der vorherige Stack des Unternehmens, bestehend aus Phoenix-4.5, Raven-1 und Sparrow-2, 2,4 %, also einen von 41 Teilnehmenden. Beide Gruppen waren zuversichtlich: 79 % derer, die „echt“ sagten, und 81 % derer, die „KI“ sagten. Mehr als die Hälfte sagte, die Möglichkeit sei ihnen überhaupt nicht in den Sinn gekommen, und diejenigen, die doch einen Verdacht hegten, taten dies meist innerhalb der ersten zwanzig Sekunden. Auf einer Sieben-Punkte-Skala erreichte das Modell im Durchschnitt 5,4 für Natürlichkeit, 5,6 für Vertrauenswürdigkeit, 5,8 für den Wunsch, wieder zu sprechen, 5,5 für das Gefühl, gehört zu werden, und 4,9 – den niedrigsten der fünf Werte – dafür, ob das Gespräch natürlich verlief.

Diese Studie ist eine vom Anbieter durchgeführte Studie mit einem beschriebenen Protokoll und einer angegebenen Stichprobengröße, was mehr ist, als die meisten Modellstarts bieten, und weniger als eine unabhängige Replikation. Keine dritte Partei hat das Face-to-Face-Protokoll reproduziert, und Tavus Griffin hat keinen Eintrag in einem unabhängigen Video-Modell-Leaderboard. Die beiden VideoFDB-Track-Werte sind die einzigen Zahlen auf dieser Seite, die eine andere Organisation als Tavus erstellt hat.

Zugang und Preis: Was heute existiert

Dies ist der kürzeste Abschnitt auf der Seite, weil fast nichts darin steht. Was veröffentlicht wird, im eigenen Material des Anbieters:

• Status — Griffin-Lite ist eine Forschungsvorschau, und Tavus gibt an, dass es derzeit nicht für die Kundennutzung verfügbar sein wird, obwohl es für ausgewählte vertrauenswürdige Tester verfügbar ist.

• Zugang — über ein Antragsformular, wobei eine breitere Veröffentlichung eines leistungsfähigeren Modells als folgend beschrieben wird.

• Plattform — die eigene Schlussbemerkung des Anbieters besagt, dass Griffin noch nicht auf der Tavus-Plattform ist und erst kommen wird, sobald das Unternehmen herausgefunden hat, wie es sicher veröffentlicht werden kann.

• Preis – keiner veröffentlicht. Die Preisseite von Tavus deckt das PAL-Produkt sowie den Stack Phoenix, Raven und Sparrow ab; über Griffin wird nichts gesagt, und es gibt nirgendwo auf der Website des Anbieters eine Angabe pro Minute, pro Sekunde oder pro Anfrage.

• Endpunkt und Identifier — keiner. Griffin erscheint nicht im API-Dokumentationsindex von Tavus, dessen Modellseite Phoenix für das Gesichtsrendering, Raven für die Wahrnehmung und Sparrow für Turn-Taking dokumentiert. Es gibt keinen Modell-String zum Aufrufen.

Der Anbieter erklärt, er beabsichtige, Griffin sehr bald nach Erledigung der von ihm beschriebenen Sicherheitsarbeiten herauszugeben. Das ist eine erklärte Absicht, kein Termin, und sie ist die einzige zukunftsgerichtete Aussage zu diesem Thema.

Wofür Tavus Griffin nicht gedacht ist

Die Lücke zwischen dem Benchmark-Ergebnis und dem Release-Status ist der praktische Inhalt dieser Seite, daher lohnt es sich, offen über die Dinge zu sprechen, für die das Modell derzeit nicht verwendet werden kann.

Es ist nichts, worauf man in diesem Quartal einen kundenorientierten Pfad aufbauen kann. Ein Deployment braucht eine Modellkennung, einen Preis, ein Ratenlimit, eine Regionen-Story und irgendeine Form von Verfügbarkeitszusage, und nichts davon existiert. Ein Team, das heute um Griffin herum plant, plant um ein Anfrageformular herum.

Es ist kein Videogenerator, und es sollte nicht aufgrund der Zahlen in eine Clip-Pipeline gesteckt werden. Seine Werte stammen aus einer Full-Duplex-Konversations-Testumgebung mit eigener Rubrik und eigenem Judge; Bestenlisten für Videomodelle bewerten kurze Clips anhand paarweiser Präferenz bei Prompts. Die beiden Instrumente erzeugen keine vergleichbaren Zahlen, was bedeutet, dass Tavus Griffin nicht bei vergleichbarem Aufwand und vergleichbarer Testumgebung direkt mit irgendeinem Videomodell verglichen wurde, und aus dem Veröffentlichten sollte keine Rangfolge zwischen ihnen abgeleitet werden.

Nach Angaben des Anbieters selbst ist es noch nicht sicher, offen freizugeben. Tavus schreibt, dass dieselben Eigenschaften, die ein Human Interaction Model zu einer besseren Schnittstelle machen, es auch besser darin machen, eine Person zu täuschen und sie glauben zu lassen, es sei keine KI, dass weitere Alignment- und Sicherheitsarbeit erforderlich ist und dass Offenlegungsfunktionen und externe Sicherheitsbewertungen in Arbeit sind. In Anbetracht dessen, dass fast die Hälfte einer Live-Stichprobe es nicht erkennen konnte und dass die Teilnehmenden, die es konnten, es meist innerhalb von zwanzig Sekunden herausfanden, ist die Frage der Offenlegung keine Fußnote zum Modell – sie ist die Voraussetzung für seine Freigabe.

Was heute kaufbar ist, ist der Rest des Stacks drumherum. Eine konversationelle Video-Pipeline ist eine Kette – Spracherkennung, ein Sprachmodell, Sprachsynthese und dann die Rendering-Schicht, die daraus ein Gesicht macht – und die ersten drei sind Massenware, austauschbar und bereits routbar. Diese laufen hinter einem OpenAI-kompatiblen Endpunkt bei OrcaRouter, mit über zweihundert Modellen auf einem einzigen Schlüssel, Anbieter-Listenpreis zu 0 % Aufschlag durchgereicht sodass eine Preisänderung eines Anbieters noch am selben Tag ankommt statt erst nach einem Vertragszyklus, automatisches Failover, das umleitet, wenn ein Anbieter schlechter wird – was in einem Live-Gespräch mehr zählt als in einem Batch-Job, weil der Ausfall hörbar ist – plus eine Routing-DSL, um auszudrücken, welches Modell was übernehmen soll, und Modellfusion zum Kombinieren von Ausgaben. Die Generierungsschicht ist der Teil, der noch eine Research Preview ist; die Schichten darüber sind der Teil, den ein Team jetzt zusammenbauen kann. Tavus Griffin erscheint nicht auf OrcaRouters Live-Modellliste, was konsistent ist mit einem Modell, das keinen veröffentlichten Endpunkt und keine Kennung hat, an die man routen könnte.

Was würde diese Seite verändern?

Drei Dinge, und sie sind konkret genug, um auf sie zu achten. Eine Modellkarte mit einem Modell-String und einem Preis würde Tavus Griffin von einem Forschungsergebnis zu einer Beschaffungsfrage verschieben. Eine unabhängige Replikation des Face-to-Face-Protokolls – ein zweites Labor, das denselben einminütigen Anruf mit eigenen Teilnehmenden durchführt – würde für die 48 % mehr bewirken als jede weitere Herstellerstudie. Und ein Bericht über eine lange Sitzung von jemandem außerhalb von Tavus würde die eine Behauptung prüfen, auf der die Architektur aufbaut und die kein Benchmark abdeckt: dass Self-Forcing und der History-Frame-Mechanismus tatsächlich ein Gesicht und einen Hintergrund über ein Gespräch hinweg zusammenhalten, das Minuten statt Sekunden dauert. Bis eines davon eintrifft, sind die beiden VideoFDB-Tracks die stärkste verfügbare Evidenz, und sie kommen mit einer Lücke von 0,09 Punkten zum Menschen bei der Generierung und 0,47 bei der Wahrnehmung.