Tavus Griffin: Model interakcji z człowiekiem — wyjaśnienie

Tavus Griffin to Model Interakcji z Ludźmi — HIM, własna nazwa kategorii dostawcy — a najbardziej użyteczną rzeczą do ustalenia na jego temat w pierwszej kolejności jest to, czym nie jest. To nie jest generator wideo. Model wideo przyjmuje prompt, nieruchomą klatkę lub klip i zwraca gotowy plik; plik jest produktem. Tavus Griffin przyjmuje osobę siedzącą przed kamerą i prowadzi z nią rozmowę, generując twarz, głos i zachowania niewerbalne w tym samym momencie, w którym słucha i podejmuje decyzje, nieprzerwanie, przez cały czas trwania połączenia. Jedyną wersją, z którą ktokolwiek spoza firmy miał kontakt, jest Griffin-Lite, podglądowa wersja badawcza, której strona nosi datę 1 października 2026 r., otwarta dla wybranych zaufanych testerów poprzez formularz zgłoszeniowy, bez opublikowanej ceny, bez identyfikatora modelu w dokumentacji API Tavus i bez punktu końcowego. Ta strona jest stałą odpowiedzią na to, czym jest model, na czym działa, co zostało faktycznie zmierzone i kto może go używać.

Pytanie klasowe, ponieważ wciąż udzielano na nie błędnych odpowiedzi.

Wyszukaj Tavus Griffin, a czytelnik równie dobrze może trafić na porównanie z modelem tekst-na-wideo lub obraz-na-wideo, jak na cokolwiek na temat konwersacji. To ujęcie warto skorygować, a nie obchodzić, ponieważ wszystko, co z niego wynika — do czego model się nadaje, co oznaczają jego wyniki, czy jego opóźnienie jest szybkie, czy wolne — zależy od tego, do której klasy go zakwalifikujesz. Te dwie klasy nie są wariacjami na ten sam temat. Przyjmują różne rzeczy, wytwarzają różne rzeczy i mierzy się je różnymi instrumentami.

• Modele generowania wideo — na wejściu znajduje się prompt, obraz lub klip; na wyjściu plik o stałej długości; interakcja kończy się, gdy renderowanie się zakończy. Benchmarki oceniają piksele.

• Tavus Griffin — wejściem jest żywa osoba, jej dźwięk i obraz, w sposób ciągły; wyjściem jest strumień mowy i wideo, który nie musi się nigdy kończyć; produktem jest sama interakcja. Benchmarki muszą oceniać tę wymianę.

Griffin jest również, w ujęciu dostawcy, odrzuceniem zwykłego sposobu składania interaktywnego agenta. Tavus wyraźnie przeciwstawia go systemom kaskadowym, które łączą rozpoznawanie mowy, model językowy i syntezę mowy jeden po drugim, czekając, aż użytkownik skończy mówić, zanim zaczną odpowiadać. Griffin jest opisywany jako pełny dupleks wideo-do-wideo: percepcja, decyzja o tym, kiedy i jak odpowiedzieć, oraz generowanie odpowiedzi odbywają się jednocześnie i działają dalej, podczas gdy model mówi.

W sposobie, w jaki czytelnicy faktycznie wpisują zapytania, kryje się pewien sygnał. Jedno z zarejestrowanych zapytań dotyczących tego modelu to „tavus griffin human interaction model” — tak osoba szukająca opisuje tę klasę, zanim trafi na stronę, która ją nazywa. To trafny opis. Tavus wprowadził ten termin, skraca go do HIM i tak zatytułował własną stronę modelu Pierwszy Model Interakcji z Człowiekiem. Krótka odpowiedź na pytanie, czym jest Tavus Griffin, brzmi więc: to działający w czasie rzeczywistym system awatarów do rozmów, klasyfikowany przez swojego twórcę jako model interakcji z człowiekiem, czyli inna kategoria produktów niż model wideo, a nie jego lepsza wersja.

Co przyjmuje i co produkuje, na żywo

Dane wejściowe to audio i wideo żywej osoby, a także prompt systemowy, historia rozmowy, obraz referencyjny i referencyjny klip audio oraz możliwość wywołania narzędzia w trakcie rozmowy. Po stronie wyjściowej model konwersacyjny nie emituje wyłącznie tekstu: emituje tekst oraz zestaw sygnałów sterujących, które kierują generatorami mowy i wideo, dzięki czemu ton, postawa, wyraz twarzy i gest pozostają powiązane z decyzją, która je wywołała.

Po stronie generowania Tavus twierdzi, że architektura tworzy wideo 720p w czasie rzeczywistym, jeden latent naraz, przyjmując sterowanie strumieniowe, dzięki czemu model konwersacyjny może kierować zachowaniami niewerbalnymi, takimi jak gestykulacja, odwracanie wzroku czy zmiana rejestru emocjonalnego. Strona mowy emituje pakiety audio o długości zaledwie 10 ms, a głos można sklonować na podstawie około dziesięciu sekund audio referencyjnego. Każda z tych liczb to opis własnego systemu podany przez dostawcę na jego własnej stronie.

Opóźnienie to jedyna liczba w tej grupie, którą dostawca publikuje jako pomiar, a nie cel projektowy. W porównaniu z czterema opublikowanymi strumieniowymi modelami dyfuzyjnymi, w scenariuszu audio-do-wideo, w którym każdemu systemowi podaje się mowę i obraz referencyjny, a system musi wygenerować mówiącą twarz, Tavus podaje, że Griffin-Lite osiąga średnio 0,43 sekundy rzeczywistego opóźnienia audio-wideo na H100, przy najlepszym przypadku 0,27 s i najgorszym 0,59 s. Dla skali: własne dane dostawcy dla drugiej najszybszej metody w tym porównaniu wynoszą średnio 0,86 s, a najwolniejsza średnio 1,45 s. Tavus przeprowadził to porównanie z wybranymi przez Tavus punktami odniesienia, więc traktuj ją jako wartość raportowaną przez dostawcę z dołączonym konkretnym protokołem, a nie jako neutralny ranking.

Dostawca nie publikuje jednej rzeczy: geometrii klatek generatora wideo. Na stronie nie ma liczby klatek na sekundę ani informacji, ile klatek wideo obejmuje jeden latent, co oznacza, że jakakolwiek konkretna długość fragmentu, jaką widziałeś podawaną dla Griffina — 320 ms, latent obejmujący osiem klatek albo podany współczynnik kompresji — nie występuje dziś na stronie Tavus i nie należy jej powtarzać tak, jakby tam była. Podane są: 720p, jeden latent naraz oraz średnia 0,43 sekundy dla audio-wideo.

Z czego tak naprawdę składa się pipeline

Tavus opisuje Griffina jako system dwuczęściowy, a obie części są udokumentowane wystarczająco szczegółowo, aby można było je sprawdzić.

Pierwszy to Continuous Conversational Modeling — silnik. Odbiera przychodzące audio i wideo, decyduje, kiedy i jak odpowiedzieć, oraz emituje tekst i sygnały sterujące. Kluczowym założeniem projektu jest interwał: podejmuje decyzje konwersacyjne w regularnych odstępach poniżej sekundy, a nie raz na turę, co dostawca nazywa mini-turami. Przy każdym z nich ocenia stan rozmowy i może przejąć głos, utrzymać go, oddać go, wysłać sygnał podtrzymujący bez przerywania lub zatrzymać się, gdy zostanie przerwany. Ponieważ decyzja jest ciągła, a nie oparta na granicach tur, pauza na namysł nie jest traktowana jako koniec tury. Griffin odbiera również wideo, podczas gdy większość systemów interaktywnych odbiera wyłącznie audio, co pozwala mu dostrzegać spojrzenie, mimikę twarzy, otoczenie użytkownika oraz wszystko, co użytkownik podnosi lub pokazuje kamerze.

Drugi to silnik Audio Visual Generation, będący sam w sobie dwiema architekturami — strumieniowym generowaniem mowy i strumieniowym generowaniem wideo — przekształcający te sygnały sterujące w dźwięk i piksele. Model mowy to szybki autoregresyjny transformator dyfuzyjny, który przyjmuje zakodowany klip referencyjny jako prefiks i generuje nową mowę stopniowo, jeden utajony fragment na raz, w miarę napływania przyrostów danych wyjściowych i sterujących, zamiast czekać na złożenie całej wypowiedzi, zanim zacznie mówić.

Pod częścią mowy znajduje się kodek, który producent nazywa Tavec v1.7, i właśnie tutaj opublikowane liczby nabierają konkretu. To konwolucyjny autoenkoder odwzorowujący dźwięk 48 kHz na ciągłą reprezentację utajoną o 40 wartościach na ramkę przy 100 ramkach na sekundę, bez książek kodowych. Jego dekoder jest w pełni przyczynowy, więc zachowuje stan między fragmentami i tworzy jeden płynny przebieg fali ze strumieniowanych reprezentacji utajonych. Sedno tkwi w zwartości: minuta mowy to 6000 ramek utajonych wobec 2,88 miliona próbek surowego audio, co sprawia, że sekwencja jest wystarczająco krótka, aby autoregresyjny transformer przewidywał ją szybciej niż w czasie rzeczywistym. Tavus podaje dekodowanie 2193× szybciej niż w czasie rzeczywistym, ViSQOL MOS-LQO na poziomie 4,242 i 28,42 miliona parametrów dekodera, a przepustowość zmierzono na H100. Wszystkie wartości podane przez producenta.

Strona wideo dochodzi do tego samego miejsca z drugiej strony. Wcześniejsze modele Tavusa opierały się na rozbudowanych priorach 3D, co ograniczało to, co mogły wyrazić; podane przez dostawcę wymagania dla generatora wideo Griffina to szybka reakcja na każdy przychodzący fragment audio, tolerancja na szybko zmieniające się kontrolki oraz stabilna tożsamość, synchronizacja ust i jakość wizualna podczas długich generacji. Droga do tego celu prowadziła przez trzystopniową destylację dużego nauczyciela dwukierunkowej wieloetapowej dyfuzji. Destylacja dopasowująca rozkład wyprodukowała kilkustopniowego studenta, który był szybki, ale wciąż generował całe wideo w jednym fragmencie. Wymuszanie nauczyciela przekształciło tego studenta w model autoregresyjny generujący jeden latent na raz. Self-Forcing wytrenowało go następnie na jego własnej wygenerowanej historii, z dodanym mechanizmem działającym na klatkach historii, tak aby długie przebiegi nie dryfowały — co jest trybem awarii typowym dla tej klasy modeli: twarz, która ulega degradacji, lub tło, które wędruje podczas rozmowy trwającej kilka minut.

Co zostało zmierzone i przez kogo

Niemal każda liczba powyżej to Tavus mierzący samego siebie. Wyjątkiem — i powodem, dla którego ma to wagę — jest VideoFDB firmy NVIDIA: benchmark do pełnodupleksowej rozmowy audio-wizualnej, który zbudowała NVIDIA i który — jak twierdzi NVIDIA — jest prowadzony niezależnie, z użyciem opublikowanych metryk i własnego sędziego. Ocenia model na dwóch torach — generowaniu i percepcji — z których każdy ma własną rubrykę i własny ranking, w skali od zera do pięciu.

• Generowanie — to, co wytworzył agent, audio i wideo razem, w odpowiedzi na dynamiczne zdarzenie w strumieniu użytkownika. Griffin-Lite uzyskał wynik 3,83 wobec ludzkiego odniesienia wzorcowego na poziomie 3,92; kolejny najwyżej oceniony system uzyskał 2,80. Zgodność wskaźnika przejmowania, która mierzy, jak ściśle decyzje modelu o tym, kiedy mówić, pokrywają się z czasem w rozmowach referencyjnych, wyniosła 62,8% dla Griffin-Lite i 78% dla odniesienia ludzkiego, przy wartości czasu 1892 ms.

• Percepcja — wejście audio-wizualne, wyjście audio, ocena, czy agent właściwie odczytał moment. Griffin-Lite uzyskał 3,73 wobec ludzkiego odniesienia 4,20, przy zgodności wskaźnika przejęć na poziomie 73,8% i czasie 2232 ms. Tavus opisuje go jako model o największej percepcji w benchmarku spośród 15 ocenianych.

Do tych wyników trzeba dodać dwa zastrzeżenia, zanim ktokolwiek je powtórzy. Najbliższy punkt odniesienia na ścieżce percepcji jest podany jako MiniCPM-o 4.5 z wynikiem 3,44 — ale to wiersz wyłącznie audio (A2A); pełny wiersz audio-wizualny tego samego systemu to 3,40. Griffin czyta wideo, więc uczciwe porównanie wypada względem wierszy audio-wizualnych, co daje lukę 0,33, a nie 0,29, a część tego, co mierzy ta luka, to po prostu wartość posiadania oczu. A różnicę 0,09 punktu do ludzkiego odniesienia w pięciopunktowej skali ocenianej przez model językowy lepiej odczytywać jako „blisko człowieka w tej rubryce” niż jako „na poziomie człowieka”.

Drugi kluczowy wynik należy do samego Tavus. W badaniu przeprowadzonym przez firmę uczestnikom rekrutowanym przez niezależną platformę badawczą powiedziano, że zostaną połączeni z innym uczestnikiem w ramach jednominutowej rozmowy wideo; ich partnerem był PAL działający na Griffin-Lite. Spośród 54 uczestników 26 — 48% — było przekonanych, że ich partner jest prawdziwą osobą. Przy tym samym protokole poprzedni stos firmy zbudowany z Phoenix-4.5, Raven-1 i Sparrow-2 dał 2,4%, czyli jednego uczestnika na 41. Obie grupy były pewne: 79% wśród tych, którzy uznali, że rozmówca był prawdziwy, 81% wśród tych, którzy uznali, że był to AI. Ponad połowa stwierdziła, że ta możliwość w ogóle nie przyszła im do głowy, a ci, którzy jednak coś podejrzewali, przeważnie zaczynali podejrzewać w ciągu pierwszych dwudziestu sekund. W siedmiopunktowej skali model uzyskał średnio 5,4 za sprawianie wrażenia naturalnego, 5,6 za bycie godnym zaufania, 5,8 za chęć ponownej rozmowy, 5,5 za poczucie, że się jest słuchanym, oraz 4,9 — najniżej z pięciu — za to, czy rozmowa płynęła naturalnie.

To badanie jest badaniem prowadzonym przez dostawcę, z opisanym protokołem i podaną liczebnością próby, co jest czymś więcej, niż oferuje większość premier modeli, ale mniej niż niezależna replikacja. Żadna strona trzecia nie odtworzyła protokołu face-to-face, a Tavus Griffin nie ma wpisu w niezależnym rankingu modeli wideo. Dwa wyniki ścieżek VideoFDB to jedyne liczby na tej stronie, które wygenerowała organizacja inna niż Tavus.

Dostęp i cena: co istnieje dziś

To najkrótsza sekcja na stronie, ponieważ prawie nic w niej nie ma. Co zostało opublikowane, na materiałach samego dostawcy:

• Status — Griffin-Lite to podgląd badawczy, a Tavus podaje, że nie będzie on obecnie dostępny do użytku przez klientów, choć jest dostępny dla wybranych zaufanych testerów.

• Dostęp — poprzez formularz zgłoszeniowy, przy czym szersze udostępnienie bardziej zaawansowanego modelu opisano w następujący sposób.

• Platforma — sam dostawca w końcowym zdaniu przyznaje, że Griffin nie jest jeszcze dostępny na platformie Tavus i pojawi się, gdy firma opracuje sposób bezpiecznego jego wydania.

• Cena — nie podano. Strona cenowa Tavus obejmuje produkt PAL oraz pakiet Phoenix, Raven i Sparrow; nie wspomina nic o Griffin, a nigdzie na stronie dostawcy nie ma żadnej stawki za minutę, za sekundę ani za żądanie.

• Punkt końcowy i identyfikator — brak. Griffin nie występuje w indeksie dokumentacji API Tavus, którego strona modeli dokumentuje Phoenix do renderowania twarzy, Raven do percepcji i Sparrow do zarządzania kolejnością mówienia. Nie ma ciągu modelu, który można wywołać.

Dostawca oświadcza, że przewiduje wydanie Griffina bardzo szybko po zajęciu się opisanymi przez niego pracami związanymi z bezpieczeństwem. To wyrażony zamiar, a nie data, i jest to jedyne stwierdzenie wybiegające w przyszłość na ten temat.

Do czego nie służy Tavus Griffin

Różnica między wynikiem benchmarku a statusem wydania stanowi praktyczną treść tej strony, więc warto mówić bez ogródek o rzeczach, do których modelu obecnie nie można używać.

Nie jest to coś, na czym można w tym kwartale oprzeć ścieżkę dla klientów. Wdrożenie wymaga identyfikatora modelu, ceny, limitu szybkości, historii regionu i jakiejś formy zobowiązania dotyczącego dostępności, a nic z tego nie istnieje. Zespół, który dziś planuje wokół Griffina, planuje wokół formularza zgłoszeniowego.

To nie jest generator wideo i nie należy wpinać go do potoku przetwarzania klipów tylko na podstawie liczb. Jego wyniki pochodzą z pełnodupleksowego środowiska testowego do rozmów, które ma własne kryteria oceny i własnego sędziego; rankingi modeli wideo oceniają krótkie klipy na podstawie preferencji w porównaniach parami względem promptów. Te dwa narzędzia nie dają porównywalnych liczb, co oznacza, że Tavus Griffin nie został porównany bezpośrednio z żadnym modelem wideo przy dopasowanym nakładzie pracy i środowisku testowym, a z opublikowanych danych nie należy wnioskować o żadnym rankingu między nimi.

Według samego dostawcy nie jest jeszcze bezpieczne, by udostępniać to otwarcie. Tavus pisze, że te same właściwości, które sprawiają, że Human Interaction Model jest lepszym interfejsem, sprawiają również, że lepiej oszukuje człowieka, skłaniając go do wiary, że nie ma do czynienia z AI, że konieczna jest dalsza praca nad alignmentem i bezpieczeństwem oraz że trwają prace nad funkcjami ujawniania i zewnętrznymi ocenami bezpieczeństwa. Biorąc pod uwagę, że niemal połowa próby na żywo nie potrafiła tego rozpoznać, a uczestnicy, którym się to udawało, w większości rozgryzali to w ciągu dwudziestu sekund, kwestia ujawniania nie jest przypisem do modelu — to warunek jego udostępnienia.

To, co można dziś kupić, to reszta stosu wokół tego. Pipeline konwersacyjnego wideo to łańcuch — rozpoznawanie mowy, model językowy, synteza mowy, a następnie warstwa renderowania, która nadaje mu twarz — a pierwsze trzy są powszechnie dostępne, wymienne i już można je routować. Działają one za jednym endpointem zgodnym z OpenAI w OrcaRouter, z ponad dwustu modelami na jednym kluczu, ceną katalogową dostawcy przekazywaną przy 0% marży dzięki czemu zmiana ceny dostawcy wchodzi w życie tego samego dnia, a nie po cyklu kontraktowym, automatyczne przełączanie awaryjne, które przekierowuje ruch, gdy dostawca zaczyna działać gorzej — co ma większe znaczenie w rozmowie na żywo niż w zadaniu wsadowym, ponieważ awaria jest słyszalna — a także DSL routingu do określania, który model ma obsługiwać co, oraz fuzję modeli do łączenia wyników. Warstwa generowania to część, która wciąż jest podglądem badawczym; warstwy powyżej niej to część, którą zespół może złożyć już teraz. Tavus Griffin nie pojawia się na bieżącej liście modeli OrcaRouter, co jest spójne z modelem, który nie ma opublikowanego endpointu ani identyfikatora, do którego można by kierować ruch.

Co zmieniłoby tę stronę?

Trzy rzeczy, a każda z nich jest wystarczająco konkretna, by mieć ją na oku. Karta modelu z identyfikatorem modelu i ceną przeniosłaby Tavus Griffin z wyniku badań do kwestii zakupowej. Niezależna replikacja protokołu twarzą w twarz — drugie laboratorium przeprowadzające tę samą jednominutową rozmowę z własnymi uczestnikami — zrobiłaby więcej dla tych 48% niż jakiekolwiek dalsze badanie dostawcy. A raport z długiej sesji od kogoś spoza Tavus przetestowałby to jedno twierdzenie, wokół którego zbudowana jest architektura i którego nie obejmuje żaden benchmark: że Self-Forcing i mechanizm ramki historii faktycznie utrzymują twarz i tło razem przez rozmowę trwającą minuty, a nie sekundy. Dopóki jedno z nich się nie pojawi, dwa tory VideoFDB są najsilniejszymi dostępnymi dowodami, a wiąże się z nimi różnica 0,09 punktu względem człowieka w generowaniu i 0,47 w percepcji.