Tavus Griffin: модель человеческого взаимодействия — объяснение

Tavus Griffin — это Human Interaction Model — HIM, собственное название категории от вендора, и самое полезное, что стоит установить о ней в первую очередь, — это то, чем она не является. Это не генератор видео. Видеомодель принимает промпт, неподвижный кадр или клип и возвращает готовый файл; файл и есть продукт. Tavus Griffin берет человека, сидящего перед камерой, и ведет с ним разговор, генерируя лицо, голос и невербальное поведение в тот самый момент, когда слушает и принимает решения, непрерывно, пока длится звонок. Единственная версия, к которой кто-либо за пределами компании имел доступ, — это Griffin-Lite, исследовательский предпросмотр, на странице которого указана дата 1 октября 2026 года, открытый для избранных доверенных тестировщиков через форму запроса, без опубликованной цены, без идентификатора модели в документации API Tavus и без эндпоинта. Эта страница — постоянный ответ на вопрос, что это за модель, на чем она работает, что уже было фактически измерено и кто может ею пользоваться.

Классовый вопрос, потому что на него постоянно отвечают неправильно.

Поиск Tavus Griffin — и читатель с равной вероятностью наткнётся на сравнение с моделью text-to-video или image-to-video, как и на что-либо о разговоре. Эту трактовку стоит исправить, а не обходить, потому что всё, что из неё следует, — для чего модель хороша, что означают её оценки, быстрая у неё задержка или медленная, — зависит от того, к какому классу вы её относите. Эти два класса — не вариации на одну тему. Они принимают разное, производят разное и измеряются разными инструментами.

• Модели генерации видео — на входе промпт, изображение или клип; на выходе — файл фиксированной длины; взаимодействие заканчивается, когда завершается рендеринг. Бенчмарки оценивают пиксели.

• Tavus Griffin — на входе живой человек, его аудио и видео, непрерывно; на выходе — поток речи и видео, который никогда не должен заканчиваться; само взаимодействие и есть продукт. Бенчмарки должны оценивать этот обмен.

Griffin также, в трактовке вендора, представляет собой отказ от обычного способа сборки интерактивного агента. Tavus явно противопоставляет его каскадным системам, которые последовательно соединяют распознавание речи, языковую модель и синтез речи, ожидая, пока пользователь закончит говорить, прежде чем начать отвечать. Griffin описывается как полнодуплексный режим видео-в-видео: восприятие, решение о том, когда и как отвечать, и генерация ответа выполняются одновременно, и они продолжают работать, пока модель говорит.

В формулировках, которые читатели на самом деле вводят, есть сигнал. Один из зафиксированных запросов по этой модели — «tavus griffin human interaction model»: так искатель описывает класс, ещё не найдя страницу, где он назван. Это точное описание. Tavus ввела этот термин, сокращает его до HIM и озаглавливает собственную страницу модели Первая модель человеческого взаимодействия. Итак, короткий ответ на вопрос, что такое Tavus Griffin: система разговорных аватаров в реальном времени, которую её создатель относит к категории Human Interaction Model; это отдельная продуктовая категория, а не улучшенная видеомодель.

Что он принимает на вход и что выдает, в реальном времени

Входные данные — это аудио и видео живого человека, а также системный промпт, история разговора, референсное изображение и референсное аудио, а также возможность вызвать инструмент в середине разговора. На стороне вывода разговорная модель выдаёт не только текст: она выдаёт текст плюс набор управляющих сигналов, которые направляют генераторы речи и видео, — именно так тон, позиция, мимика и жесты остаются привязанными к решению, которое их породило.

Со стороны генерации Tavus утверждает, что архитектура создаёт видео 720p в реальном времени, по одному латентному представлению за раз, принимая потоковые управляющие сигналы, чтобы модель диалога могла управлять невербальным поведением, таким как жестикуляция, отведение взгляда или смена эмоционального регистра. Речевая часть выдаёт аудиопакеты размером всего 10 мс, а голос можно клонировать примерно из десяти секунд эталонного аудио. Каждая из этих цифр — это описание производителем собственной системы на собственной странице.

Задержка — это единственное число в той группе, которое поставщик публикует как измерение, а не как проектную цель. По сравнению с четырьмя опубликованными потоковыми диффузионными моделями, в сценарии аудио-в-видео, где каждой системе дают речь и референсное изображение, и она должна создать говорящее лицо, Tavus сообщает, что Griffin-Lite в среднем 0,43 секунды истинной задержки аудио-в-видео на H100s, при лучшем случае 0,27 с и худшем случае 0,59 с. Для сравнения, собственные цифры поставщика для следующего по скорости метода в этом сравнении в среднем составляют 0,86 с, а самый медленный — в среднем 1,45 с. Tavus проводила это сравнение с базовыми решениями, выбранными Tavus, поэтому относитесь к этому как к заявленной поставщиком цифре с привязанным конкретным протоколом, а не как к нейтральному рейтингу.

Поставщик не публикует одну вещь — геометрию кадров видеогенератора. На странице нет ни показателя кадров в секунду, ни утверждения о том, сколько видеокадров покрывает один латент, а значит, любая конкретная длительность фрагмента, которую вы видели указанной для Griffin — 320 мс, или восьмикадровый латент, или заявленный коэффициент сжатия, — сегодня отсутствует на странице Tavus и не должна повторяться так, будто она там есть. Указано следующее: 720p, по одному латенту за раз и среднее время аудио-в-видео — 0,43 секунды.

Из чего на самом деле состоит пайплайн

Tavus описывает Griffin как систему из двух частей, и обе части описаны в документации достаточно подробно, чтобы их можно было проверить.

Первый — это Continuous Conversational Modeling-движок. Он воспринимает входящие аудио и видео, решает, когда и как отвечать, и выдаёт текстовые и управляющие сигналы. Ключевая особенность — интервал: он принимает разговорные решения через регулярные интервалы менее секунды, а не один раз за ход, что производитель называет мини-ходами. На каждом из них он оценивает состояние разговора и может взять слово, удерживать его, уступить, поддакнуть, не перебивая, или остановиться, когда его перебивают. Поскольку решение принимается непрерывно, а не на границах хода, пауза на размышление не считается концом хода. Griffin также воспринимает видео, тогда как большинство интерактивных систем воспринимают только аудио, — именно это позволяет ему воспринимать взгляд, мимику, окружение пользователя и всё, что пользователь поднимает или показывает камере.

Второй — это аудиовизуальной генерации движок, сам по себе состоящий из двух архитектур — потоковой генерации речи и потоковой генерации видео, — который преобразует эти управляющие сигналы в звук и пиксели. Речевая модель — это быстрый авторегрессионный диффузионный трансформер, который принимает закодированный референсный фрагмент в качестве префикса и постепенно генерирует новую речь, по одному латентному фрагменту за раз, по мере поступления приращений вывода и управления, вместо того чтобы ждать, пока будет составлено всё высказывание, прежде чем начать говорить.

Под речевой стороной находится кодек, который вендор называет Tavec v1.7, и именно здесь опубликованные цифры обретают конкретику. Это свёрточный автоэнкодер, отображающий аудио с частотой 48 кГц в непрерывный латент из 40 значений на кадр при 100 кадрах в секунду, без кодбуков. Его декодер полностью каузален, поэтому он переносит состояние между чанками и формирует единую бесшовную волновую форму из потоковых латентов. Компактность здесь — главное: минута речи — это 6 000 латентных кадров против 2,88 млн сэмплов исходного аудио, и именно это делает последовательность достаточно короткой, чтобы авторегрессионный трансформер предсказывал её быстрее реального времени. Tavus сообщает о декодировании со скоростью 2 193× реального времени, ViSQOL MOS-LQO 4,242 и 28,42 млн параметров декодера, причём пропускная способность измерена на H100. Все данные — со слов вендора.

Видеонаправление приходит к тому же результату с другой стороны. Более ранние модели Tavus опирались на обширные 3D-априорные данные, что ограничивало их выразительные возможности; заявленные вендором требования к видеогенератору Griffin — быстрый отклик на каждый поступающий фрагмент аудио, устойчивость к быстро меняющимся управляющим сигналам и стабильная идентичность, синхронизация губ и визуальное качество на длинных генерациях. Путь к этому лежал через трёхэтапную дистилляцию большой двунаправленной многошаговой диффузионной модели-учителя. Distribution Matching Distillation дала student-модель с малым числом шагов, которая была быстрой, но по-прежнему генерировала всё видео целиком за один проход. Teacher forcing превратил эту student-модель в авторегрессионную модель, порождающую по одному латенту за раз. Затем Self-Forcing обучил её на её собственной сгенерированной истории, с добавленным механизмом, воздействующим на кадры истории, чтобы длинные роллауты не дрейфовали — а это как раз тот режим отказа, который обычно присущ этому классу моделей: лицо деградирует или фон «уплывает» за время разговора, длящегося несколько минут.

Что было измерено и кем?

Почти все числа выше — это Tavus, измеряющий Tavus. Исключение — и именно поэтому оно имеет вес — это NVIDIA VideoFDB, бенчмарк для полнодуплексного аудиовизуального разговора, который создала NVIDIA и который, по заявлению NVIDIA, проводится независимо с использованием опубликованных метрик и собственного судьи. Он оценивает модель по двум трекам — генерации и восприятию, — каждый из которых имеет собственную рубрику и собственный лидерборд, по шкале от нуля до пяти.

• Генерация — то, что агент создал: аудио и видео вместе, в ответ на динамическое событие в потоке пользователя. Griffin-Lite набрал 3,83 балла при эталонном человеческом значении 3,92; следующая по результату система набрала 2,80. Согласованность по показателю перехвата инициативы, которая измеряет, насколько точно решения модели о том, когда говорить, совпадают с таймингом в эталонных разговорах, составила 62,8% для Griffin-Lite и 78% для человеческого эталона, при значении тайминга 1 892 мс.

• Восприятие — аудиовизуальный вход, аудиовыход; оценка того, правильно ли агент уловил момент. Griffin-Lite набрал 3,73 против человеческого эталона 4,20 при согласованности по показателю перехватов 73,8% и тайминге 2 232 мс. Tavus описывает её как самую восприимчивую модель на бенчмарке среди 15 оценённых.

К этим утверждениям нужны две оговорки, прежде чем кто-либо начнёт их повторять. Ближайший базовый уровень в треке восприятия указан как MiniCPM-o 4.5 с 3,44 — но это строка только для аудио (A2A); полная аудиовизуальная строка той же системы — 3,40. Griffin читает видео, поэтому честное сравнение — с аудиовизуальными строками, а это даёт разрыв 0,33, а не 0,29, и часть того, что измеряет этот разрыв, — это просто ценность наличия глаз. А разрыв в 0,09 балла с человеческим эталоном по пятибалльной шкале, оцениваемой языковой моделью, лучше интерпретировать как «близко к человеку по этому критерию», а не как «на уровне человека».

Ещё один громкий показатель принадлежит самой Tavus. В исследовании, проведённом компанией, участникам, набранным через независимую исследовательскую платформу, сказали, что их сведут с другим участником для одноминутного видеозвонка; их партнёром был PAL, работающий на Griffin-Lite. Из 54 участников 26 — 48 % — считали, что их партнёр — реальный человек. При том же протоколе предыдущий стек компании, построенный на Phoenix-4.5, Raven-1 и Sparrow-2, дал 2,4 %, или одного участника из 41. Обе группы были уверены: 79 % среди тех, кто сказал, что партнёр настоящий, и 81 % среди тех, кто сказал, что это ИИ. Более половины сказали, что такая возможность им даже в голову не приходила, а те, кто всё же подозревал, в основном заподозрили это в первые двадцать секунд. По семибалльной шкале модель в среднем получила 5,4 за естественность, 5,6 за то, насколько ей можно доверять, 5,8 за желание поговорить ещё раз, 5,5 за ощущение, что тебя слушают, и 4,9 — самый низкий из пяти — за то, насколько естественно проходил разговор.

Это исследование проведено вендором: в нём описан протокол и указан размер выборки — это больше, чем предлагает большинство запусков моделей, и меньше, чем независимая репликация. Ни одна третья сторона не воспроизвела протокол face-to-face, а Tavus Griffin отсутствует в независимом рейтинге видеомоделей. Два показателя по трекам VideoFDB — единственные цифры на этой странице, полученные организацией, отличной от Tavus.

Доступ и цена: что существует сегодня

Это самый короткий раздел на странице, потому что в нём почти ничего нет. Что опубликовано, по собственным материалам вендора:

• Статус — Griffin-Lite — это предварительная версия для исследований, и Tavus заявляет, что на данный момент она не будет доступна для использования клиентами, хотя доступна для избранных доверенных тестировщиков.

• Доступ — по форме запроса, при этом более широкий выпуск более продвинутой модели описывается ниже.

• Платформа — в заключительной фразе самого поставщика говорится, что Griffin пока не появился на платформе Tavus и появится лишь после того, как компания разберётся, как безопасно его выпустить.

• Цена — не опубликована. На странице цен Tavus описаны продукт PAL и стек Phoenix, Raven и Sparrow; о Griffin там ничего не сказано, и нигде на сайте поставщика нет цифр за минуту, за секунду или за запрос.

• Эндпоинт и идентификатор — нет. Griffin не фигурирует в индексе документации API Tavus, на странице моделей которой документированы Phoenix для рендеринга лиц, Raven для восприятия и Sparrow для управления очерёдностью реплик. Нет строки модели для вызова.

Вендор заявляет, что рассчитывает выпустить Griffin очень скоро после того, как описанная им работа по обеспечению безопасности будет выполнена. Это заявленное намерение, а не дата, и это единственное прогнозное заявление по данной теме.

Для чего не предназначен Tavus Griffin

Разрыв между результатом бенчмарка и статусом релиза — это практическое содержание данной страницы, поэтому стоит прямо сказать о том, для чего модель в настоящее время не может использоваться.

Это не то, на чём стоит строить клиентский путь в этом квартале. Для развёртывания нужны идентификатор модели, цена, ограничение частоты запросов, региональная история и какая-то форма обязательства по доступности, а ничего из этого не существует. Команда, которая сегодня планирует вокруг Griffin, планирует вокруг формы запроса.

Это не видеогенератор, и его не следует включать в конвейер создания клипов, полагаясь на эти цифры. Его оценки получены с помощью стенда для полнодуплексных разговоров, у которого есть собственная рубрика и собственный судья; а лидерборды видеомоделей оценивают короткие клипы по попарному предпочтению на промптах. Эти два инструмента не дают сопоставимых числовых показателей, а значит, Tavus Griffin не проходил прямое сравнение ни с одной видеомоделью при сопоставимых усилиях и одинаковом стенде, и из опубликованного не следует делать вывод о рейтинге между ними.

По собственному признанию вендора, открыто выпускать её пока небезопасно. Tavus пишет, что те же свойства, которые делают Human Interaction Model лучшим интерфейсом, также делают такую модель лучше в обмане человека, заставляя его поверить, что перед ним не ИИ, что требуется дополнительная работа по выравниванию и безопасности, и что функции раскрытия и внешние оценки безопасности находятся в работе. Учитывая, что почти половина живой выборки не смогла отличить, а те участники, кто смог, в основном догадались менее чем за двадцать секунд, вопрос раскрытия — не сноска к модели, а условие её выпуска.

То, что можно купить сегодня, — это остальная часть стека вокруг него. Конвейер разговорного видео — это цепочка: распознавание речи, языковая модель, синтез речи, а затем слой рендеринга, который превращает это в лицо; первые три — это типовые, взаимозаменяемые и уже маршрутизируемые компоненты. Всё это работает через один OpenAI-совместимый эндпоинт в OrcaRouter, с более чем двумястами моделями на одном ключе, ценой провайдера по прайс-листу, передаваемой с наценкой 0%, так что изменение цены у поставщика вступает в силу в тот же день, а не после договорного цикла; автоматическое аварийное переключение, которое перенаправляет запросы, когда провайдер деградирует, — что важнее в живом вызове, чем в пакетной задаче, потому что сбой слышен, — плюс DSL маршрутизации для указания, какая модель должна обрабатывать что, и слияние моделей для объединения выходных данных. Слой генерации — это часть, которая всё ещё находится в статусе исследовательского превью; слои над ним — это то, что команда может собрать уже сейчас. Tavus Griffin не отображается в актуальном списке моделей OrcaRouter, что согласуется с моделью, у которой нет опубликованного эндпоинта и нет идентификатора для маршрутизации.

Что изменило бы эту страницу

Три вещи — и они достаточно конкретны, чтобы за ними следить. Карточка модели со строкой модели и ценой перевела бы Tavus Griffin из результата исследования в вопрос закупки. Независимая репликация протокола очного взаимодействия — вторая лаборатория, проводящая тот же одноминутный звонок со своими участниками, — сделала бы больше для этих 48%, чем может любое дальнейшее исследование вендора. А отчёт о длительной сессии от кого-то извне Tavus проверил бы единственное утверждение, вокруг которого построена архитектура и которое не покрывает ни один бенчмарк: что Self-Forcing и механизм history-frame действительно удерживают лицо и фон вместе на протяжении разговора, который длится минуты, а не секунды. Пока одно из этого не появится, две дорожки VideoFDB — самые сильные из доступных доказательств, и они имеют разрыв с человеческим уровнем в 0,09 пункта по генерации и 0,47 — по восприятию.