单模型参考卡片,标题为“Tavus Griffin”,副标题为“一个实时对话式虚拟形象系统,而非视频生成器”,其后是三个圆角标签,分别写着“NVIDIA VideoFDB 生成:5 分中的 3.83 分”、“0.43 秒音频到视频延迟(0.27 至 0.59 秒)”和“研究预览版——无价格、无端点”。接下来是五行标签与值:类别:人类交互模型;输入:真人、音频和视频;输出:流式 720p 语音和视频;流水线:对话模型加音视频生成;状态:研究预览版,仅限受信任测试者。页脚一行写着“所有数据均由供应商和 NVIDIA 报告。Tavus Griffin 是研究预览版,尚未普遍可用。”该卡片仅展示一个模型,没有第二列,也没有竞品。OrcaRouter 标志合成在右下角。
Guides & Insights

Tavus Griffin:人类交互模型详解

作者

Elias Hawthorne

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Tavus Griffin是一个 Human Interaction Model——HIM,即厂商自己的类别名称——而首先要明确的最有用的一点,是它不是什么。它不是视频生成器。视频模型接收提示词、静帧或片段,返回一个成品文件;文件就是产品。Tavus Griffin则是让一个人坐在摄像头前,与之进行对话,在聆听和决策的同一时刻生成面部、声音和非言语行为,并在通话持续期间不断如此。公司外部任何人唯一接触过的版本是Griffin-Lite,一个研究预览版,其页面标注日期为 2026 年 10 月 1 日,通过申请表单向部分受信任测试者开放,没有公布价格,Tavus 的 API 文档中没有模型标识符,也没有端点。本页面是关于该模型是什么、它运行在什么之上、实际测量了什么以及谁可以使用它的长期答案。

课堂上的问题,因为它一直被答错

搜索 Tavus Griffin 时,读者同样有可能看到的是它与文本生成视频或图像生成视频模型的对比,而不是任何关于对话的内容。这种框架值得纠正,而不是绕开它,因为由它衍生出的一切——这个模型擅长什么、它的评分意味着什么、它的延迟是快还是慢——都取决于你把它归入哪一类。这两类并不是同一主题的变体。它们接受不同的输入,产生不同的输出,并且用不同的工具来衡量。

• 视频生成模型——输入是提示词、一张图像或一段视频片段;输出是固定长度的文件;渲染完成时,交互也随之结束。基准测试则针对像素进行评分。

• Tavus Griffin——输入是一个真人,以及他的音频和视频,持续不断;输出是一段永远不必结束的语音和视频流;交互本身就是产品。基准测试必须为这场交流打分。

按照厂商的说法,Griffin 也否定了构建交互式智能体的惯常方式。Tavus 明确将其与级联系统相对比:这类系统把语音识别、语言模型和语音合成依次串联起来,等待用户说完话后才开始回应。Griffin 被描述为全双工的视频到视频:感知、关于何时以及如何回应的决策,以及回应的生成都同时运行,并且在模型说话时仍持续运行。

读者实际输入的措辞里藏着信号。针对该模型记录到的查询中,有一条是“tavus griffin human interaction model”,这是搜索者在还没找到明确命名该类别的页面之前,对该类别的描述。这个描述是准确的。Tavus 创造了这个术语,将其缩写为 HIM,并把该模型自己的页面标题定为首个人类交互模型。所以,关于 Tavus Griffin 是什么,简短的回答是:它是一套实时对话式虚拟形象系统,其创造者将其归类为“人类交互模型”(Human Interaction Model)——这与视频模型是不同的产品类别,而非更优的一类。

它接收什么、产生什么,实时

输入包括真人的音频和视频,加上系统提示、对话历史、参考图像和参考音频片段,以及在对话中途调用工具的能力。在输出端,对话模型并非仅输出文本:它输出文本以及一组控制信号,这些信号指挥语音和视频生成器,这就是语气、姿态、面部表情和手势如何与产生它们的决策保持关联。

在生成端,Tavus 表示,该架构实时生成 720p 视频,一次一个潜变量,并接受流式控制,以便对话模型能够指导非语言行为,例如做手势、看向别处或改变情绪基调。语音侧发出小至 10 毫秒的音频包,并且可以从大约十秒的参考音频中克隆声音。上述每一个数字都是供应商在其自己的页面上对其自身系统的描述。

在该组数据中,延迟是供应商作为测量结果而非设计目标发布的唯一数值。在四个已发布的流式扩散模型中,在音频到视频的设置下,每个系统都接收语音和参考图像,并且必须生成说话的面部,Tavus 报告 Griffin-Lite 在 H100 上平均0.43 秒的真实音频到视频延迟,最佳情况为 0.27 秒,最差情况为 0.59 秒。作为对比,供应商自己在该比较中给出的第二快方法的平均值为 0.86 秒,而最慢的方法平均为 1.45 秒。Tavus 是拿该比较与 Tavus 自己选择的基线进行的,因此应将其视为附带特定协议的供应商报告数据,而不是中立的排名。

供应商没有公布的一点,是视频生成器的帧几何结构。页面上没有每秒帧数数字,也没有说明一个潜变量覆盖多少视频帧,这意味着你看到过的任何关于 Griffin 的具体分块时长——320 毫秒、八帧潜变量,或某个已声明的压缩比——今天都不在 Tavus 的页面上,不应被当作确有其事来重复。已声明的是 720p、一次一个潜变量,以及 0.43 秒的音频到视频平均时间。

管道实际上是由什么构成的

Tavus 将 Griffin 描述为一个由两部分组成的系统,而这两部分都有足够详细的文档可供核查。

第一种是连续对话建模引擎。它会感知传入的音频和视频,决定何时以及如何回应,并发出文本和控制信号。其设计要点在于间隔:它按固定的亚秒级间隔做出对话决策,而不是每轮只做一次,供应商称之为迷你轮次。在每个间隔,它都会评估对话状态,并且可以取得发言权、保持发言权、让出发言权、在不打断的情况下进行附和反馈,或在被打断时停止。由于决策是连续进行的,而不是由轮次边界驱动,思考时的停顿不会被视为一轮对话的结束。Griffin 还能感知视频,而大多数交互系统只能感知音频,这使它能够获取目光、面部表情、用户所处的环境,以及用户举到镜头前或分享给镜头的任何内容。

第二个是音视频生成引擎,其自身包含两种架构——流式语音生成与流式视频生成——负责将这些控制信号转化为声音与像素。语音模型是一个快速自回归扩散变换器,它以一段编码后的参考片段作为前缀,随着输出与控制的增量陆续到达,一次一个潜变量块地逐步生成新的语音,而不是等到整段话语全部组好之后才开始发声。

在语音这一侧下方,是一个编解码器,厂商称之为Tavec v1.7,而正是在这里,公布的数据变得具体起来。它是一个卷积自编码器,将 48 kHz 音频映射为每帧 40 个值的连续潜在表示,帧率为每秒 100 帧,且不使用码本。其解码器完全因果,因此能够跨块携带状态,并从流式潜在表示生成一条无缝波形。紧凑性正是关键:一分钟语音对应 6,000 个潜在帧,而原始音频有 288 万个采样点,这使序列短到足以让自回归 transformer 以快于实时的速度进行预测。Tavus 报告称实时解码达到 2,193×,ViSQOL MOS-LQO 为 4.242,解码器参数量为 2842 万,吞吐量在 H100 上测得。均为厂商报告。

视频侧则从另一个方向抵达了同一处。Tavus 早期的模型依赖大量 3D 先验,这限制了它们的表达能力;该厂商对 Griffin 视频生成器明确提出的要求是:对每个传入的音频块快速响应、能容忍快速变化的控制条件,以及在长时生成中保持稳定的身份、口型同步和视觉质量。通往这一目标的路径,是对一个大型双向多步扩散教师模型进行三阶段蒸馏。分布匹配蒸馏(Distribution Matching Distillation)产出了一个少步学生模型,它速度很快,但仍会一次性生成整段视频。教师强制(Teacher forcing)将该学生模型转换为一次生成一个潜在表示的自回归模型。随后,Self-Forcing 在其自身生成的历史上训练它,并加入了一个作用于历史帧的机制,从而使长时展开不会漂移——而这正是这类模型通常具有的失败模式:在持续数分钟的对话中,面部退化或背景游移。

Screenshot of NVIDIA's VideoFDB leaderboard page. The visible text begins 'LEADERBOARD / VideoFDB - Evaluating Full-Duplex Vision-Speech Capabilities in Conversationa...' and the page is headed as a leaderboard for full-duplex audio-visual conversation, with the two evaluation tracks and their scored entries listed beneath. The page is NVIDIA's own benchmark site, not a Tavus page.

测量了什么,以及由谁测量

上面几乎每一个数字都是 Tavus 在衡量 Tavus。例外,也是它之所以有分量的原因,是 NVIDIA 的 VideoFDB——一个由 NVIDIA 构建的全双工音视频对话基准,并且 NVIDIA 表示,它是使用已公布的指标和自己的评判器独立开展的。它从生成和感知两条赛道对模型进行评分,每条赛道都有自己的评分标准和自己的排行榜,采用零到五分的量表。

• 生成——智能体响应于用户流中的动态事件,将音频和视频一起生成的内容。Griffin-Lite 的得分为 3.83,而人类基准参考为 3.92;得分第二高的系统为 2.80。接管率对齐度衡量模型关于何时发言的决策与参考对话中的时间安排有多接近,Griffin-Lite 为 62.8%,人类参考为 78%,时间指标为 1,892 毫秒。

• 感知 — 视听输入、音频输出,并评估智能体是否准确读懂了当下情境。Griffin-Lite 得分为 3.73,而人类参考为 4.20,接管率对齐度为 73.8%,时序为 2,232 毫秒。Tavus 称其为 15 个受评模型中在该基准上感知能力最强的模型。

在任何人复述这些之前,有两点提醒应当附上。感知赛道中最接近的基线被列为 MiniCPM-o 4.5,得分为 3.44——但那是纯音频(A2A)那一行;同一系统的完整音视频行是 3.40。Griffin 能读取视频,所以诚实的比较应当对照音视频行,这样差距是 0.33,而不是 0.29,而这个差距所衡量的内容,有一部分不过就是“有眼睛”的价值。而在一个由语言模型评分的五分制量表上,与人类参考值相差 0.09 分,更应被解读为“在该评分标准上接近人类”,而不是“达到人类水平”。

另一个引人注目的数字来自 Tavus 自己。在公司开展的一项研究中,通过独立研究平台招募的参与者被告知,他们将与另一位参与者配对进行一分钟的视频通话;而他们的搭档其实是一个运行 Griffin-Lite 的 PAL。在 54 名参与者中,有 26 人——48%——相信自己的搭档是真人。在相同的实验方案下,该公司此前由 Phoenix-4.5、Raven-1 和 Sparrow-2 构建的技术栈只达到了 2.4%,也就是 41 名参与者中仅有 1 人。两组人都很有信心:认为对方是真人的人中有 79% 如此,认为对方是 AI 的人中有 81% 如此。超过一半的人表示,这种可能性压根没在他们的脑海里出现过,而那些确实起过疑心的人大多是在最初二十秒内产生的。在七分制量表上,该模型在显得自然方面平均得分为 5.4,值得信赖为 5.6,想再次交谈为 5.8,感到被倾听为 5.5,而对话是否自然流畅则为 4.9——这是五项中最低的。

那项研究是由厂商主导的研究,有明确描述的方案和写明的样本量,这比大多数模型发布所提供的要多,但比独立复现要少。没有任何第三方复现过该面对面方案,而且 Tavus Griffin 在任何独立的视频模型排行榜上都没有条目。本页面上,VideoFDB 的两项赛道得分是唯一由 Tavus 以外的机构得出的数字。

访问与价格:目前已有的内容

这是页面上最短的一节,因为里面几乎什么都没有。根据供应商自己的材料,所发布的内容是:

• 状态 — Griffin-Lite 是一个研究预览版,Tavus 表示它目前暂不面向客户使用,但可供部分受信任的测试者使用。

• 访问权限 —— 需通过申请表单获取,功能更强的模型的更广泛发布情况如下所述。

• 平台——供应商自己的结束语称,Griffin尚未登陆Tavus平台,待公司研究出如何安全发布后便会加入。

• 价格——未公布任何信息。Tavus 的定价页面涵盖 PAL 产品以及 Phoenix、Raven 和 Sparrow 技术栈;其中对 Griffin 只字未提,而且在该供应商的网站上,任何地方都找不到按分钟、按秒或按请求计费的数字。

• 端点和标识符 —— 无。Griffin 并未出现在 Tavus 的 API 文档索引中,该索引的模型页面记录了用于面部渲染的 Phoenix、用于感知的 Raven 以及用于轮次切换的 Sparrow。没有可供调用的模型字符串。

供应商表示,它预计在其所述的安全工作得到处理后,很快就会发布 Griffin。这是一种已声明的意向,而非具体日期,并且这是关于该主题唯一的前瞻性声明。

Screenshot of Tavus's own Griffin page. The visible text begins 'INTRODUCING GRIFFIN / The First Human Interaction Model / Griffin is the world's first Human...' and the page presents Griffin as the vendor's Human Interaction Model announcement, including the description of the system and its research-preview access.

Tavus Griffin 不是用来做什么的

基准测试结果与发布状态之间的差距正是本页的实际内容,因此值得直言不讳地说明该模型目前无法用于哪些用途。

本季度还不适合把它作为搭建面向客户路径的基础。一次部署需要模型标识符、价格、速率限制、区域方案以及某种形式的可用性承诺,而这些一样都不存在。今天围绕 Griffin 做规划的团队,其实是在围绕一份请求表单做规划。

它不是一个视频生成器,也不应仅凭这些数字就被塞进视频片段流水线。它的分数来自一个全双工对话评测装置,该装置有自己的评分标准和自己的评判器;而视频模型排行榜则根据提示词上的成对偏好来给短视频片段打分。这两种工具产生的数字并不可比,这意味着 Tavus Griffin 尚未与任何视频模型在相同投入和测试框架下进行过正面对比基准测试,也不应从已公布的内容中推断出它们之间的任何排名。

按照供应商自己的说法,目前还不能安全地公开推出。Tavus 写道,让 Human Interaction Model 成为更优秀界面的那些特性,同样也让它更擅长欺骗一个人,使其相信它不是 AI;还需要进一步的对齐与安全研究,而披露功能与外部安全评估正在进行中。鉴于现场样本中近一半的人无法分辨,而那些能分辨的参与者大多在二十秒内就识破了,披露问题并非这一模型的一个脚注——它是这一模型的准入门槛。

如今可以买到的是它周围技术栈的其余部分。对话式视频流水线是一条链条——语音识别、语言模型、语音合成,然后是让它拥有面孔的渲染层——而前三者已是商品化、可互换且已经可路由的。它们运行在 OrcaRouter 上单个 OpenAI 兼容端点之后,一个密钥即可访问两百多个模型,以 0% 加价透传供应商列表价格,因此供应商价格变动当天就能生效,而不是等到一个合同周期之后;当供应商性能下降时会自动故障转移并重新路由——这在实时通话中比在批处理任务中更重要,因为故障是听得见的——此外还有用于表达哪个模型应处理什么的路由 DSL,以及用于组合输出的模型融合。生成层仍是研究预览阶段的部分;其上各层则是团队现在就能组装的部分。Tavus Griffin 并未出现在 OrcaRouter 的实时模型列表中,这与一个没有已发布端点、也没有可供路由标识符的模型相符。

Summary card titled 'Tavus Griffin at a glance' laid out in two columns separated by a wide empty gutter. The left column is headed 'General' with five rows: Status: research preview; Price: none published; Class: Human Interaction Model; Input: a person on camera; Output: streaming 720p, real time. The right column is headed 'Independent' with five rows: VideoFDB generation: 3.83 vs 3.92 human; VideoFDB perception: 3.73 vs 4.20 human; Face-to-face study: 48 percent, n=54; Latency: 0.43 s average, H100; Open issue: AI disclosure. A footer line reads 'VideoFDB per NVIDIA; study, latency and Tavec figures reported by Tavus.' The OrcaRouter logo is composited in the bottom-right corner.

什么会改变这个页面

有三件事,而且它们足够具体,值得留意。一张带有模型字符串和价格的模型卡,会把 Tavus Griffin 从研究成果变成采购议题。对面对面协议的独立复现——由第二个实验室用自己的参与者进行同样的一分钟通话——对那 48% 的帮助,将超过任何进一步的供应商研究。而一份来自 Tavus 外部人士的长会话报告,将检验该架构所围绕建立、且没有任何基准覆盖的那一项主张:Self-Forcing 和历史帧机制,是否真的能在持续数分钟而非数秒的对话中,把人脸和背景保持在一起。在其中任何一项落地之前,两条 VideoFDB 赛道都是目前可获得的最有力证据,而它们在生成上与人类相差 0.09 分,在感知上相差 0.47 分。