『Tavus Griffin』というタイトルの単一モデル向けリファレンスカード。サブタイトルは「リアルタイム会話型アバターシステムであり、動画生成ツールではない」。続いて、角丸のチップが3つ並び、「NVIDIA VideoFDB生成: 5点満点中3.83」「音声から動画へのレイテンシ0.43秒(0.27~0.59秒)」「リサーチプレビュー — 価格なし、エンドポイントなし」と記されている。その後に5つのラベルと値の行が続く。クラス: ヒューマンインタラクションモデル、入力: 生身の人物、音声、映像、出力: 720pの音声と映像のストリーミング、パイプライン: 会話モデル+音声視覚生成、ステータス: リサーチプレビュー、信頼できるテスター限定。フッター行には「すべての数値はベンダーおよびNVIDIAによる報告値。Tavus Griffinはリサーチプレビューであり、一般提供されていません」とある。カードに表示されているモデルは1つのみで、2列目も競合製品もない。OrcaRouterのロゴが右下隅に合成されている。
Guides & Insights

Tavus Griffin: ヒューマン・インタラクション・モデルを解説

著者

Elias Hawthorne

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Tavus Griffinは Human Interaction Model——HIM、ベンダー自身によるカテゴリ名——であり、まず最初に押さえておくべき最も有用なことは、それが何ではないかということだ。動画生成ツールではない。動画モデルはプロンプト、静止画、あるいはクリップを受け取り、完成したファイルを返す。ファイルこそが製品だ。Tavus Griffinは、カメラの前に座った人物と会話を交わし、聞き取りと判断を行っているまさにその瞬間に、顔、声、非言語的行動を生成する。通話が続く限り、途切れることなく。社外でこれに触れたことがある唯一のバージョンはGriffin-Liteで、2026年10月1日付のページを持つリサーチプレビューであり、申請フォームを通じて選ばれた一部の信頼済みテスターに公開されている。価格は公表されておらず、Tavus の API ドキュメントにモデル識別子もエンドポイントもない。このページは、このモデルが何であり、何の上で動作し、実際に何が測定され、誰が使えるのかに対する恒久的な回答である。

そのクラスの質問は、ずっと間違って答えられてきたからです。

Tavus Griffinを検索すると、読者は会話についての情報と同じくらい、text-to-videoモデルやimage-to-videoモデルとの比較にたどり着きやすい。この捉え方は、回避するのではなく正す価値がある。なぜなら、その下流にあるものすべて——そのモデルが何に適しているか、そのスコアが何を意味するか、そのレイテンシが速いのか遅いのか——は、それをどのクラスに分類するかによって決まるからだ。この2つのクラスは、同じテーマの変種ではない。受け入れるものも、生み出すものも異なり、測定に使われる計器も異なる。

• 動画生成モデル — 入力はプロンプト、画像、またはクリップで、出力は固定長のファイルであり、レンダリングが終わるとインタラクションも終了する。ベンチマークが評価するのはピクセルだ。

• Tavus Griffin — 入力は生身の人間、その音声と映像が継続的に。出力は、終わる必要のない音声と映像のストリーム。インタラクションそのものがプロダクトである。ベンチマークはそのやり取りを採点しなければならない。

ベンダーの説明では、Griffinはまた、対話型エージェントを組み立てる通常の方法を否定するものでもある。Tavusは、Griffinを、音声認識、言語モデル、音声合成を次々と連結し、ユーザーが話し終えるのを待ってから応答を開始するカスケードシステムと明確に対比している。Griffinは全二重のビデオ・ツー・ビデオと説明されている。知覚、いつどのように応答するかの判断、応答の生成がすべて同時に実行され、モデルが話している間もそれらは動き続ける。

読者が実際にタイプする言葉には、シグナルが宿っている。このモデルについて記録されたクエリの一つに「tavus griffin human interaction model」があり、これは検索者が、そのクラスを名付けたページをまだ見つけていない段階で、そのクラスを説明しようとしているものだ。それは正しい説明である。Tavusがこの用語を生み出し、HIMと略し、モデル自身のページを最初のヒューマン・インタラクション・モデルと題している。つまり、Tavus Griffinとは何かという問いへの短い答えはこうだ。リアルタイムの会話型アバターシステムであり、製作者によってヒューマン・インタラクション・モデルに分類されている。これは動画モデルより優れたものというわけではなく、別の製品カテゴリーである。

何を取り込み、何を生み出すのか、リアルタイムで

入力は、生の人物の音声と映像、さらにシステムプロンプト、会話履歴、参照画像と参照音声クリップ、そして会話の途中でツールを呼び出す機能です。出力側では、対話モデルはテキストだけを出力するのではなく、テキストに加えて、音声生成器と映像生成器を制御する一連の制御信号を出力します。これにより、口調、スタンス、表情、ジェスチャーが、それらを生み出した決定に結び付いたままになります。

生成側では、Tavusによれば、このアーキテクチャは720p映像をリアルタイムで、一度に1つの潜在表現ずつ生成し、ストリーミング制御を受け付けるため、会話モデルが身振り、視線をそらす、感情的な調子を変えるといった非言語行動を指示できる。音声側は10ミリ秒という小さな音声パケットを送出し、音声は約10秒の参照音声からクローンできる。これらの数値はすべて、ベンダー自身が自社システムについて、自社のページ上で述べている説明である。

レイテンシは、そのグループの中でベンダーが設計目標ではなく測定値として公表している唯一の数値です。公表されている4つのストリーミング拡散モデルを対象に、各システムに音声と参照画像を与えて話す顔を生成させる音声から動画への設定において、TavusはGriffin-LiteがH100上で真の音声から動画へのレイテンシが平均0.43秒であると報告しています。最良ケースは0.27秒、最悪ケースは0.59秒です。比較のために言うと、その比較で次に速い手法についてベンダー自身が示した数値は平均0.86秒、最も遅い手法は平均1.45秒です。Tavusは自社が選んだベースラインに対してこの比較を行ったため、これは特定のプロトコルが付随するベンダー報告の数値として扱うべきであり、中立的なランキングとして扱うべきではありません。

ベンダーが公開していないものの1つは、動画生成器のフレームジオメトリだ。ページには1秒あたりのフレーム数の数値も、1つの潜在表現が何フレームの動画をカバーするかについての記述もない。つまり、Griffinについて引用されているのを見かけた特定のチャンクの長さ——320 ms、8フレームの潜在表現、あるいは明記された圧縮率——は、今日のTavusのページには存在せず、あたかも存在するかのように繰り返すべきではない。明記されているのは720p、一度に1つの潜在表現、そして音声から動画への平均0.43秒である。

パイプラインは実際には何でできているのか

TavusはGriffinを2部構成のシステムと説明しており、その両方の部分は確認できるほど十分に詳細に文書化されている。

1つ目は継続的対話モデリングエンジンです。入力される音声と映像を知覚し、いつ、どのように応答するかを判断して、テキストと制御信号を出力します。設計上の要点はインターバルにあります。1ターンにつき1回ではなく、1秒未満の一定間隔で対話上の判断を下すのであり、ベンダーはこれをミニターンと呼んでいます。各インターバルで会話の状態を評価し、発言権を取る、保持する、譲る、遮ることなく相槌を打つ、遮られたら止まる、といったことができます。判断がターン境界に駆動されるのではなく連続的であるため、考えるための間はターンの終わりとは見なされません。またGriffinは、ほとんどの対話システムが音声のみを知覚するのに対し、映像も知覚します。これにより、視線、表情、ユーザーの環境、ユーザーがカメラにかざしたり見せたりするものすべてを捉えることができます。

2つ目は音声視覚生成エンジンであり、それ自体がストリーミング音声生成とストリーミング動画生成という2つのアーキテクチャからなり、これらの制御信号を音とピクセルに変換する。音声モデルは高速な自己回帰拡散トランスフォーマーで、エンコードされた参照クリップをプレフィックスとして受け取り、出力と制御の増分が到着するのに応じて、潜在チャンクを1つずつ逐次的に新しい音声を生成する。発話全体が構成されるのを待ってから話し始めるのではない。

音声側の基盤にあるのは、ベンダーがTavec v1.7と呼ぶコーデックであり、ここで公表されている数値が具体的なものになる。これは48kHzの音声を、毎秒100フレーム・1フレームあたり40個の値からなる連続潜在表現にマッピングする畳み込みオートエンコーダで、コードブックは使われていない。そのデコーダは完全に因果的であるため、チャンクをまたいで状態を保持し、ストリーミングされた潜在表現から継ぎ目のない単一の波形を生成する。このコンパクトさが肝心で、音声1分は生の音声の288万サンプルに対して6,000の潜在フレームとなり、これによって系列が自己回帰トランスフォーマーにとってリアルタイムより高速に予測できるほど短くなる。Tavusは2,193倍のリアルタイムデコーディング、ViSQOL MOS-LQO 4.242、デコーダパラメータ数2,842万を報告しており、スループットはH100上で測定されている。いずれもベンダーによる報告値である。

動画側は、別の方向から同じ地点に到達する。Tavusの以前のモデルは広範な3D事前分布に依存しており、表現できる内容が制限されていた。ベンダーが示すGriffinの動画生成器に対する要件は、入ってくる各音声チャンクへの高速な応答、急速に変化する制御への耐性、そして長時間の生成にわたる安定した同一性、リップシンク、視覚品質である。そこへの道筋は、大規模な双方向多段拡散教師モデルの3段階蒸留だった。Distribution Matching Distillationは、高速ながら依然として動画全体を一度に生成する少数ステップの生徒モデルを生み出した。Teacher forcingは、その生徒モデルを一度に1つの潜在変数を生成する自己回帰モデルに変換した。Self-Forcingはその後、自身が生成した履歴でそれを訓練し、履歴フレームに作用する追加機構を備えることで、長いロールアウトがドリフトしないようにした。これは、この種のモデルが通常抱える故障モードであり、数分続く会話の中で顔が劣化したり、背景がさまよったりすることだ。

Screenshot of NVIDIA's VideoFDB leaderboard page. The visible text begins 'LEADERBOARD / VideoFDB - Evaluating Full-Duplex Vision-Speech Capabilities in Conversationa...' and the page is headed as a leaderboard for full-duplex audio-visual conversation, with the two evaluation tracks and their scored entries listed beneath. The page is NVIDIA's own benchmark site, not a Tavus page.

何が、そして誰によって測定されたのか

上のほぼすべての数値は、TavusがTavusを測定したものだ。例外であり、それが重みを持つ理由でもあるのが、NVIDIAのVideoFDBだ——NVIDIAが構築した全二重の音声・視覚会話のベンチマークで、NVIDIAは公開された指標と独自のジャッジを用いて独立に実施していると述べている。これはモデルを生成と知覚という2つのトラックで採点し、それぞれに独自のルーブリックと独自のリーダーボードがあり、0~5の尺度で評価する。

• 生成 — エージェントが生成したもの、つまり音声と映像を合わせたもの。これはユーザーのストリーム内の動的イベントに応答したものである。Griffin-Liteは、人間の正解参照が3.92であるのに対し3.83を記録し、次に高いシステムは2.80だった。発話タイミングに関するモデルの判断が参照会話のタイミングとどれだけ一致するかを測るテイクオーバー率整合性は、Griffin-Liteで62.8%、人間の参照で78%で、タイミング値は1,892 msだった。

• 知覚 — 音声映像入力、音声出力、エージェントがその瞬間を正しく読めたかを採点。Griffin-Lite は人間の参照値 4.20 に対して 3.73 を記録し、テイクオーバー率の一致度は 73.8%、タイミングは 2,232 ms だった。Tavus は、評価対象の 15 モデルの中で、このベンチマーク上で最も知覚能力の高いモデルだと述べている。

誰かがそれらを繰り返す前に、それらには2つの注意点を付けておくべきだ。知覚トラックで最も近いベースラインは MiniCPM-o 4.5 の 3.44 と記載されているが、それは音声のみ(A2A)の行である。同じシステムの完全な音声視覚行は 3.40 だ。Griffin は動画を読むので、正直な比較は音声視覚行に対して行うべきであり、それにより差は 0.29 ではなく 0.33 になる。そして、その差が測っているものの一部は、単に目があることの価値にすぎない。また、言語モデルが採点した5点尺度で人間の参照との差が0.09点であることは、「人間レベル」と読むよりも「このルーブリックでは人間に近い」と読むほうが適切だ。

もう一つの注目すべき数字は、Tavus自身によるものだ。同社が実施した調査では、独立した研究プラットフォームを通じて募集された参加者は、別の参加者と1分間のビデオ通話をするためにマッチングされると告げられた。相手はGriffin-Liteを稼働させているPALだった。54人の参加者のうち、26人—48%—が相手を実在の人物だと思った。同じプロトコルでは、Phoenix-4.5、Raven-1、Sparrow-2で構築された同社の以前のスタックは2.4%、つまり41人中1人だった。どちらのグループも確信していた。本物だと答えた人では79%、AIだと答えた人では81%だった。半数以上がその可能性はまったく頭に浮かばなかったと述べ、疑った人も大半は最初の20秒以内に疑いを持った。7段階評価で、このモデルの平均は、自然に見えるで5.4、信頼できるで5.6、また話したいと思えるで5.8、話を聞いてもらえていると感じられるで5.5、会話が自然に流れるかどうかで4.9—5項目の中で最も低い—だった。

その研究は、プロトコルが記述され、サンプルサイズが明示されたベンダー実施の研究であり、これはほとんどのモデル発表が提供するものより多く、独立した再現よりは少ない。第三者が対面プロトコルを再現したことはなく、Tavus Griffin は独立したビデオモデルのリーダーボードにエントリがない。2つの VideoFDB トラックスコアは、このページ上で Tavus 以外の組織が作成した唯一の数値である。

アクセスと価格:現在存在するもの

これはページ内で最も短いセクションです。中身がほとんど何もないからです。ベンダー自身の資料に基づくと、公開されているものは次のとおりです。

• ステータス — Griffin-Liteはリサーチプレビューであり、Tavusは現時点では顧客向けに提供される予定はないと述べているが、選ばれた信頼できるテスターには利用可能である。

• アクセス — 申請フォーム経由。より高性能なモデルのより広範なリリースについては、以下のとおりです。

• プラットフォーム — ベンダー自身の結びの一文によると、GriffinはまだTavusプラットフォームには搭載されておらず、同社が安全にリリースする方法を確立し次第、登場する予定だ。

• 価格 — 公表されていない。Tavusの価格ページではPAL製品とPhoenix、Raven、Sparrowのスタックを扱っているが、Griffinについては何も言及されておらず、ベンダーのサイトのどこにも分単位、秒単位、リクエスト単位の数字はない。

• エンドポイントと識別子 — なし。Griffin は Tavus の API ドキュメントのインデックスには登場しません。そのモデルページには、顔のレンダリング用として Phoenix、知覚用として Raven、ターンテイキング用として Sparrow が記載されています。呼び出すべきモデル文字列は存在しません。

ベンダーは、自らが説明する安全作業に対処された後、まもなくGriffinをリリースすることを見込んでいると述べている。これは表明された意図であり、日付ではない。そして、この件に関する唯一の将来見通しの発言である。

Screenshot of Tavus's own Griffin page. The visible text begins 'INTRODUCING GRIFFIN / The First Human Interaction Model / Griffin is the world's first Human...' and the page presents Griffin as the vendor's Human Interaction Model announcement, including the description of the system and its research-preview access.

Tavus Griffin が対象としていないもの

ベンチマーク結果とリリース状況の間にあるギャップこそがこのページの実用的な中身であるため、このモデルが現時点で使えない事柄については率直に述べておく価値がある。

今四半期に顧客向けの導線を築く対象ではない。デプロイにはモデル識別子、価格、レート制限、リージョンに関する説明、そして何らかの可用性コミットメントが必要だが、そのどれも存在しない。今日Griffinを前提に計画を立てているチームは、申込みフォームを前提に計画しているようなものだ。

それは動画生成器ではなく、その数値の強さだけでクリップパイプラインに投入されるべきではない。そのスコアは、独自のルーブリックと独自のジャッジを備えた全二重会話ハーネスから得られたものである。一方、動画モデルのリーダーボードは、プロンプトに対するペアワイズ選好によって短いクリップを評価する。この2つの測定器は比較可能な数値を生み出さない。つまり、Tavus Griffinは、同等の労力とハーネスでいかなる動画モデルとも直接比較ベンチマークされたことがなく、公表されているものから両者の間のランキングを推測すべきではない。

ベンダー自身の説明によれば、まだ公然とリリースするのは安全ではない。Tavusは、Human Interaction Modelをより優れたインターフェースにするのと同じ特性が、それがAIではないと人に信じ込ませるのにも長けていると述べている。また、さらなるアラインメントと安全性の作業が必要であり、開示機能と外部の安全性評価が進行中であるとも述べている。実際のサンプルのほぼ半数が見分けられず、見分けられた参加者のほとんどが20秒以内にそれと気づいたことを考えると、開示の問題はモデルにとって脚注ではない — それはモデルを左右する関門である。

今日購入できるのは、その周辺にあるスタックの残りの部分だ。会話型動画パイプラインは一連の連鎖であり——音声認識、言語モデル、音声合成、そしてそれを「顔」にするレンダリング層——最初の3つはコモディティで、交換可能で、すでにルーティング可能だ。それらはOrcaRouterの単一のOpenAI互換エンドポイントの背後で動作し、1つのキーで200を超えるモデル、プロバイダーの定価を0%のマークアップでそのまま透過するため、ベンダーの価格変更は契約サイクルを待たずに当日に反映される。プロバイダーが劣化したときに経路を切り替える自動フェイルオーバー——これはバッチジョブよりもライブ通話でこそ重要だ。失敗は耳で聞こえるからだ——に加え、どのモデルが何を処理すべきかを表現するためのルーティングDSL、そして出力を組み合わせるモデルフュージョンを備えている。生成層はまだ研究プレビューである部分であり、その上にある層こそチームが今組み立てられる部分だ。Tavus GriffinはOrcaRouterのライブモデルリストに現れない。これは公開されたエンドポイントも、ルーティング先の識別子も持たないモデルと整合している。

Summary card titled 'Tavus Griffin at a glance' laid out in two columns separated by a wide empty gutter. The left column is headed 'General' with five rows: Status: research preview; Price: none published; Class: Human Interaction Model; Input: a person on camera; Output: streaming 720p, real time. The right column is headed 'Independent' with five rows: VideoFDB generation: 3.83 vs 3.92 human; VideoFDB perception: 3.73 vs 4.20 human; Face-to-face study: 48 percent, n=54; Latency: 0.43 s average, H100; Open issue: AI disclosure. A footer line reads 'VideoFDB per NVIDIA; study, latency and Tavec figures reported by Tavus.' The OrcaRouter logo is composited in the bottom-right corner.

このページを変えるとしたら何ですか

3つのことだ。どれも注視するに足るほど具体的である。モデルカードにモデル文字列と価格が記載されれば、Tavus Griffin は研究結果から調達の検討課題へと移る。対面プロトコルの独立した再現——別のラボが独自の参加者で同じ1分間通話を実施すること——は、さらなるベンダー研究よりも48%という数値の裏付けに大きく寄与するだろう。そしてTavus外部の誰かによる長時間セッションの報告は、このアーキテクチャの根幹にある、どのベンチマークも扱っていない唯一の主張を検証することになる。すなわち、Self-Forcingとhistory-frameメカニズムが、数秒ではなく数分続く会話にわたって、実際に顔と背景を一緒に保つという主張である。これらのうち1つが実現するまでは、VideoFDBの2つのトラックが利用可能な最強の証拠であり、生成では人間との0.09ポイント差、知覚では0.47ポイント差を伴っている。