Tavus Griffin: 인간 상호작용 모델, 해설

Tavus Griffin은 휴먼 인터랙션 모델(Human Interaction Model) — HIM, 벤더 자체의 카테고리명 — 이며, 이에 대해 가장 먼저 확립해야 할 가장 유용한 점은 그것이 무엇이 아닌지다. 그것은 비디오 생성기가 아니다. 비디오 모델은 프롬프트, 정지 프레임 또는 클립을 받아 완성된 파일을 반환하며, 그 파일이 곧 제품이다. Tavus Griffin은 카메라 앞에 앉은 사람을 받아 그와 대화를 나누며, 통화가 진행되는 동안 내내, 듣고 결정하는 바로 그 순간에 얼굴과 목소리, 비언어적 행동을 생성한다. 회사 외부에서 누구든 접해 본 유일한 버전은 Griffin-Lite로, 2026년 10월 1일 날짜가 적힌 연구 미리보기이며, 요청 양식을 통해 선별된 신뢰할 수 있는 테스터에게 공개되고, 공개된 가격도, Tavus의 API 문서에 모델 식별자도, 엔드포인트도 없다. 이 페이지는 이 모델이 무엇인지, 무엇 위에서 실행되는지, 실제로 무엇이 측정되었는지, 누가 사용할 수 있는지에 대한 상시 답변이다.

클래스 질문은, 계속 틀리게 답변되어 왔기 때문이다.

Tavus Griffin을 검색하면 독자는 대화에 관한 어떤 내용만큼이나 텍스트-투-비디오 또는 이미지-투-비디오 모델과의 비교를 접할 가능성이 크다. 그런 프레이밍은 우회하기보다 바로잡을 가치가 있다. 그 아래에 이어지는 모든 것 — 이 모델이 무엇에 적합한지, 그 점수들이 무엇을 의미하는지, 지연 시간이 빠른지 느린지 — 이 모두 그것을 어느 클래스로 분류하느냐에 달려 있기 때문이다. 이 두 클래스는 같은 주제의 변형이 아니다. 서로 다른 것을 받아들이고, 서로 다른 것을 만들어 내며, 서로 다른 도구로 측정된다.

• 영상 생성 모델 — 입력은 프롬프트, 이미지 또는 클립이고, 출력은 고정 길이의 파일이며, 상호작용은 렌더가 끝나면 종료된다. 벤치마크는 픽셀을 채점한다.

• Tavus Griffin — 입력은 살아 있는 사람, 그 사람의 오디오와 비디오이며, 연속적입니다; 출력은 끝날 필요가 없는 음성 및 비디오 스트림입니다; 상호작용이 곧 제품입니다. 벤치마크는 이 주고받음을 점수화해야 합니다.

Griffin은 또한, 공급업체의 설명에 따르면, 상호작용형 에이전트를 구성하는 일반적인 방식에 대한 거부다. Tavus는 이를 음성 인식, 언어 모델, 음성 합성을 차례로 연결하여 사용자가 말을 마칠 때까지 기다렸다가 응답하기 시작하는 캐스케이드 시스템과 명시적으로 대비한다. Griffin은 전이중 비디오-투-비디오로 설명된다. 즉, 지각, 언제 어떻게 응답할지에 대한 결정, 그리고 응답 생성이 모두 동시에 실행되며, 모델이 말하는 동안에도 계속 실행된다.

독자들이 실제로 입력하는 문구에는 신호가 있다. 이 모델에 대해 기록된 검색어 중 하나는 "tavus griffin human interaction model"인데, 이는 검색자가 그 부류를 명명한 페이지를 아직 찾지 못한 상태에서 그 부류를 설명하는 방식이다. 그것은 정확한 설명이다. Tavus가 이 용어를 만들었고, 이를 HIM으로 줄여 부르며, 모델 자체의 페이지 제목으로 삼았다. 최초의 인간 상호작용 모델. 그렇다면 Tavus Griffin이 무엇인지에 대한 짧은 답은 이렇다. 실시간 대화형 아바타 시스템으로, 제작사가 이를 인간 상호작용 모델(Human Interaction Model)로 분류하는데, 이는 비디오 모델보다 더 나은 것이 아니라 다른 제품 범주다.

무엇을 입력받고 무엇을 실시간으로 만들어내는지

입력은 실제 인물의 오디오와 비디오, 그리고 시스템 프롬프트, 대화 기록, 참조 이미지와 참조 오디오 클립, 대화 도중 도구를 호출할 수 있는 기능입니다. 출력 측에서 대화 모델은 텍스트만 내보내지 않습니다. 텍스트와 함께 음성 및 비디오 생성기를 지시하는 일련의 제어 신호를 내보내며, 이를 통해 어조, 태도, 표정, 몸짓이 그것을 만들어낸 결정과 연결된 상태로 유지됩니다.

생성 측면에서 Tavus는 이 아키텍처가 실시간으로 720p 영상을 한 번에 하나의 잠재(latent)씩 생성하며, 스트리밍 제어를 받아들여 대화 모델이 제스처, 시선 돌리기, 감정적 어조 바꾸기 같은 비언어적 행동을 지시할 수 있다고 말한다. 음성 측면에서는 최소 10ms 크기의 오디오 패킷을 내보내며, 약 10초 분량의 참조 오디오로 목소리를 복제할 수 있다. 이 모든 수치는 벤더가 자사 페이지에서 자사 시스템을 스스로 설명한 내용이다.

지연 시간은 해당 그룹에서 벤더가 설계 목표가 아니라 측정값으로 공개하는 유일한 수치입니다. 공개된 네 가지 스트리밍 확산 모델을 상대로, 각 시스템에 음성과 참조 이미지가 주어지고 말하는 얼굴을 생성해야 하는 오디오-투-비디오 설정에서, Tavus는 Griffin-Lite가 H100에서 평균 0.43초의 실제 오디오-투-비디오 지연 시간을 기록했으며, 최선의 경우는 0.27초, 최악의 경우는 0.59초라고 보고합니다. 규모를 가늠해 보면, 해당 비교에서 두 번째로 빠른 방법에 대한 벤더 자체 수치는 평균 0.86초이고, 가장 느린 방법은 평균 1.45초입니다. Tavus는 자사가 선택한 기준선을 상대로 그 비교를 수행했으므로, 이를 중립적인 순위가 아니라 특정 프로토콜이 수반된 벤더 보고 수치로 취급해야 합니다.

공급업체가 공개하지 않는 한 가지는 비디오 생성기의 프레임 지오메트리입니다. 페이지에는 초당 프레임 수 수치도 없고, 하나의 잠재(latent)가 몇 개의 비디오 프레임을 포괄하는지에 대한 설명도 없습니다. 이는 Griffin에 대해 인용된 특정 청크 지속 시간 — 320ms, 또는 8프레임 잠재, 또는 명시된 압축률 — 이 오늘날 Tavus의 페이지에 없으며, 마치 그런 것인 양 반복되어서는 안 된다는 뜻입니다. 명시된 것은 720p, 한 번에 하나의 잠재, 그리고 0.43초의 오디오-투-비디오 평균입니다.

파이프라인이 실제로 무엇으로 구성되어 있는지

Tavus는 Griffin을 두 부분으로 구성된 시스템이라고 설명하며, 두 부분 모두 확인할 수 있을 만큼 충분히 자세히 문서화되어 있습니다.

첫 번째는 Continuous Conversational Modeling 엔진입니다. 이는 들어오는 오디오와 비디오를 인식하고, 언제 어떻게 응답할지 결정하며, 텍스트와 제어 신호를 내보냅니다. 설계의 핵심은 간격입니다. 턴당 한 번이 아니라 일정한 1초 미만 간격으로 대화 결정을 내리는데, 공급업체는 이를 미니턴이라고 부릅니다. 각 간격마다 대화의 상태를 평가하고 발언권을 가져가거나, 유지하거나, 양보하거나, 방해하지 않고 맞장구치거나, 방해를 받으면 멈출 수 있습니다. 결정이 턴 경계에 따라 이루어지는 것이 아니라 연속적으로 이루어지기 때문에, 생각을 위한 멈춤은 턴의 끝으로 간주되지 않습니다. Griffin은 또한 대부분의 대화형 시스템이 오디오만 인식하는 곳에서 비디오도 인식하는데, 이것이 바로 시선, 표정, 사용자의 환경, 그리고 사용자가 카메라에 들어 보이거나 공유하는 모든 것을 가능하게 합니다.

두 번째는 Audio Visual Generation 엔진으로, 그 자체가 두 가지 아키텍처 — 스트리밍 음성 생성과 스트리밍 비디오 생성 — 로 구성되어 있으며, 이러한 제어 신호를 소리와 픽셀로 변환합니다. 음성 모델은 빠른 자기회귀 확산 트랜스포머로, 인코딩된 참조 클립을 접두사로 받아들이고, 전체 발화가 구성되기를 기다렸다가 말하기 시작하는 대신, 출력과 제어의 증가분이 도착함에 따라 한 번에 하나의 잠재 청크씩 새로운 음성을 점진적으로 생성합니다.

이라는 이름의 코덱이 음성 쪽 아래에 있습니다. 벤더가 그렇게 부릅니다.Tavec v1.7그리고 여기서 공개된 수치들이 구체화됩니다. 이는 48 kHz 오디오를 코드북 없이 초당 100프레임에서 프레임당 40개의 값으로 구성된 연속 잠재 벡터로 매핑하는 컨볼루션 오토인코더입니다. 디코더는 완전히 인과적이어서 청크 간에 상태를 유지하고 스트리밍된 잠재 벡터로부터 하나의 매끄러운 파형을 생성합니다. 간결함이 핵심입니다: 1분의 음성은 288만 개의 원시 오디오 샘플에 비해 6,000개의 잠재 프레임이며, 이는 자동회귀 트랜스포머가 실시간보다 빠르게 디코딩할 수 있을 만큼 짧게 만드는 이유입니다. Tavus는 2,193배 실시간 디코딩, ViSQOL MOS-LQO 4.242, 그리고 2,842만 개의 디코더 파라미터를 보고하며, 처리량은 H100에서 측정되었습니다. 모두 벤더 보고 기준입니다.

비디오 쪽은 반대 방향에서 같은 지점에 도달한다. Tavus의 초기 모델들은 방대한 3D 사전 정보에 의존했고, 이는 표현할 수 있는 범위를 제한했다. 벤더가 명시한 Griffin의 비디오 생성기 요구사항은 각 입력 오디오 청크에 대한 빠른 응답, 빠르게 변하는 제어에 대한 내성, 그리고 긴 생성 전반에 걸친 안정적인 정체성, 립싱크 및 시각적 품질이다. 그곳으로 가는 경로는 대규모 양방향 다단계 확산 교사 모델의 3단계 증류였다. Distribution Matching Distillation은 빨랐지만 여전히 전체 비디오를 한 덩어리로 생성하는 몇 단계짜리 학생 모델을 만들어냈다. Teacher forcing은 그 학생을 한 번에 하나의 잠재 표현을 생성하는 자기회귀 모델로 변환했다. Self-Forcing은 그런 다음 자체 생성 이력으로 이를 훈련했으며, 이력 프레임에 작용하는 추가 메커니즘을 통해 긴 롤아웃이 표류하지 않도록 했다. 이것이 이 부류의 모델이 보통 가지는 실패 모드, 즉 몇 분 동안 이어지는 대화에서 얼굴이 저하되거나 배경이 흘러다니는 현상이다.

무엇이 측정되었고, 누구에 의해 측정되었는가

위의 거의 모든 숫자는 Tavus가 Tavus를 측정한 것이다. 예외는, 그리고 그것이 무게를 갖는 이유는, NVIDIA의 VideoFDB다 — NVIDIA가 구축한 전이중 오디오·비주얼 대화 벤치마크이며, NVIDIA는 공개된 지표와 자체 심사자를 사용해 독립적으로 수행한다고 밝힌다. 이는 모델을 생성과 인식이라는 두 트랙에서 평가하며, 각 트랙은 자체 평가 기준과 자체 리더보드를 갖추고 있고, 0~5점 척도를 사용한다.

• 생성 — 사용자 스트림의 동적 이벤트에 대한 응답으로 에이전트가 오디오와 비디오를 함께 생성한 결과입니다. Griffin-Lite는 인간 정답 참조인 3.92에 대비해 3.83점을 기록했습니다. 그다음으로 높은 시스템은 2.80점을 기록했습니다. 모델이 언제 말할지에 대한 결정이 참조 대화의 타이밍과 얼마나 밀접하게 일치하는지를 측정하는 테이크오버율 정렬은 Griffin-Lite의 경우 62.8%, 인간 참조의 경우 78%였으며, 타이밍 수치는 1,892 ms였습니다.

• 지각(Perception) — 시청각 입력, 오디오 출력, 에이전트가 그 순간을 정확히 읽었는지 채점. Griffin-Lite는 인간 기준 4.20 대비 3.73점을 기록했으며, 테이크오버율 정렬도 73.8%, 타이밍은 2,232ms였습니다. Tavus는 이를 평가된 15개 모델 중 벤치마크에서 가장 지각력이 뛰어난 모델이라고 설명합니다.

누구든 그 수치들을 반복하기 전에, 그 수치들에는 두 가지 유의점이 붙어야 한다. 지각 트랙에서 가장 가까운 베이스라인은 MiniCPM-o 4.5가 3.44로 기재되어 있지만, 그것은 오디오 전용(A2A) 행이다. 같은 시스템의 전체 오디오-비주얼 행은 3.40이다. Griffin은 비디오를 읽으므로, 정직한 비교는 오디오-비주얼 행들을 상대로 해야 한다. 그러면 격차는 0.29가 아니라 0.33이 되며, 그 격차가 측정하는 것의 일부는 그저 눈이 있다는 것의 가치일 뿐이다. 그리고 언어 모델이 채점한 5점 척도에서 인간 참조값과의 0.09점 격차는 "인간 수준"이라기보다 "이 루브릭에서는 인간에 가깝다"로 읽는 편이 낫다.

또 다른 핵심 수치는 Tavus 자체에서 나온 것이다. 회사가 진행한 연구에서, 독립적인 연구 플랫폼을 통해 모집된 참가자들은 1분간의 화상 통화를 위해 다른 참가자와 연결될 것이라고 들었다. 그들의 파트너는 Griffin-Lite를 구동하는 PAL이었다. 54명의 참가자 중 26명, 즉 48%가 자신의 파트너가 실제 사람이라고 믿었다. 동일한 프로토콜에서 Phoenix-4.5, Raven-1, Sparrow-2로 구축된 회사의 이전 스택은 2.4%, 즉 41명 중 1명의 결과를 냈다. 두 그룹 모두 확신했다: 실제 사람이라고 답한 쪽은 79%, AI라고 답한 쪽은 81%였다. 절반 이상은 그 가능성을 전혀 떠올리지 않았다고 말했고, 의심한 사람들은 대부분 처음 20초 안에 의심했다. 7점 척도에서 이 모델은 자연스러움 5.4, 신뢰할 만함 5.6, 다시 대화하고 싶음 5.8, 경청받는 느낌 5.5, 대화가 자연스럽게 흘러갔는지 4.9(다섯 항목 중 가장 낮음)의 평균 점수를 받았다.

그 연구는 프로토콜이 설명되어 있고 표본 크기가 명시된, 공급업체가 수행한 연구로, 이는 대부분의 모델 출시가 제공하는 것보다 많고 독립적인 재현보다는 적습니다. 제3자가 대면 프로토콜을 재현한 적은 없으며, Tavus Griffin은 독립적인 비디오 모델 리더보드에 등재된 항목이 없습니다. 두 개의 VideoFDB 트랙 점수는 이 페이지에서 Tavus 외의 조직이 산출한 유일한 수치입니다.

접근성과 가격: 오늘날 존재하는 것

이 섹션은 페이지에서 가장 짧습니다. 거의 아무 내용도 없기 때문입니다. 공급업체 자체 자료에 게시된 내용은 다음과 같습니다:

• 상태 — Griffin-Lite는 연구 프리뷰이며, Tavus는 현재 고객용으로는 제공되지 않지만 일부 신뢰할 수 있는 테스터에게는 제공된다고 밝혔습니다.

• 액세스 — 요청 양식을 통해, 더 유능한 모델의 보다 폭넓은 공개는 다음과 같이 설명됩니다.

• 플랫폼 — 공급업체 자신의 마무리 문구에 따르면 Griffin은 아직 Tavus 플랫폼에 없으며, 회사가 이를 안전하게 출시할 방법을 강구하면 출시될 예정이다.

• 가격 — 공개된 정보 없음. Tavus의 가격 페이지는 PAL 제품과 Phoenix, Raven, Sparrow 스택을 다루고 있으며, Griffin에 대해서는 아무것도 언급하지 않고, 벤더 사이트 어디에도 분당, 초당 또는 요청당 요금 수치가 없다.

• 엔드포인트 및 식별자 — 없음. Griffin은 Tavus의 API 문서 색인에 나타나지 않으며, 해당 모델 페이지에서는 얼굴 렌더링용 Phoenix, 인식용 Raven, 턴테이킹용 Sparrow를 문서화합니다. 호출할 모델 문자열이 없습니다.

공급업체는 자사가 설명한 안전 작업이 해결된 후 곧 Griffin을 출시할 것으로 예상한다고 밝힙니다. 이는 밝힌 의도일 뿐 날짜는 아니며, 이 주제에 관한 유일한 미래 전망 발언입니다.

Tavus Griffin이 적합하지 않은 용도

벤치마크 결과와 릴리스 상태 사이의 간극이 이 페이지의 실질적인 내용이므로, 이 모델이 현재 사용될 수 없는 부분들에 대해서는 솔직하게 말할 가치가 있습니다.

이번 분기에 고객 대상 경로를 구축할 만한 대상이 아니다. 배포에는 모델 식별자, 가격, 속도 제한, 리전 관련 설명, 그리고 어떤 형태의 가용성 약속이 필요하지만, 그중 어느 것도 존재하지 않는다. 오늘날 Griffin을 기준으로 계획하는 팀은 요청 양식을 기준으로 계획하는 것이다.

그것은 비디오 생성기가 아니며, 숫자만 믿고 클립 파이프라인에 투입해서도 안 됩니다. 그 점수는 자체 평가 기준과 자체 판정자를 갖춘 전이중 대화 하네스에서 나온 것이고, 비디오 모델 리더보드는 프롬프트에 대한 쌍대 선호도로 짧은 클립을 채점합니다. 두 도구는 비교 가능한 수치를 산출하지 않으므로, 이는 Tavus Griffin이 동일한 노력과 하네스에서 어떤 비디오 모델과도 일대일로 벤치마크된 적이 없으며, 공개된 내용만으로 둘 사이의 순위를 추론해서는 안 된다는 뜻입니다.

공급업체 스스로의 설명에 따르면, 아직 이를 공개적으로 출시하는 것은 안전하지 않습니다. Tavus는 Human Interaction Model을 더 나은 인터페이스로 만드는 바로 그 속성들이 그것이 AI가 아니라고 사람을 믿게 속이는 데에도 더 뛰어나게 만들며, 추가적인 정렬 및 안전 작업이 필요하고, 공개 기능과 외부 안전 평가가 진행 중이라고 씁니다. 실제 라이브 표본의 거의 절반이 AI인지 구분하지 못했고, 구분한 참가자들은 대부분 20초 안에 알아냈다는 점을 고려하면, 공개 문제는 이 모델에 대한 각주가 아니라 — 이 모델을 내보낼 수 있는지를 가르는 관문입니다.

오늘 구매할 수 있는 것은 그 주변 스택의 나머지입니다. 대화형 비디오 파이프라인은 하나의 사슬입니다 — 음성 인식, 언어 모델, 음성 합성, 그리고 그것을 얼굴로 만들어 주는 렌더링 계층 — 그리고 앞의 세 가지는 범용 상품이며, 상호 교체 가능하고, 이미 라우팅이 가능합니다. 이들은 OrcaRouter의 하나의 OpenAI 호환 엔드포인트 뒤에서 실행되며, 단일 키로 200개 이상의 모델, 공급자 정가를 0% 마크업으로 그대로 전달하므로 벤더 가격 변경이 계약 주기를 거친 뒤가 아니라 같은 날 반영되고, 공급자가 성능이 저하될 때 경로를 재지정하는 자동 페일오버 — 이는 배치 작업보다 실시간 통화에서 더 중요합니다. 실패가 귀로 들리기 때문입니다 — 와 함께 어떤 모델이 무엇을 처리해야 하는지 표현하기 위한 라우팅 DSL, 그리고 출력을 결합하기 위한 모델 퓨전이 제공됩니다. 생성 계층은 아직 연구 프리뷰 단계인 부분이고, 그 위의 계층들은 팀이 지금 조립할 수 있는 부분입니다. Tavus Griffin은 OrcaRouter의 실시간 모델 목록에 나타나지 않는데, 이는 공개된 엔드포인트도, 라우팅할 식별자도 없는 모델과 일치합니다.

이 페이지를 바꾸려면 무엇이 필요할까요

세 가지다. 그리고 그것들은 지켜볼 만큼 구체적이다. 모델 문자열과 가격이 포함된 모델 카드는 Tavus Griffin을 연구 결과에서 조달 질문으로 옮겨 놓을 것이다. 대면 프로토콜의 독립적 재현, 즉 두 번째 연구소가 자체 참가자들과 함께 동일한 1분 통화를 실행하는 것은 48%에 대해 어떤 추가 벤더 연구보다도 더 큰 기여를 할 것이다. 그리고 Tavus 외부의 누군가가 내놓는 장기 세션 보고서는 이 아키텍처가 기반으로 삼고 있지만 어떤 벤치마크도 다루지 않는 단 하나의 주장, 즉 Self-Forcing과 히스토리 프레임 메커니즘이 정말로 몇 초가 아니라 몇 분 동안 이어지는 대화에서 얼굴과 배경을 함께 유지하는지를 시험할 것이다. 그중 하나가 나오기 전까지는 두 개의 VideoFDB 트랙이 이용 가능한 가장 강력한 증거이며, 생성에서는 인간과 0.09점, 인식에서는 0.47점의 격차를 동반한다.