Fish Audio Live 3, 186밀리초 만에 응답한 뒤 통화 내내 말할지 말지를 결정하느라 시간을 보낸다

Fish Audio Live 3는 Fish Audio가 2026-11-10에 발표한 전이중 음성 모델로, 그 핵심 논리는 대부분의 음성 에이전트가 여전히 잘못 이해하는 한 가지 구분에 달려 있습니다. 전화번호 중간의 멈춤은 질문 끝의 멈춤과 같은 사건이 아니라는 점입니다. 이 모델은 말하면서 계속 듣고, Fish Audio에 따르면 단 186밀리초 만에 응답을 결정할 수 있으며, 침묵 임계값 표를 받는 대신 언제 수긍하고, 언제 기다리고, 언제 답하고, 언제 멈출지를 배우기 위해 녹음된 인간 대화로 훈련되었습니다.

마지막 절이 흥미로운 부분이며, 이 글에서 벤치마크를 제시할 수 없는 이유이기도 합니다. Fish Audio는 Live 3에 대한 평가를 공개하지 않았고, 자체 요금표에 이 모델의 바이트당 가격을 명시하지 않았으며, 이를 지칭하는 모델 식별자나 엔드포인트 문서도 내놓지 않았습니다. 하나의 하네스에서 양방향 음성 모델을 평가하는 Artificial Analysis에는 2026-11-11 기준 Live 3 행이 없습니다. 이 보드에는 Fish Audio가 모델 패밀리로 등재되어 있을 뿐, 이 회사의 양방향 작업 중 어떤 것도 점수가 매겨져 있지 않습니다. 186밀리초라는 수치는 벤더가 보고한 것이며 감사를 거치지 않았습니다. 다음 내용에서는 Fish Audio가 문서화한 것과 주장한 것을 구분합니다. 출시 하루 만에 이 둘은 서로 다른 두 묶음이 되기 때문입니다.

전화번호를 망치는 그 잠깐의 멈춤

Fish Audio가 직접 든 구체적 예시는 이번 발표에서 가장 설득력 있는 논거다. 번호를 "415… 555… 0132"처럼 덩어리로 나누어 읽으면, 기존 방식의 에이전트는 이를 세 번의 별도 턴 종료 이벤트로 듣거나, 발신자가 생각 중인 것으로 오해하는 하나의 긴 망설임으로 듣는다. Live 3는 덩어리 사이에 "mm-hmm" 또는 "okay, 415"라고 말한 뒤 나머지를 기다리는 것으로 문서화되어 있다. 이 확인 응답은 두 가지 역할을 동시에 한다. 숫자가 제대로 전달되었음을 확인해 주고, 발신자가 숨을 고르고 다음 몇 자리를 확인한 뒤 계속 말할 수 있도록 발언권을 열어 둔다.

같은 문제에서 더 어려운 절반은 반대되는 오류입니다. 에이전트가 영업시간을 읽어 주고 있는데 발신자가 자신이 잘 따라오고 있음을 보이려고 "네" 또는 "음-흠"이라고 말하면, Live 3는 멈추지 않고 계속 진행하는 것으로 문서화되어 있습니다. 그러다 발신자가 "잠깐, 사실 저는 목요일만 필요해요"라고 말하면 멈추고 자리를 비켜 줍니다. Fish Audio의 설명에 따르면 모든 소리가 방해인 것은 아니며, 모델은 개발자가 사람이 낼 수 있는 모든 소리를 일일이 열거하지 않고도 맞장구(백채널)와 발화 장악을 구분해야 합니다.

세 번째 사례는 발화 도중의 정정입니다: "피자 두 판 주세요… 아니, 세 판. 큰 걸로 세 판. 그리고… 사실, 그중 하나는 마르게리타로 해주세요." 첫 번째 그럴듯한 완결 주문에 반응하는 파이프라인은 잘못된 주문을 두 번 넣습니다. Live 3은 각 수정을 기다리는 것으로 문서화되어 있습니다. 지원 전화, 예약, 주문에는 바로 이런 일이 가득하며, 이것이 Fish Audio의 CEO가 지연 시간 수치 대신 언어학적 비유를 꺼낸 이유입니다.

"지금까지의 해결책은 더 많은 규칙과 더 많은 임계값이었습니다."라고 Fish Audio의 공동 창립자 겸 CEO인 리사 카오는 말했습니다. "우리는 모델이 언어 모델이 문법을 배우는 것과 같은 방식으로 실제 대화에서 이것을 배워야 한다고 생각합니다."

Fish Audio가 실제로 문서에 남긴 내용

마케팅 문구를 걷어내면, Live 3에서 공개된 범위는 전부 나열할 수 있을 정도로 짧다. 아래의 모든 내용은 Fish Audio의 발표 또는 문서에서 가져온 것이며, 여기서 독립적으로 측정된 것은 아무것도 없다.

• 반응 시간 — Fish Audio는 이 모델이 완전한 답변보다는 "음음", "오케이" 및 빠른 확인과 같은 짧은 반응의 맥락에서 최소 186밀리초 만에 응답하기로 결정할 수 있다고 밝힙니다.

• 아키텍처 — 전이중. 말하는 동안에도 듣기 때문에 숫자 중간에 확인 응답이 가능합니다.

• 학습 신호 — 실제 사람 간 대화로, 턴테이킹 행동을 구성하는 대신 학습합니다. 데이터셋 크기, 시간, 평가 세트는 공개되지 않습니다.

• 언어 — 출시 시점에는 영어만 지원하며, 이 사실을 공지에서 분명히 밝힙니다.

• 배포 — Fish Agent Platform, Fish Audio 자체 API, 그리고 엔터프라이즈 고객을 위한 온프레미스 배포.

• 가격 — 공개되지 않음. Fish Audio의 요금표에는 drama-3, s2.1-pro, s2.1-pro-free, s2-pro, s1과 세 가지 ASR 모델, voice-design-1이 나열되어 있습니다. Live 3는 여기에 없습니다.

발표문 자체는 끝까지 읽어 볼 가치가 있습니다. 동작에 관해서는 이례적으로 구체적이면서 숫자에 관해서는 이례적으로 말이 없기 때문입니다.

여기에는 세 개의 오디오 발췌가 함께 제공됩니다 — 한 발신자는 멈춤을 두고 세부 사항을 덧붙이고, 한 발신자는 메뉴 목록에 끼어들며, 한 발신자는 상담원이 주문을 다시 읽는 동안 "음-흠"이라고 말합니다 — 그리고 각각은 서로 다른 각도에서 같은 행동 주장을 보여줍니다. 그중 어느 것에도 전사 수준의 점수는 붙어 있지 않으며, 발표문도 그런 점수를 주장하지 않습니다.

Live 3 에이전트는 무엇으로 구성되는가

Live 3는 더 큰 제품의 음성 레이어이며, 통합 작업은 그 제품의 나머지 부분에 있습니다. Fish Audio는 현재 공개 베타 중인 호스팅형 Agent Platform을 운영하며, 이 플랫폼은 /v1/agent/* 아래에 REST 인터페이스와 JavaScript 및 React용 클라이언트 SDK를 제공합니다. 에이전트는 웹 위젯, 전화번호 또는 사용자 지정 클라이언트에 연결할 수 있으며, 세션은 브라우저에 있는 장기 수명 키가 아니라 세션 토큰으로 인증됩니다. 플랫폼이 오디오 경로를 처리하므로, 지시사항과 도구, 워크플로는 사용자가 제공하면 됩니다.

이 위에 무언가를 구축하는 사람에게 중요한 부분은 커스텀 LLM 훅입니다. Fish Audio는 에이전트의 추론 계층이 OpenAI 호환 엔드포인트를 가리키도록 허용하는데, 이는 사고를 담당하는 모델이 반드시 벤더의 것일 필요는 없다는 뜻입니다. 이는 의도적으로 낸 이음새이며, 바로 그 이음새가 라우팅 계층이 있어야 할 자리입니다. OrcaRouter는 그 엔드포인트 뒤에 위치하여 동일한 키로 216개 모델을, 공급자 정가에 마크업 없이 제공하고 공급자 오류 시 자동 페일오버를 지원합니다 — 따라서 Live 3 에이전트 내부의 플래너는 음성 계층이나 전화번호를 건드리지 않고도 교체하고, 실제 통화 녹취록으로 A/B 테스트하고, 다시 지정할 수 있습니다. 라우팅 DSL이 어떤 모델이 어떤 통화를 맡을지 결정하며, 모델 퓨전을 통해 저렴한 모델이 초안을 작성하는 동안 더 강력한 모델이 도구 호출을 실행 전에 검토할 수 있습니다. 경계를 분명히 하자면: OrcaRouter는 Fish Audio Live 3를 호스팅하지 않습니다. 이를 위한 서드파티 엔드포인트는 없으며, 여기의 음성 계층은 벤더 자체의 것입니다.

플랫폼은 에이전트가 자체 전화번호, 도구 및 세션 수명 주기를 부여받는 곳입니다.

무엇이 그것을 해결할까요?

세 개의 숫자만 있으면 이것이 주장에서 데이터 포인트로 바뀔 텐데, 그중 어느 것도 아직 존재하지 않는다.

• Live 3의 바이트당 또는 분당 가격, 그래야 10분 통화 비용을 그것이 대체하는 캐스케이드와 비교할 수 있습니다. 이것이 마련되기 전까지 Live 3 배포의 총비용 추정치는 소수점이 붙은 추측일 뿐입니다.

• 바닥값이 아니라 지연 시간 분포입니다. "최소 186밀리초"는 짧은 반응의 빠른 꼬리를 설명합니다. 전체 답변에 대한 첫 오디오까지의 시간은 발신자가 에이전트의 말을 끊고 겹쳐 말할지 여부를 결정하는 수치이며, Fish Audio는 이를 공개하지 않았습니다.

• 독립적인 턴테이킹 점수. Artificial Analysis는 Full-Duplex-Bench와 duplex 모델에 대한 τ-Voice 에이전틱 테스트를 실행하며, 둘 다 이 시장의 다른 duplex 모델들에 대해 게시된 행과 직접 비교 가능할 것입니다. 어느 보드든 Live 3 행이 있다면, 발표문이 산문으로 답하는 내용을 하나의 표로 답할 수 있을 것입니다.

한편, 솔직한 해석은 이렇습니다. Fish Audio가 선택한 문제는 실재하며 아직 충분히 해결되지 않고 있고, 제시된 사례들은 적절하며, 이 모델은 그 자체로 아직 베타인 플랫폼을 통해 실제 사용자에게 제공되고 있습니다. 오늘날 여러분의 에이전트 실패 모드가 발신자의 말을 끊고 덮어쓰는 것이라거나 발신자가 숫자 열을 두 번 반복해야 하는 것이라면, Live 3는 바로 그 지점을 겨냥하고 있습니다 — 그리고 배포 후 가장 먼저 계측할 것은 지연 시간이 아니라 발신자가 처음부터 다시 시작해야 하는 빈도입니다.