Eleven Realtime v1 Max vs SeedRealtime: 하나는 가격과 6개 벤치마크를, 다른 하나는 데모를 내놨다

Eleven Realtime v1 Max는 문서화된 엔드포인트, 공개된 벤치마크 결과 6개, 오디오 1시간당 4.80달러로 정규화된 비용을 갖춘 호출 가능한 음성 대 음성 모델입니다. SeedRealtime은 2026년 8월 5일 발표된 B​yteDance Seed의 시청각 풀듀플렉스 모델로, API도, 가중치도, 기술 보고서도, 파라미터 수치도, 가격도 없습니다. 이 비교는 시작하기도 전에 결판난 것처럼 보입니다 — 그러다 E​levenLabs의 모델에도 빠진 벤치마크가 하나 있으며, 그 빠진 것이 B​yteDance가 한 번도 공개하지 않은 것과 같은 종류의 증거라는 점을 알아차리게 됩니다. 이 등급의 모델 배후에 있는 문서화된 AI 사고와 에이전트 실패는 다음에 수집되어 있습니다: the OrcaRouter AI Incident Archive. 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그가 포함되어 있습니다.

그것이 이 맞대결의 진짜 모습입니다. 두 모델 모두 발화 순서 전환(turn-taking)이 외부에 덧붙인 음성 활동 감지기가 아니라 모델 내부에 있어야 한다는 주장을 내세워 판매됩니다. 둘 다 오직 대화를 해봐야만 판단할 수 있는 행동을 신뢰하라고 요구합니다. E​levenLabs는 타사 평가 하네스와 시간당 비용 수치로 답했습니다. B​yteDance는 자체 선호도 연구 하나로 답했습니다. 그중 하나는 쓸 만하지만, 어느 쪽도 완전하지는 않습니다.

각각이 실제로 주장하는 것

Eleven Realtime v1 Max는 네 단계를 하나의 네트워크로 통합합니다: 인식, 턴테이킹, 추론, 음성 생성. ElevenLabs의 주장은 이들을 함께 조율하면 캐스케이드가 남기는 이음새—발신자가 말을 멈춘 뒤의 죽은 0.5초, 끼어들기에 겹쳐 말하는 에이전트, 들린 내용과 되돌아 말하는 내용 사이의 간극—을 없앤다는 것입니다. Max는 이 설계에 추론 단계를 추가하며 복잡한 작업과 다단계 도구 호출에 맞춰져 있습니다. 그 형제 모델인 Eleven Realtime v1 Mini는 저렴한 대화형 변형이며, 모든 새로운 ElevenAgents 에이전트가 기본으로 받는 모델입니다.

SeedRealtime는 모달리티에서는 더 나아가고 그 외의 모든 것에서는 덜 나아갑니다. B​yteDance의 모델은 오디오, 비디오, 텍스트를 단일 엔드투엔드 아키텍처로 통합하여, 비전 모델을 ASR 모델에, 다시 언어 모델에, 다시 음성에 연결하는 대신 한 번에 보고, 듣고, 말할 수 있습니다. 시연된 행동들은 두 가지 모달리티 시스템이 만들어낼 수 없는 것들입니다: 시끄러운 그룹 대화에서 목소리를 얼굴에 결합하여 모델이 누가 무엇을 말했는지 추적하게 하고, 대상 객체가 프레임에 들어오면 스스로 말을 꺼내며, 박물관 가이드 및 기기 수리 시나리오처럼 모델이 당신이 보고 있는 것을 볼 필요가 있는 경우입니다.

오디오+비디오는 오디오+텍스트보다 더 어려운 문제이며, SeedRealtime은 더 어려운 쪽에 도전하고 있습니다. 이 글의 나머지 부분에서 왜 아직도 이를 사용할 수 없는지 설명하기 전에, 이 점은 분명히 짚고 넘어갈 가치가 있습니다.

정직하게 따져본 증거

Artificial Analysis는 이 범주에 속한 모델들을 대상으로 음성 추론 테스트와 대화 역학 테스트를 모두 실행합니다. Eleven Realtime v1 Max에서는 두 테스트를 모두 실행했습니다. SeedRealtime에서는 실행하지 않았으며, 실행할 수도 없습니다 — 호출할 엔드포인트가 없습니다.

• 음성 추론(Big Bench Audio) — Eleven Realtime v1 Max 98.8% vs SeedRealtime 미공개

• 대화 역학(Full-Duplex-Bench) — 최대 94.1%, SeedRealtime 대비는 미공개

• 작업 성공률 — 최대 87.1% vs SeedRealtime 미공개

• 아레나 선호도(Elo) — Max 997 대 SeedRealtime 미공개

• 에이전트 성능 (τ-Voice) — Max는 측정되지 않음 vs SeedRealtime은 미공개

• 첫 오디오까지 걸리는 시간 — 최대 0.57s vs SeedRealtime은 밀리초 단위 지연 수치 없음

• 입력 오디오 시간당 비용 — Max $4.80 대비 SeedRealtime 상업용 제공 없음

• 입력 모달리티 — Max: 오디오 및 텍스트 vs SeedRealtime: 오디오, 비디오 및 텍스트

SeedRealtime가 앞서는 유일한 행은 아무도 살 수 없는 행이다. B​yteDance가 공개한 유일한 수치는 SeedRealtime이 ASR+비전+T​TS를 캐스케이드로 연결한 시스템의 대화 템포 문제를 절반으로 줄인다고 주장하는 엔드투엔드 인간 평가다. 끊김이 더 적고, 잘못된 트리거가 더 적으며, 응답이 더 느리고 더 자연스럽다는 것이다. 표본 크기도, 방법론도, 평가자 수도, 밀리초 단위 지연 시간도 없다. 2차 보고서는 팀의 이전 모델보다 유창성이 12% 향상되었다고 언급한다. 이것이 전체 근거의 전부다.

이제 반대편의 솔직한 부분입니다. Max의 τ-Voice 행은 비어 있는데, 이는 Max가 E​levenLabs가 작업 완료를 위해 판매하는 모델이기 때문에 중요합니다. Max의 98.8% 추론 점수는 도구와 정책 문서가 있는 고객 서비스 통화가 아니라 1,000개의 오디오 질문에서 측정된 것입니다. 따라서 E​levenLabs에는 여섯 개의 숫자와 빈틈이 있는 반면, B​yteDance에는 하나의 숫자와 엔드포인트가 없습니다 — 실패 모드는 다르지만 근본 상황은 같습니다. 각 모델이 마케팅되는 대상은 각 모델이 측정된 대상이 아닙니다.

왜 아키텍처가 매치업보다 더 중요한가

1년 전만 해도 음성 에이전트는 위에 오케스트레이터가 얹힌 파이프라인이었습니다. 누군가는 사용자가 말을 멈춘 시점을 판단하고, 전사 텍스트를 언어 모델로 라우팅하고, 토큰을 기다린 뒤, 그 텍스트를 마치 대화의 일부였던 것처럼 들려야 하는 합성기로 넘겨야 했습니다. 모든 단계는 지연을 더했고, 모든 핸드오프는 이음새를 더했습니다.

두 모델 모두 '이음새'가 문제라는 데 걸고 있다. Eleven Realtime의 해법은 듣기, 발화 차례 잡기, 사고, 말하기라는 오디오 측 단계들을 하나의 네트워크로 합치고 모델은 오디오 전용으로 유지하는 것이다. SeedRealtime의 해법은 이들을 합치는 데 더해 시각을 추가함으로써, 모델이 가리키는 손짓만으로 "이것"을 특정하거나 대화 상대가 걸어가 버린 것을 알아차릴 수 있게 하는 것이다.

그 트레이드오프는 스펙에서 분명히 드러난다. Eleven Realtime Max는 0.57초 만에 응답하고 오디오 전용 입력으로 치른 추론 테스트에서 98.8%를 기록한다. SeedRealtime의 주장은 더 넓은 입력, 그리고 암시적으로 턴당 더 많은 컨텍스트다. 그 비용은 시각적 풀듀플렉스를 서비스하기 위해 비용이 많이 든다는 것이며, 이는 소비자 앱이 그것이 출시되는 유일한 곳인 그럴듯한 이유다. 어느 회사도 비교를 정량화할 수 있는 지연 시간 수치를 공개하지 않았고, 둘 중 한 곳만이 제3자가 확인할 수 있는 내용을 공개했다.

존재하지만 이 모델은 아닌 B​yteDance 엔드포인트

이것은 피해야 할 실수입니다. 저지르기 쉽고 발견하는 데 비용이 많이 들기 때문입니다. B​yteDance의 클라우드 부문인 Volcano Engine은 별도의 실시간 음성 제품인 Doubao 실시간 음성 모델 3.0을 문서에서 설명합니다. 이 제품은 콘솔 API 키를 사용해 WebSocket 엔드포인트를 통해 접근할 수 있으며, 16 kHz PCM 또는 Opus 입력과 24 kHz 오디오 출력을 사용하고, 실시간 이벤트 프로토콜을 사용합니다.

그것은 같은 회사의 같은 제품 영역에 있는 개발자 API이며, SeedRealtime이 아닙니다. 오디오 전용입니다: 비디오도, 얼굴 바인딩도, 시각적 그라운딩도 없습니다. 자체 출시 이력을 가진 별개의 모델입니다. B​yteDance의 실시간 음성 API를 찾아 나선 팀들은 그 문서를 발견하고 그것에 맞춰 통합하며, 자신들이 보도에서 다루는 모델을 사용하고 있다고 믿게 될 것입니다. Volcano Engine은 오디오비주얼 모델용 엔드포인트에 대한 날짜를 공개하지 않았습니다. SeedRealtime 접근 권한을 제공한다고 말하는 어떤 목록이든, 그것은 당신에게 다른 무언가를 제공하는 것입니다.

출시할 제품이 있다면 이것이 의미하는 바

이번 분기 프로덕션 작업에서 이 둘 사이에 내려야 할 결정은 없습니다. Eleven Realtime v1 Max는 이제 ElevenAgents 또는 wss://api.elevenlabs.io/v1/convai/realtime의 OpenAI 호환 Realtime API를 통해 호출할 수 있으며, SeedRealtime은 중국의 한 휴대폰 앱 내부에 있는 연구 마일스톤입니다.

실제로 존재하는 결정은 그것을 어떻게 둘러싸고 구축할지입니다. E​levenLabs의 Realtime API는 출시 시 WebSocket 전용이며 — WebRTC는 없습니다 — ElevenAgents와는 별개 제품이므로 전화, WhatsApp, 지식 기반, 가드레일, 모니터링은 플랫폼 쪽에서만 제공됩니다. Max는 인도와 싱가포르 데이터 레지던시 환경에서도 제공되지 않으며, 최소 1,024의 토큰 한도가 필요합니다. 이상하게도 Mini는 인도와 싱가포르를 지원하지만 Zero Retention Mode나 HIPAA는 지원하지 않는데, Max는 미국과 EU에서 이를 지원합니다.

OrcaRouter가 들어맞는 지점은 음성 계층이 아닙니다. 우리는 eleven_realtime_v1_max를 호스팅하지 않으며, 이를 위한 서드파티 엔드포인트도 없습니다. 우리가 호스팅하는 것은 이런 형태의 에이전트가 모델 주변에서 호출하는 모든 것입니다: 하나의 키 뒤에 있는 16개 업스트림 공급자의 209개 모델, 공급자 정가에 마크업 없이, 공급자 오류나 시간 초과 시 자동 장애 조치 포함. 음성 에이전트의 비싸고 가변적인 절반은 검색과 위임하는 추론입니다. 그 절반은 오디오 루프를 건드리지 않고 교체할 수 있으며, 바로 여기서 일주일의 튜닝이 보답합니다.

무엇이 이것을 바꿀까요?

SeedRealtime용 API가 있다면 이것이 진짜 비교가 될 텐데, 그 이유가 영상 때문만은 아니다. 호출 가능한 엔드포인트가 있으면 Artificial Analysis가 이 모델을 다른 모든 모델과 동일한 4부분 하네스에 올릴 수 있고, 그것이 벤더 전반에서 의미 있는 숫자에 도달하는 유일한 경로다. 기술 보고서도 거의 같은 역할을 해낼 것이다.

ElevenLabs 쪽에서 빠진 조각은 Max에서의 τ-Voice 실행입니다. 그것이 나오면, 업계는 마침내 ElevenLabs가 과업 지향 모델로 내세우는 그 모델에 대해 동일 기준으로 비교 가능한 에이전트 수치를 갖게 됩니다. 그때까지 요약은 화려하지 않습니다. 이 두 모델 중 하나는 호출하고, 측정하고, 가격을 매기고, 출시할 수 있지만, 다른 하나는 지켜볼 수만 있으며, 이 두 위치 사이의 격차는 두 모델의 아키텍처 사이의 격차보다 큽니다.