Eleven Realtime v1 Max vs GPT-Live-1: 벤치마크 격차는 ElevenLabs에 불리한 방향으로 벌어진다

Eleven Realtime v1 Max의 보도자료는 Big Bench Audio에서 98.8%와 0.57초 응답 시간을 전면에 내세운다. 두 수치 모두 사실이고 둘 다 동급 최고지만, 비교 대상이 GPT-Live-1인 경우에는 둘 다 핵심을 벗어난다. 프로덕션에서 음성 에이전트의 승패를 가르는 벤치마크는 음성 추론이 아니며, 바로 그 벤치마크에서 OpenAI의 모델은 ElevenLabs가 내세우는 0.7초의 우위를 덮어버릴 만큼 큰 격차로 앞선다.이 등급 모델과 관련해 문서화된 AI 사고와 에이전트 장애는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 플래그가 포함되어 있다.

둘 모두에 동일한 Artificial Analysis 하네스를 실행하면 구분이 명확합니다. Eleven Realtime v1 Max는 음성 추론에서 98.8% 대 89%로, 속도에서 0.57초 대 1.24초로 앞섭니다. G​PT-Live-1은 에이전틱 작업 완료에서 59.3% 대 측정 불가로, 대화 역학에서 97.3% 대 94.1%로, 아레나 선호도에서 1,047 Elo 대 997로, 작업 성공에서 90.9% 대 87.1%로, 종합 지수에서 80.1 대 아무것도 없음으로 앞섭니다.

그 마지막 수치는 수사적 표현이 아니다. Eleven Realtime v1 Max에는 Speech to Speech Index 점수가 없다. 그 지수는 네 가지 구성 요소를 모두 요구하는데, τ-Voice 에이전틱 실행 결과가 이 모델에 대해 아직 공개되지 않았기 때문이다. G​PT-Live-1에는 지수가 있다. 그것은 순위표에서 가장 높은 점수다.

전체 스코어보드, 나란히 보기

별도 표시가 없는 한 모든 행은 Artificial Analysis가 자체 하네스에서 측정한 값입니다. Eleven Realtime 수치는 2026년 10월 20일 발표에서 나온 것이며, G​PT-Live-1의 API 제공은 2026년 9월 10일부터이고, 모델 자체는 7월 8일 ChatGPT에서 출시되었습니다.

• 음성-음성 지수 — Eleven Realtime v1 Max는 점수 미산정, G​PT-Live-1(Sol, low)는 80.1

• 음성 추론(Big Bench Audio) — Max 98.8% 대 G​PT-Live-1 89%

• 에이전틱 성능(τ-Voice) — G​PT-Live-1 59.3% 대비 Max는 측정되지 않음

• 대화 역동성 — 최대 94.1% 대 GPT-Live-1 97.3%

• 작업 성공률 — Max 87.1% vs G​PT-Live-1 90.9%

• 아레나 선호도(Elo) — Max 997 대 G​PT-Live-1 1,047

• 첫 오디오까지 걸리는 시간 — Max 0.57초 vs GPT-Live-1 1.24초

• 입력 오디오의 시간당 비용 — Max $4.80 vs G​PT-Live-1 $4.47

• 전송 — 출시 시 Max WebSocket만 vs G​PT-Live-1 WebRTC만

한 행은 헤드라인이 시사하는 것보다 더 가깝습니다: 비용입니다. 오디오 1시간당 $4.80 대 $4.47은 이 두 모델을 같은 가격대에 놓이게 하며, 이는 Eleven Realtime을 G​emini 3.8 Live의 $0.84와 비교할 때 나오는 이야기와 정반대입니다. O​penAI 비교에서는 E​levenLabs 프리미엄이 7%입니다.

추론 점수가 잘못된 방향을 가리키는 이유

Big Bench Audio는 형식적 오류, 내비게이션, 물체 세기, 불리언 단어 문제 세트의 네 가지 범주에 걸쳐 Big Bench Hard에서 각색한 1,000개의 오디오 질문입니다. 모델은 질문을 듣고 소리 내어 답하며, 답은 맞음 또는 틀림으로 채점됩니다. 이는 모델이 오디오 콘텐츠에 대해 얼마나 잘 추론하는지를 측정하며, 이는 모델이 대화를 얼마나 잘 진행하거나 과제를 완수하는지와는 다릅니다.

Max의 98.8%는 그 순위표에서 StepAudio 3 Realtime(100%)과 Q​wen Audio 3.0 Realtime Plus(99.2%) 뒤, Qwen3.5 Omni Plus Realtime(98.7%)과 G​rok Voice 3.0(98.5%) 앞인 3위입니다. G​PT-Live-1의 89%는 12위입니다. 에이전트의 임무가 긴 음성 설명을 듣고 그에 관한 질문에 답하는 것이라면, 그 9포인트 격차는 의미가 있으며 E​levenLabs가 더 나은 선택입니다.

하지만 ElevenLabs는 그 용도로 Max를 판매하지 않습니다. 자사 페이지에서는 Max를 "복잡한 작업"과 "다단계 도구 사용"에 포지셔닝합니다 — 고객 지원, 리드 자격 검증, 일정 지원. 그것은 τ-Voice의 영역이며, τ-Voice에서는 Max가 수치를 내지 못하고 GPT-Live-1이 59.3%를 기록합니다.

OpenAI의 수치에도 나름의 단서가 필요하며, 그 단서는 OpenAI 자체 문서에 나와 있습니다. 공개된 배포 증거는 빈약합니다. OpenAI가 API 출시 당시 보고한 은행 음성 지원 벤치마크에서 GPT-Live-1의 통과율은 32%였고, GPT-Realtime-2.1은 12.4%였습니다. 32% 통과율은 큰 개선이지만, 여전히 규제 대상 워크플로의 3분의 2에서 시스템이 실패한다는 뜻입니다. Artificial Analysis의 τ-Voice 수치는 공통 하네스에서 실행되기 때문에 더 유용하지만, 이는 중간권 점수일 뿐 왕좌에 오른 것은 아닙니다.

G​PT-Live-1의 우위가 근소한 것이 아니라 구조적인 지점

3.2점의 대화 역학 격차와 아레나 Elo 50점 격차는 E​levenLabs가 선택하지 않은 아키텍처적 결정에서 비롯됩니다. G​PT-Live-1은 엄밀한 의미에서 전이중입니다. 즉, 동일한 타임라인에서 듣고 말하며, 발신자가 실제 작업이 필요한 것을 요청하면 그 작업을 비동기 경계를 넘겨 별도의 백엔드 모델로 넘기고, 그 모델은 음성 대화가 계속되는 동안 계속 사고합니다. 음성 계층은 프런트 엔드입니다. 추론은 다른 곳에서 일어나며 준비되면 다시 합류합니다.

그 설계 덕분에 G​PT-Live-1은 회선이 조용해지지 않으면서 도구 호출을 실행할 수 있고, 이것이 또한 추론 점수가 더 낮은 이유이기도 하다. Big Bench 질문에 답하는 모델은 실제 세션에서 깊은 사고를 하는 모델이 아니다. Eleven Realtime Max는 반대쪽에 베팅한다. 하나의 네트워크가 인식, 턴 테이킹, 추론, 음성을 처리하므로 0.57초를 확보할 수 있고—기다릴 핸드오프가 없으며—발신자가 멈춤을 알아차리기 전에 얼마나 많은 추론이 일어날 수 있는지의 상한을 정한다.

어느 쪽 선택이 옳은지는 지연 시간 예산과 작업 완료 예산 중 어느 쪽이 더 빠듯한지에 달려 있습니다. 일정을 확인하고, 시간대를 확정하고, 기록을 작성해야 하는 스케줄링 에이전트라면 핸드오프 모델이 완료 측면에서 우수합니다. 단숨에 음성 질문에 답하는 튜터라면 병합 모델이 사용감 측면에서 우수합니다.

통합을 결정하는 청구 및 전송 세부 정보

GPT-Live-1은 음성 1분당 $0.05 정액 요금이 초 단위로 청구되며, 세션 초기화 시 15초를 선청구한 뒤 이후 통화 시간에서 차감합니다. 백엔드 추론 모델은 자체 일반 요율로 별도 청구되므로, 저렴한 음성 계층이라도 통화 비용은 비쌀 수 있습니다. OrcaRouter는 음성 계층을 라우팅할 수 없습니다 — v1/live/sessions의 Live Sessions 엔드포인트는 OpenAI 전용입니다 — 하지만 백엔드 절반은 또 하나의 모델 호출일 뿐이며, OrcaRouter에서는 키 하나로 16개 제공업체의 209개 모델을 제공업체 정가로 마크업 없이 제공하며, 선택한 백엔드가 통화 중 오류를 내면 페일오버가 이루어집니다.

Eleven Realtime은 반대로 청구합니다. 표준 ElevenAgents의 분당 요금에 더해 입력, 캐시된 입력, 출력 토큰을 Realtime 모델의 요율로 청구하며, Max는 Mini보다 토큰당 비용이 더 높습니다. 두 모델의 분당 요율은 ElevenLabs 가격 페이지에 공개되어 있지 않습니다. 대시보드에는 추정치가 표시되며, Artificial Analysis의 $4.80은 정가가 아니라 정규화된 수치입니다.

전송 계층이 더 뚜렷한 비대칭이다. Eleven Realtime의 API는 WebSocket을 통해 OpenAI Realtime과 호환된다. 문서 자체의 예제는 @openai/agents-realtime에서 OpenAIRealtimeWebSocket을 가져와 wss://api.elevenlabs.io/v1/convai/realtime을 가리킨다. GPT-Live-1은 WebRTC 전용이며, GPT-Live 모델 ID로 이전 Realtime 경로를 시험하면 세션에 WebRTC가 필요하다는 오류가 반환된다. 따라서 호환성은 한 방향으로만 작동한다. OpenAI Realtime 클라이언트는 엔드포인트 변경만으로 ElevenLabs로 옮길 수 있지만, OpenAI Realtime 클라이언트는 전송 계층을 다시 작성하지 않고는 GPT-Live-1로 옮길 수 없다. GPT-Live-1로 마이그레이션하는 팀은 RTCPeerConnection 핸드셰이크, oai-events 데이터 채널, 서버 측 오퍼 교환을 작성하고 있고, Eleven Realtime으로 마이그레이션하는 팀은 문자열 두 개를 수정하고 있다.

E​levenLabs 측의 롤아웃 주의사항

ElevenLabs의 문서는 어떤 출시 보도에서도 언급하지 않은 제약 사항을 추가합니다:

• 사용 가능 여부 — Realtime 모델은 "점진적으로 출시 중"입니다. Voice mode 설정이 없는 워크스페이스는 API에서 "이 워크스페이스에서는 Realtime 모델을 사용할 수 없습니다"라는 응답을 받습니다.

• 데이터 상주성 — Max는 미국과 EU에서 이용할 수 있지만 인도와 싱가포르에서는 이용할 수 없으며, 해당 지역에서는 Mini만 제공됩니다

규정 준수 — 미국 및 EU에서 Max는 제로 보존 모드와 HIPAA를 지원하며, Mini는 둘 다 지원하지 않습니다.

• 관리형 설정 — Realtime 모델이 설정된 동안 LLM, 추론 강도, 사고 예산, 병렬 도구 호출, TTS 모델, 표현 모드 및 ASR 제공자는 모두 ElevenLabs가 제어하며, 워크플로 노드는 이를 재정의할 수 없습니다

• 사용자 지정 LLM — 에이전트가 사용자 지정 LLM 또는 Amazon Bedrock을 사용하는 동안에는 실시간 모드를 사용할 수 없습니다

G​PT-Live-1 자체의 제약은 한 측면에서는 더 엄격하고 다른 측면에서는 더 느슨합니다. Chat Completions도, Responses도, Realtime 호환 계층도, 파인튜닝도, 이미지나 비디오 입력도 없지만, 등급 한도는 분당 요청 수가 아니라 동시 세션 단위로 책정됩니다 — Tier 1에서는 25에서 Tier 5에서는 500까지 늘어납니다.

누가 무엇을 선택해야 할까요?

GPT-Live-1는 에이전트가 실제 업무를 완료해야 할 때, 즉 예약, 변경, 환불처럼 데이터베이스 쓰기로 끝나는 모든 작업에 선택하세요. 작업 성공률이 더 높고, 아레나 선호도가 더 높으며, 종합 지수가 더 높고 시간당 비용은 더 낮습니다. 또한 두 모델 중 에이전트 점수가 공개된 유일한 모델입니다. WebRTC 재작성과 백엔드 모델의 별도 청구를 위한 예산을 잡아두세요.

Eleven Realtime v1 Max를 선택하세요 대화 자체가 제품이고 추론은 얕은 경우: 튜터, 캐릭터, 불만이 말로 덮이는 지원 라인. 현재 라인업에서 가장 빠른 강력한 추론 모델을 얻고, 기존 OpenAI Realtime 통합에서 가장 간단하게 마이그레이션하며, Gemini 대비 5.7배 프리미엄이 아니라 GPT-Live-1 대비 7% 가격 프리미엄을 지불합니다. 에이전트형 동작이 측정되지 않았고 출시가 아직 부분적이라는 점을 감수합니다.

이 글의 판도를 뒤집을 결과는 Max의 τ-Voice 점수다. ElevenLabs는 추론 벤치마크의 성과를 근거로 자사를 작업 완수형 모델로 신뢰해 달라고 요청하고 있다. 작업 벤치마크는 존재하고, 다른 열 개 음성 모델에서는 실행됐지만, 이 모델에서는 실행되지 않았다. 그것은 모델의 공백이 아니라 증거의 공백이다 — 그러나 두 모델 중 어느 쪽을 유료 고객 앞에 내놓아야 하는지를 결정하는 것은 바로 그 공백이다.