Eleven Realtime v1 Max vs Sesame Preview: 귀를 사로잡는 목소리, 작업에서는 진다

누군가에게 어떤 음성 비서가 가장 사람처럼 들리느냐고 물으면 S​esame Preview라는 답을 듣게 될 것입니다. 기업이 전화번호 뒤에 둘 수 있는 모델이 무엇이냐고 물으면 답은 Eleven Realtime v1 Max입니다. 이 모델은 2026년 10월 20일 발표된 음성 대 음성 모델로, 고정 평가에서 작업의 87.1%를 해결하고 0.57초 만에 응답하며 ElevenAgents 또는 O​penAI 호환 Realtime API를 통해 이용할 수 있습니다. S​esame Preview는 네 명의 이름이 지정된 컴패니언이 있는 소비자 앱이며 그 안의 음성을 구매할 방법은 없습니다. 이 등급의 모델들 배후에 있는 문서화된 AI 사고와 에이전트 실패는 다음 자료에 수집되어 있습니다: OrcaRouter AI Incident Archive. 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그가 포함되어 있습니다.

그것은 압도적인 승리는 아니다. 두 제품이 서로 다른 것을 추구하고 있고 S​esame의 음성에 대한 명분이 실제로 있기 때문이다. S​esame의 연구자들은 대화의 타이밍—'음-흠' 하는 맞장구, 말이 겹치는 것, 문장 중간에 발언권을 넘기려는 의지—이 음색이 아니라 언캐니 밸리라는 생각을 일찍부터 공개적으로 내세웠다. E​levenLabs의 문서는 같은 베팅을 반대 방향에서 한다. Mini는 화자가 말을 끝낸 것인지 단지 끼어드는 중인지 감지하는 것으로 설명된다. 두 연구소, 하나의 테제, 상반된 비즈니스 모델.

비교가 흥미로워지는 지점은 각각이 실제로 무엇을 측정했는가에 있다. E​levenLabs는 여섯 개의 숫자와 평가 파트너를 공개한다. S​esame는 경험을 공개한다.

각각이 무엇인지, 정확히

Eleven Realtime v1 Max는 인식, 턴테이킹, 추론, 음성 생성을 하나로 수행하는 단일 네트워크로, 다단계 도구 활용이 필요한 복잡한 작업, 즉 고객 지원, 리드 자격 심사, 일정 조율 지원에 맞춰져 있습니다. 저렴한 형제 모델인 Eleven Realtime v1 Mini는 새로운 ElevenAgents 에이전트의 기본값이며, 더 낮은 비용으로 자연스러운 대화를 구현하는 것을 목표로 합니다. Max는 두 가지 방식으로 사용할 수 있습니다. ElevenLabs가 LLM, TTS 모델, ASR 제공자, 추론 설정을 대신 관리해 주는 ElevenAgents 드롭다운에서 선택하거나, WebSocket을 통해 OpenAI의 Realtime 이벤트 프로토콜을 사용하는 Realtime API를 통하는 방식입니다 — wss://api.elevenlabs.io/v1/convai/realtime.

S​esame Preview는 무료 소비자용 음성 어시스턴트입니다. Maya, Miles, Simone, Charlie라는 네 명의 이름 붙은 에이전트가 iOS와 웹에서 제공되며, 이를 사용해 본 거의 모든 사람이 시장에서 가장 자연스러운 음성 어시스턴트라고 평가합니다. 세션이 바뀌어도 맥락을 유지하고, 웹을 검색하며 알림을 설정합니다. 예약하거나 구매하거나 서류를 제출하지는 않습니다. 엔터프라이즈 등급도, 공개된 가격도, 앱에서 들리는 음성에 대한 공개 API도 없습니다.

둘 다 전이중 대화형 시스템이며, 말차례 전환이 사람들이 알아차리지 못할 만큼 충분히 자연스럽습니다. 바로 그 지점에서 유사성은 끝나고, "어느 쪽이 더 나은가"라는 질문도 더 이상 단일한 답을 갖지 않게 됩니다.

그중 하나가 가지고 있는 숫자들

Artificial Analysis는 모든 음성 대 음성 모델에 적용하는 것과 동일한 하네스로 Eleven Realtime v1 Max를 독립적으로 평가했습니다. 이 수치는 ElevenLabs의 것이 아니라 Artificial Analysis의 것입니다:

• 음성 추론(Big Bench Audio) — 최대 98.8%

• 대화 역동성(Full-Duplex-Bench) — 최대 94.1%

• 작업 성공률 — 최대 87.1%

• 아레나 선호도(Elo) — 최대 997

• 첫 오디오까지 걸리는 시간 — 최대 0.57초

• 입력 오디오 시간당 비용 — 최대 $4.80

• 에이전틱 성능(τ-Voice) — Max 미측정

• Speech to Speech Index — Max 미채점

S​esame Preview는 이 행들 중 어디에도 나타나지 않습니다. 공개 API가 없어 독립적인 하네스가 이를 실행할 수 없고, 이 앱 자체의 동작은 S​esame 외부의 누구에 의해서도 작업 완료나 지연 시간 측면에서 벤치마크된 적이 없습니다. 사람들이 S​esame이 더 좋게 들린다고 말할 때, 그들은 청취 인상을 보고하는 것이며 그것은 정당한 인상입니다 — 다만 방법론과 선호도 모델을 갖춘 아레나에서의 측정과는 같은 측정이 아닐 뿐입니다.

그건 양쪽으로 다 적용되는 이야기입니다. 997이라는 아레나 Elo는 실제 청취자들이 매긴 실제 수치이며, 이 수치에 따르면 Max는 G​rok Voice 3.0의 1,064, G​PT-Live-1 (Sol, low)의 1,047, G​emini 3.8 Live의 1,078보다 뒤처집니다. E​levenLabs는 추론 및 속도 항목에서 이기지만 선호도 항목에서는 이기지 못합니다. S​esame의 목소리가 Max의 목소리보다 낫다는 쪽으로 직감이 기운다면, 아레나 결과는 그 직감과 일치합니다 — 다만 그 결과는 S​esame이 아니라 다른 API 모델들을 상대로 측정되었을 뿐입니다.

오픈 웨이트 문제, 바로 대부분의 비교가 잘못되는 지점

Sesame의 음성을 칭찬하는 모든 글은 앱을 칭찬하는 것이며, 그 앱의 음성은 Sesame이 엔드포인트로 한 번도 공개한 적 없는 폐쇄형 프로덕션 모델입니다. Sesame이 오픈소스로 공개한 것은 Apache-2.0 라이선스의 Moshi 계열 1B 대화형 음성 모델인 CSM-1B입니다. 이는 어시스턴트가 아니라 합성 블록입니다. Llama 백본이 첫 번째 Mimi 코드북을 예측하고, 더 작은 Llama 디코더가 나머지를 예측하며, Mimi 코덱이 이를 24 kHz 파형으로 바꿉니다. 영어 우선 모델이며, 짧은 참조 클립으로 음성을 복제하고, 텍스트는 전혀 생성할 수 없으므로 별도의 언어 모델과 함께 사용해야 합니다.

둘 다 실행해 본 사람들은 CSM-1B의 음성이 Preview 앱의 음성보다 확연히 약하다고 설명하며, Sesame 자체의 모델 카드도 그런 해석을 뒷받침합니다: CSM을 파인튜닝한 변형이 대화형 데모를 구동하며, 그 변형은 다운로드할 수 있는 체크포인트가 아닙니다.

그래서 “Sesame vs ElevenLabs”에 대한 솔직한 설명은 이렇습니다. Sesame에는 호출할 수 없는 아름다운 폐쇄형 보이스가 있고, 호출할 수 있는 작은 오픈 합성 블록이 있으며, 이 둘은 같은 모델이 아닙니다. ElevenLabs에는 음성이 측정 가능할 정도로 좋지만 가장 선호되지는 않는 호출 가능한 모델과 가격이 있습니다. 빌더에게 중요한 비대칭성은 어느 쪽이 더 좋게 들리는가가 아니라 어느 쪽에 엔드포인트가 있느냐이며, 그 차이는 접전이 아닙니다.

프로덕션에서 병합이 나타나는 위치

E​levenLabs의 주장은 인식, 발화 순서 조정, 추론, 음성을 하나의 조율된 시스템으로 통합하면 연쇄 방식이 남기는 이음새가 사라진다는 것이다.

ElevenAgents에서 이 병합은 문자 그대로 이루어지며 대가가 따릅니다. Realtime 모델이 설정되어 있는 동안 LLM, 추론 강도, 사고 예산, 병렬 도구 호출, 캐스케이드 타임아웃, TTS 모델, 표현 모드, ASR 제공자는 모두 ElevenLabs가 관리하며 에이전트에서는 무시됩니다. 워크플로 노드는 이를 재정의할 수 없고, 에이전트는 사용자 지정 LLM이나 Amazon Bedrock을 전혀 사용할 수 없습니다. 모델을 선택하면 그 아래의 전체 스택을 선택하는 것입니다.

컴플라이언스 매트릭스는 여러 지역에 걸쳐 이를 도입하는 사람들을 놀라게 할 정도로 불균형합니다:

• 데이터 레지던시 — Max는 미국과 EU에서 운영되지만 인도와 싱가포르에서는 운영되지 않으며, 해당 지역에서는 Mini만 제공됩니다

• 제로 보존 모드 및 HIPAA — Max는 미국과 EU에서 지원되며, Mini는 두 지역 모두에서 지원되지 않습니다

• 토큰 한도 — Max는 1,024토큰 또는 제한 없음을 요구하며, 워크플로 노드에서는 이를 재정의할 수 없습니다

• 상담원 전환 — Realtime 모드 상담원은 다른 Realtime 모드 상담원과만 전환할 수 있지만, Mini에서 Max로의 전환은 허용됩니다

• 전송 — 출시 시 WebRTC 미지원; Realtime API는 WebSocket만 지원

이러한 규칙은 저장 시점이 아니라 게시 시점에 적용됩니다. 규칙을 위반한 초안도 저장은 문제없이 되지만, 게시할 때 해당 설정을 지목하는 오류와 함께 실패합니다. 프로토타이핑 중이라면 이는 사소한 불편입니다. 규제 대상 큐에 배포하는 경우에는 어떤 환경에서 어떤 변형을 사용할 수 있는지를 결정하며, 더 저렴한 옵션이 항상 규정을 준수하는 옵션은 아닙니다.

어떤 것이 당신의 스택에 어울리나요?

Eleven Realtime v1 Max를 선택하세요 음성이 목적을 위한 수단이고 통화가 결과를 내야 할 때 — 지원 트리아지, 일정 예약, 자격 심사 같은 경우입니다. 오늘 바로 엔드포인트를 얻을 수 있고, Realtime 통합에서 마이그레이션할 때 문자열 두 개만 바꾸면 되게 하는 OpenAI 호환 이벤트 프로토콜, 측정된 87.1% 작업 성공률, 보드에서 가장 빠른 강력한 추론 모델, 그리고 오디오 1시간당 $4.80으로 모델링할 수 있는 가격을 제공합니다. 아직 출시가 진행 중이고, 에이전트적 행동은 측정되지 않았으며, 음성이 선호도 아레나에서 최상위를 차지하지는 않는다는 점을 받아들이세요.

Sesame 미리보기는 대화의 품질이 어떤 느낌이어야 하는지 연구할 때, 또는 대화 자체가 곧 제품인 소비자 제품을 만들 때 선택하세요. 무료이고, 대부분의 사람이 시험해 본 것 중 가장 듣기 좋은 품질을 자랑하며, 자신의 기준을 조정하는 훌륭한 방법입니다. 다만 이를 중심으로 통합을 계획하지는 마세요. 통합할 대상이 없고, CSM-1B는 이 앱에 사용된 모델이 아닙니다.

CSM-1B를 선택하세요 — 개방형 셀프 호스팅 가능한 합성 블록을 원하고, 그 주변에 나머지 구성 요소(ASR, 언어 모델, 턴테이킹 계층)를 직접 구축할 준비가 되어 있는 경우에만. Apache-2.0이며 그 역할에서는 정말 유용합니다. Max의 경쟁자가 아니며 애초에 그럴 의도도 없었습니다.

하이브리드, 그리고 라우터가 도움을 줄 수 있는 절반

대부분의 진지한 음성 제품은 결국 하나를 고르기보다 모델을 섞게 된다. 따뜻함과 지연 시간이 체감되는 오프닝과 확인 응답 턴에는 자연스럽게 들리는 모델을, 오류가 예약 손실로 이어지는 트랜잭션 턴에는 작업 신뢰성이 높은 모델을 둔다. Eleven Realtime도 S​esame도 단일 연결 안에서 이를 쉽게 해주지 않는다 — E​levenLabs' Realtime API는 ElevenAgents와 별개의 제품이며 WebSocket으로만 동작하고, S​esame에는 함께 섞을 API가 없다.

라우팅 계층이 진정한 가치를 발휘하는 곳은 한 계층 아래, 즉 음성 모델이 위임하는 작업입니다. OrcaRouter에서는 16개 업스트림 제공업체의 209개 모델을 하나의 키로, 제공업체 정가 그대로 마진 없이, 제공업체 오류 시 자동 페일오버와 함께 이용할 수 있습니다. 모델 퓨전은 한 모델의 판단만으로 충분하지 않을 때 여러 모델이 함께 답하도록 하며, 라우팅 DSL은 여러 모델을 하나의 호출로 구성합니다. Eleven Realtime v1 Max 자체는 저희 카탈로그에 없습니다 — 이에 대한 타사 엔드포인트가 존재하지 않기 때문입니다 — 따라서 정직한 경계는 검색, 요약, 통화 후 분석은 라우팅할 수 있지만 음성은 라우팅할 수 없다는 것입니다.

이 글을 바꿀 것은 아레나가 선호도를 측정하는 방식으로 자연스러움을 측정하면서 S​esame의 앱과 API 모델 모두에 걸쳐 실행되는 벤치마크 — 또는 S​esame의 프로덕션 음성을 위한 엔드포인트입니다. 둘 중 하나라도 있다면 접근과 경험 사이의 선택이 실제 비교로 바뀔 것입니다. 그때까지는 이 모델 중 하나는 호출할 수 있고 다른 하나는 감상만 할 수 있으며, 그것이 어떤 청취 테스트보다 더 많은 것을 판가름합니다.