Титульная карточка с надписью «Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live» и подзаголовком «12.8% и 4.00% — не одно и то же число». Ниже — две горизонтальные полосы с подписями «PriMock57 clinical mock consultations» на 12.8% и «Artificial Analysis general speech» на 4.00%; каждая полоса снабжена меткой бенчмарка, к которому относится, а между собой полосы разделены пунктирной вертикальной линией.
Guides & Insights

Scribe v3 Live Medical против Gemini 3.5 Transcribe Live: 12,8% и 4,00% — это не одно и то же число

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Поставьте 12,8% Scribe v3 Live Medical рядом с 4,00% Gemini 3.5 Transcribe Live — и вопрос потоковой транскрипции покажется решённым в пользу Google с трёхкратным перевесом. Но это не так, и причина — самое полезное на этой странице: эти два числа были измерены на разном аудио, разными организациями и для разных целей. 12,8% — это частота ошибок в словах у ElevenLabs на PriMock57: 57 записанных имитационных консультаций в первичном звене, изобилующих названиями лекарств, дозировками и незаконченными предложениями. 4,00% — это частота ошибок в словах при потоковой транскрипции, которую Artificial Analysis получила для Gemini 3.5 Transcribe Live на своём общем речевом стенде, при 0,40 секунды до финальной транскрипции. Одно — клиническая консультация; другое — набор бенчмарков. Сравнивать их — та же ошибка, что сравнивать расход топлива автомобиля на треке с его расходом в городском трафике и делать вывод, что двигатель изменился.

Отбросьте ложное прямое сравнение — и останется настоящий выбор, и он касается развёртывания, а не точности. Gemini 3.5 Transcribe Live — это модель, которую вы вызываете: gemini-3.5-transcribe-live, WebSocket-эндпоинт с опубликованной поминутной ценой, бесплатным тарифом и ограничением сессии в десять минут. Scribe v3 Live Medical — это модель, которую вы не можете вызвать вообще: она существует только как опция ASR внутри ElevenAgents, в раннем доступе, без model ID и без собственного тарифа. Одно — инфраструктура. Другое — функция агентской платформы. Что вам нужно, зависит от того, создаёте ли вы транскрайбер или покупаете телефонного агента.

Что на самом деле публикует каждая сторона

Сопоставление спецификаций, параметр за параметром, в том виде, как его заявляет каждый производитель:

• Доступ — Gemini 3.5 Transcribe Live — это WebSocket-эндпоинт Live API (gemini-3.5-transcribe-live) с бесплатным тарифом; Scribe v3 Live Medical можно выбрать только в настройках автоматического распознавания речи агента ElevenAgents, но не через Speech to Text API.

• Цена — Gemini 3.5 Transcribe Live стоит $3,50 за миллион входных аудиотокенов и $21,00 за миллион выходных текстовых токенов; по оценке Google, это $0,005 и $0,004 за минуту соответственно, около $0,009 за минуту в совокупности; Scribe v3 Live Medical не имеет отдельной цены и включён в тарификацию ElevenAgents.

• Точность — Gemini: 4,00% потокового WER при 0,40 с до финального результата, по данным Artificial Analysis; Scribe: 12,8% WER на PriMock57, по результатам тестирования поставщика, против 15,5%–17,2% у четырёх конкурирующих моделей реального времени.

• Адаптация к предметной области — Gemini: смещение в пользу пользовательского словаря в пакетном варианте, с диаризацией и временными метками слов, описанными в карточке Gemini 3.5 Transcribe; Scribe: дообучение для клинических задач плюс до 10 000 пользовательских терминов без дополнительной платы.

• Языки — Gemini: более 85 языков с переключением в середине потока; Scribe: более 90 языков, медицинские улучшения измерены на английском, французском и немецком.

• Структура сессии — Gemini: сессия WebSocket, ограниченная десятью минутами; Scribe: существует на протяжении всего диалога агента.

• Соответствие требованиям — Gemini: в документации на модель нам не удалось найти ни медицинского позиционирования, ни позиционирования в части HIPAA; Scribe: соответствует требованиям HIPAA, предусматривает BAA и режим нулевого хранения данных (Zero Retention Mode), а также содержит явное предупреждение не отправлять PHI в модель реального времени с ранним доступом до подтверждения её собственного соответствия.

Две из этих строк определяют большинство реальных решений, и ни одна из них — не точность. Десятиминутный лимит обусловлен архитектурой: сессию приходится сшивать для чего-либо длиннее опроса колл-центра, и шов — ваша проблема. Отсутствие цены для модели ElevenLabs — другое: вы не можете включить её в тарифную карту, потому что она входит в подписку, которая также включает оплату LLM, телефонии и голоса.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live — the scoreboard', with the rows Access (ElevenAgents only vs Live API WebSocket), Price (bundled, no ASR rate vs about $0.009 per minute), Accuracy (12.8% PriMock57 vs 4.00% AA streaming WER), Adaptation (clinical fine-tune, 10,000 terms vs custom vocabulary biasing), Languages (90+ vs 85+) and Session (length of the agent call vs 10-minute cap), and a footer reading 'ElevenLabs figures vendor-run on PriMock57; Gemini figures per Artificial Analysis.'

Превращаем строку точности в то, что можно использовать

Есть законный способ сравнить эти два варианта, и для этого их нужно запустить — именно от этого вас и должны избавить маркетинговые графики. Опубликованные данные позволяют утверждать лишь более узкое:

Что касается именно клинических разговоров, у ElevenLabs есть измеренная цифра, а у Google — нет. Это не утверждение, что Gemini 3.5 Transcribe Live плохо справляется с названиями лекарств, — это утверждение, что никто не опубликовал для него показатель, эквивалентный PriMock57. Механизм пользовательского словаря Google — это инструмент, который она предлагает именно для этой проблемы, и смещение словаря в пакетной модели документировано; на Live-эндпоинте документация тоньше, чем у его пакетного собрата, а функции диаризации и временных меток слов, описанные на общей карточке Gemini 3.5 Transcribe, не подтверждены явно для каждого эндпоинта.

Для обычного разговорного аудио у Google есть независимо опубликованный показатель, а у ElevenLabs — показатель, полученный самим вендором. 4,00% происходят из трекера с фиксированным тестовым стендом и десятками моделей; 12,8% — из единственного набора из 57 консультаций, который ElevenLabs выбрала и провела. Оба полезны. Но ни один из них не выдерживает вычитания из другого.

Практическая версия: если ваша рабочая нагрузка — клинические звонки, возьмите собственный образец записей в стиле PriMock57 — два говорящих, реальный формуляр под рукой, как минимум один звонящий, зачитывающий идентификатор участника, — и запустите оба варианта. Если же это универсальная потоковая транскрипция с небольшим количеством жаргона, более проверяемой отправной точкой будет опубликованное Google число, а адаптация словаря под предметную область возьмёт на себя большую часть нагрузки.

The Artificial Analysis Speech to Text leaderboard, showing the heading 'Speech to Text AI Model & Provider Leaderboard' with the subtitle 'Compare word error rate, speed, and pricing across Speech to Text models and providers', the chart label 'AA-WER Index (Non-streaming)', and a grid of model bars with percentage labels.

Клиническая разница — в паузах, а не в словах.

Функция, которую создала ElevenLabs и которую не описывает документация Google, — это прогнозирование завершения реплики. Модель определения завершения реплики в Scribe v3 Live Medical использует контекст разговора, а не только тишину, чтобы решить, что звонящий закончил говорить; именно это отличает агента, который отвечает после «мой идентификатор участника — 4-4-2», от агента, который ждёт последнюю цифру. Собственные примеры ElevenLabs — это ровно те строки, которые ломают определение конца реплики по тишине: идентификаторы участников, даты рождения, номера телефонов, дозировки, произносимые по частям.

Gemini 3.5 Transcribe Live поднимает ту же проблему на один уровень выше в стеке. В документации она описывается как модель двунаправленной потоковой транскрипции; то, где заканчивается реплика, определяется тем агентным фреймворком, который находится над ней, а история голосовых агентов Google проходит через собственный механизм обработки реплик Live API, а не через специализированную для транскрипции модель реплик. Это вполне хорошая архитектура, и она другая: логика endpointing принадлежит вам, и вам придётся её настраивать. В клиническом звонке, когда пациент делает паузу посреди описания симптома, чтобы подумать, такая настройка — не косметика.

Честное сравнение затрат

Счётчик Google достаточно прозрачен, чтобы на его основе рассчитать конкретную цифру. Возьмём клинику, которая проводит 40 часов живых звонков в день, 22 дня в месяц: 52 800 минут. При оценке $0.009 за минуту в средневзвешенном выражении это около $475 в месяц за транскрипцию — и это статья расходов, которую можно прогнозировать, ограничивать и обсуждать при продлении.

Сторона ElevenLabs не приводит сопоставимую цифру, и любой, кто её называет, просто гадает. Ближайший опубликованный ориентир — тарифная сетка API: Scribe v3 Live за $0,22 в час, keyterm prompting за $0,08 в час, — но Scribe v3 Live Medical продаётся не так. Он входит в ElevenAgents, тарифицируется поминутно за разговор, а разговор включает токены LLM, синтез речи и телефонию. Такая пакетная структура — это либо скидка, либо привязка к поставщику, в зависимости от того, что вы собрали бы иначе, и это нельзя определить по странице с ценами.

Одно действительно переносится: если вы в итоге запускаете оба — Google для транскрипции, LLM на ваш выбор для рассуждений, — то решения о маршрутизации живут во втором звене. OrcaRouter предоставляет 215 моделей за единым OpenAI-совместимым API с наценкой 0%, цены из прайс-листов провайдеров передаются без изменений, поэтому модель, читающую транскрипт от Gemini, можно заменить или переключить на резервную, не трогая код ASR. Мы не предоставляем ни одну из моделей транскрипции на этой странице, и ничто из вышесказанного не является нашей ценой.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

Какой вариант выбрать

Выбирайте Gemini 3.5 Transcribe Live, если вы создаёте продукт, а не покупаете готовый. Это единственная из двух, которая является вызываемой моделью с опубликованной ценой, бесплатным тарифом для оценки и эндпоинтом, который можно поставить за собственным агентским циклом. Ограничение сессии в десять минут — это тот предел, вокруг которого нужно проектировать, а отсутствие клинического бенчмарка — тот пробел, который нужно закрыть с помощью собственных аудиозаписей и настраиваемого списка словарей.

Выбирайте Scribe v3 Live Medical, если вы уже решили, что агент — это проблема ElevenLabs, и если ваша позиция по комплаенсу допускает модель раннего доступа, что, согласно текущей документации, не разрешено для PHI до подтверждения права на использование. Клинический файнтюн и модель очередности реплик — реальные преимущества в живом звонке с пациентом, а разрыв PriMock57 с конкурирующими моделями реального времени — самое сильное опубликованное доказательство того, что клиническая адаптация вообще помогает. Это просто не является доказательством о Gemini, и Gemini не является доказательством об этом.

Следить стоит не за тем или иным показателем WER. Дело в том, получит ли Scribe v3 Live Medical когда-нибудь собственный model ID. В тот день, когда это произойдёт, данное сравнение станет обычным — два вызываемых эндпоинта, два счётчика, один бенчмарк, который можно запустить, — и эти 12,8% превратятся в то, что покупатель действительно сможет проверить.

Сравнение в этой статье1

Определено по этой статье · Бенчмарки: Artificial Analysis · обновляется ежедневно