Carte de titre indiquant « Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live » avec le sous-titre « 12,8 % et 4,00 % ne sont pas le même nombre ». En dessous, deux barres horizontales intitulées « PriMock57 clinical mock consultations » à 12,8 % et « Artificial Analysis general speech » à 4,00 %, chaque barre étant étiquetée avec le benchmark auquel elle appartient et séparées par un séparateur vertical en pointillés.
Guides & Insights

Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live : 12,8 % et 4,00 % ne sont pas le même nombre

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Placez les 12,8 % de Scribe v3 Live Medical à côté des 4,00 % de Gemini 3.5 Transcribe Live, et la question de la transcription en streaming semble tranchée en faveur de Google, d’un facteur trois. Ce n’est pas le cas, et la raison en est l’élément le plus utile de cette page : ces deux chiffres ont été mesurés sur des audio différents, par des organisations différentes, à des fins différentes. Les 12,8 % correspondent au taux d’erreur sur les mots d’ElevenLabs sur PriMock57 — 57 consultations simulées de soins primaires enregistrées, remplies de noms de médicaments, de posologies et de phrases inachevées. Les 4,00 % correspondent au taux d’erreur sur les mots en streaming d’Artificial Analysis pour Gemini 3.5 Transcribe Live sur son banc d’évaluation général de la parole, avec 0,40 seconde pour obtenir une transcription finale. L’une est une consultation clinique ; l’autre est une suite de benchmarks. Les comparer revient à comparer la consommation de carburant d’une voiture sur circuit à sa consommation en circulation urbaine et à en conclure que le moteur a changé.

Si l’on écarte le faux duel, un vrai choix subsiste, et il porte sur le déploiement plutôt que sur la précision. Gemini 3.5 Transcribe Live est un modèle que vous appelez : gemini-3.5-transcribe-live, un point de terminaison WebSocket avec un tarif à la minute publié, une offre gratuite et un plafond de session de dix minutes. Scribe v3 Live Medical est un modèle que vous ne pouvez pas appeler du tout — il n’existe que comme option ASR au sein d’ElevenAgents, en accès anticipé, sans ID de modèle ni tarif propre. L’un est une infrastructure. L’autre est une fonctionnalité d’une plateforme d’agents. Ce que vous voulez dépend de si vous construisez un transcripteur ou achetez un agent téléphonique.

Ce que chaque camp publie réellement

Le contraste des spécifications, dimension par dimension, tel que chaque fournisseur l'énonce :

• Accès — Gemini 3.5 Transcribe Live est un point de terminaison WebSocket de l'API Live (gemini-3.5-transcribe-live) avec un niveau gratuit ; Scribe v3 Live Medical n'est sélectionnable que dans les paramètres de reconnaissance automatique de la parole d'un agent ElevenAgents, et non via l'API Speech to Text.

• Prix — Gemini 3.5 Transcribe Live coûte 3,50 $ par million de tokens d’entrée audio et 21,00 $ par million de tokens de sortie texte, ce que Google estime à 0,005 $ et 0,004 $ par minute respectivement, soit environ 0,009 $ par minute en moyenne pondérée ; Scribe v3 Live Medical n’a pas de prix distinct et est inclus dans la tarification ElevenAgents.

• Précision — Gemini : 4,00 % de WER en streaming à 0,40 s jusqu’au résultat final, selon Artificial Analysis ; Scribe : 12,8 % de WER sur PriMock57, évaluation réalisée par le fournisseur, contre 15,5 %–17,2 % pour quatre modèles concurrents en temps réel.

Adaptation au domaine — Gemini : un biais de vocabulaire personnalisé sur la variante batch, avec diarisation et horodatages des mots décrits sur la fiche Gemini 3.5 Transcribe ; Scribe : un affinage clinique, plus jusqu’à 10 000 termes personnalisés sans coût supplémentaire.

• Langues — Gemini : plus de 85 langues avec changement en cours de flux ; Scribe : plus de 90 langues, gains médicaux mesurés en anglais, en français et en allemand.

• Forme de la session — Gemini : une session WebSocket limitée à dix minutes ; Scribe : dure pendant toute la durée de la conversation de l’agent.

• Conformité — Gemini : aucun positionnement médical ou HIPAA que nous ayons pu trouver dans la documentation du modèle ; Scribe : éligible HIPAA avec un BAA et le Zero Retention Mode, avec un avertissement explicite de ne pas envoyer de PHI au modèle temps réel en accès anticipé tant que sa propre éligibilité n’est pas confirmée.

Deux de ces lignes déterminent la plupart des décisions concrètes, et aucune des deux n'est la précision. Le plafond de dix minutes est architectural : au-delà d'une simple enquête de centre d'appels, une session doit être recousue, et la couture est votre problème. L'absence de prix pour le modèle ElevenLabs est l'autre : impossible de l'inscrire sur une grille tarifaire, car il est compris dans un abonnement qui facture aussi le LLM, la téléphonie et la voix.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live — the scoreboard', with the rows Access (ElevenAgents only vs Live API WebSocket), Price (bundled, no ASR rate vs about $0.009 per minute), Accuracy (12.8% PriMock57 vs 4.00% AA streaming WER), Adaptation (clinical fine-tune, 10,000 terms vs custom vocabulary biasing), Languages (90+ vs 85+) and Session (length of the agent call vs 10-minute cap), and a footer reading 'ElevenLabs figures vendor-run on PriMock57; Gemini figures per Artificial Analysis.'

Transformer la ligne de précision en quelque chose que vous pouvez utiliser

Il existe une manière légitime de comparer ces deux éléments, et elle exige de les exécuter, ce qui est précisément ce que les graphiques marketing existent pour vous éviter. Ce que l’on peut affirmer à partir des preuves publiées est plus limité :

En ce qui concerne spécifiquement les conversations cliniques, ElevenLabs dispose d'un chiffre mesuré, contrairement à Google. Cela ne revient pas à affirmer que Gemini 3.5 Transcribe Live est mauvais sur les noms de médicaments : cela revient à affirmer que personne n'a publié de chiffre équivalent à PriMock57 pour ce modèle. Le mécanisme de vocabulaire personnalisé de Google est l'outil qu'il propose précisément pour ce problème, et le biais de vocabulaire sur le modèle par lots est documenté ; sur le point de terminaison Live, la documentation est plus mince que sur son homologue par lots, et les fonctionnalités de diarisation et d'horodatage des mots décrites sur la fiche commune Gemini 3.5 Transcribe ne sont pas explicitement confirmées pour chaque point de terminaison.

Sur de l’audio conversationnel général, Google dispose d’un chiffre publié indépendamment et ElevenLabs d’un chiffre produit par le fournisseur. Les 4,00 % proviennent d’un outil de suivi doté d’un protocole d’évaluation fixe et de dizaines de modèles ; les 12,8 % proviennent d’un seul ensemble de 57 consultations qu’ElevenLabs a choisi et exécuté. Les deux sont utiles. Aucun des deux ne survit à une soustraction de l’autre.

La version pratique : si votre charge de travail porte sur des appels cliniques, empruntez un échantillon de vos propres enregistrements de type PriMock57 — deux locuteurs, un formulaire thérapeutique réel dans la pièce, au moins un appelant qui énonce un identifiant de membre — et lancez les deux. S’il s’agit de transcription en continu à usage général avec un peu de jargon, le chiffre publié par Google est le point de départ le plus facile à auditer, et sa priorisation du vocabulaire prendra en charge l’essentiel de la charge liée au domaine.

The Artificial Analysis Speech to Text leaderboard, showing the heading 'Speech to Text AI Model & Provider Leaderboard' with the subtitle 'Compare word error rate, speed, and pricing across Speech to Text models and providers', the chart label 'AA-WER Index (Non-streaming)', and a grid of model bars with percentage labels.

La différence clinique réside dans les pauses, pas dans les mots.

La fonctionnalité qu’ElevenLabs a développée et que la documentation de Google ne décrit pas est la prédiction de tour de parole. Le modèle de tour de parole de Scribe v3 Live Medical utilise le contexte de la conversation plutôt que le silence seul pour déterminer qu’un appelant a fini de parler, ce qui fait la différence entre un agent qui répond après « mon identifiant de membre est 4-4-2 » et un agent qui attend le dernier chiffre. Les exemples d’ElevenLabs eux-mêmes sont exactement les chaînes qui mettent en échec la détection de fin de parole basée sur le silence : identifiants de membre, dates de naissance, numéros de téléphone, posologies épelées.

Gemini 3.5 Transcribe Live porte le même problème un cran plus haut dans la pile. Sa documentation le décrit comme un modèle de transcription en streaming bidirectionnel ; l’endroit où le tour se termine est décidé par le framework d’agent qui se trouve au-dessus, et l’approche de Google pour les agents vocaux passe par la gestion des tours propre à l’API Live plutôt que par un modèle de tour spécifique à la transcription. C’est une architecture tout à fait valable, et elle est différente : c’est vous qui possédez la logique d’endpointing, et vous devrez l’ajuster. Lors d’un appel clinique où un patient marque une pause au milieu d’un symptôme pour réfléchir, cet ajustement n’est pas cosmétique.

La comparaison des coûts, faite honnêtement

Le compteur de Google est suffisamment transparent pour qu’on puisse en tirer un chiffre. Prenons une clinique qui traite 40 heures d’appels en direct par jour, 22 jours par mois : 52 800 minutes. Au tarif estimé de 0,009 $ par minute en moyenne pondérée, cela représente environ 475 $ par mois pour le volet transcription, et c’est une ligne budgétaire que vous pouvez prévoir, plafonner et contester au moment du renouvellement.

Du côté d’ElevenLabs, on ne produit pas de chiffre comparable, et quiconque en cite un ne fait que deviner. Le point de repère publié le plus proche est la grille tarifaire de l’API — Scribe v3 Live à 0,22 $ de l’heure, le keyterm prompting à 0,08 $ de l’heure — mais Scribe v3 Live Medical n’est pas vendu de cette façon. Il est intégré à ElevenAgents, facturé à la minute de conversation, et la conversation comprend les tokens du LLM, la synthèse vocale et la téléphonie. Ce regroupement est soit une remise, soit un verrouillage, selon ce que vous auriez assemblé par ailleurs, et la question ne peut pas être tranchée à partir d’une page de tarifs.

Une chose qui se transpose : si vous finissez par faire tourner les deux — Google pour la transcription, un LLM de votre choix pour le raisonnement —, c'est la seconde étape qui concentre les décisions de routage. OrcaRouter sert 215 modèles derrière une seule API compatible OpenAI avec 0 % de marge, les prix catalogue des fournisseurs étant répercutés sans modification, si bien que le modèle qui lit la transcription de Gemini peut être remplacé ou basculé en cas d'échec sans toucher au code ASR. Nous ne servons sur cette page aucun des deux modèles de transcription, et rien de ce qui précède ne constitue notre prix.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

Lequel choisir

Choisissez Gemini 3.5 Transcribe Live si vous développez le produit plutôt que de l’acheter. C’est le seul des deux à être un modèle appelable avec un tarif publié, un niveau gratuit pour l’évaluation et un point de terminaison que vous pouvez placer derrière votre propre boucle d’agent. La limite de session de dix minutes est la contrainte autour de laquelle concevoir, et l’absence de benchmark clinique est le manque à combler avec vos propres fichiers audio et une liste de vocabulaire personnalisée.

Choisissez Scribe v3 Live Medical si vous avez déjà décidé que l’agent est le problème d’ElevenLabs — et si votre position de conformité autorise un modèle en accès anticipé, ce que, pour les PHI, la documentation indique actuellement ne pas autoriser jusqu’à confirmation de l’éligibilité. L’affinage clinique et le modèle de gestion des tours de parole sont de réels avantages lors d’un appel patient en direct, et l’écart PriMock57 avec les modèles temps réel concurrents constitue la preuve publiée la plus solide que l’adaptation clinique apporte réellement un bénéfice. Ce n’est simplement pas une preuve concernant Gemini, et Gemini n’est pas une preuve à son sujet.

Le chiffre à surveiller n'est ni l'un ni l'autre des WER. C'est de savoir si Scribe v3 Live Medical obtient un jour un ID de modèle qui lui soit propre. Le jour où cela arrivera, cette comparaison deviendra banale — deux points de terminaison appelables, deux compteurs, un benchmark que l'on peut exécuter — et les 12,8 % deviendront quelque chose qu'un acheteur peut réellement vérifier.

Comparés dans cet article1

Détecté à partir de cet article · Benchmarks : Artificial Analysis · mis à jour quotidiennement