Carte de titre indiquant « Scribe v3 Live Medical vs Whisper Large v3 Turbo » avec le sous-titre « l'un que vous ne pouvez pas louer, l'autre que vous pouvez posséder ». En dessous, une seule échelle : à gauche, une icône de cadenas verrouillé étiquetée « ElevenAgents uniquement, aucun ID de modèle », à droite, une boîte ouverte étiquetée « 809 M de paramètres, licence MIT, fonctionne avec environ 6 Go de VRAM ».
Guides & Insights

Scribe v3 Live Medical vs Whisper Large v3 Turbo : le modèle que vous ne pouvez pas louer face à celui que vous pouvez posséder

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Whisper Large v3 Turbo est un modèle de 809 millions de paramètres sous licence MIT que vous pouvez télécharger, quantifier jusqu’à environ 1,6 Go et exécuter sur un seul GPU modeste à environ huit fois la vitesse de Whisper Large v3. Scribe v3 Live Medical est un modèle clinique affiné d’ElevenLabs que vous ne pouvez pas télécharger, ni appeler via une API, ni obtenir tout court, à moins que vous n’exécutiez un agent dans ElevenAgents. Les mettre dans la même phrase paraît étrange jusqu’à ce que vous remarquiez qu’ils occupent la même place dans une décision réelle : tous deux sont ce vers quoi l’on se tourne quand un transcripteur généraliste n’arrête pas d’écorcher « empagliflozin », et un seul d’entre eux est disponible pour la plupart des équipes.

Voilà la véritable comparaison. Pas la précision — les deux chiffres ne concordent pas — mais la disponibilité, et ce que le socle ouvert vous coûte en ingénierie pour combler un écart pour lequel un fournisseur ne vous vendra pas de solution fermée.

La version en onze mots de pourquoi ce n’est pas un duel de benchmarks

Le chiffre publié par ElevenLabs pour Scribe v3 Live Medical est de 12,8 % de taux d’erreur sur les mots sur PriMock57, 57 consultations simulées de soins primaires, contre 15,5 % à 17,2 % pour quatre modèles concurrents en temps réel, médicaux et généralistes. Les chiffres publiés de Whisper Large v3 Turbo sont de 2,1 % sur LibriSpeech test-clean et de 4,2 % sur test-other — de la parole lue de livres audio en anglais, un corpus qui constitue depuis des années le benchmark ouvert de référence et qui est à peu près aussi éloigné d’un appel téléphonique au sujet d’une ordonnance que l’audio peut l’être.

Sur les conditions LibriSpeech, un modèle ouvert de 809 M bat largement un modèle affiné pour usage clinique. Lors d’une véritable consultation avec un casque de mauvaise qualité, les deux chiffres ne sont que du bruit. Aucun des deux chiffres ne prédit l’autre, et quiconque les aligne et annonce un vainqueur compare une mesure en salle blanche d’un modèle par lots à une mesure réalisée par un fournisseur d’un modèle en streaming. La formulation honnête est que le modèle médical affiné revendique un avantage sur les autres modèles en temps réel sur de l’audio clinique, et que Whisper revendique un avantage sur les autres modèles ouverts sur de la parole lue propre, et aucune de ces affirmations ne concerne l’autre.

Ce qu’est réellement Whisper Large v3 Turbo, et ce qu’il n’est pas

La distillation de Whisper Large v3 par OpenAI, publiée sous licence MIT en octobre 2024 : 32 couches d’encodeur et 4 couches de décodeur, contre 32 auparavant, d’où la vitesse. Elle fonctionne avec faster-whisper, whisper.cpp, ainsi que les versions ONNX et GGUF, se quantifie suffisamment pour tenir sur un ordinateur portable, couvre 99 langues et ne coûte rien en frais de licence, que vous l’exécutiez sur un seul GPU ou sur une baie de serveurs.

Ce qu'il n'est pas, et voici la liste qui compte pour un agent clinique :

• Il ne fonctionne pas en streaming. L’architecture de Whisper est construite autour d’une fenêtre fixe de 30 secondes, donc « temps réel » signifie découper l’audio et relancer le traitement, en payant le chevauchement et en acceptant que la transcription accuse un retard sur la parole égal à la quantité que vous tamponnez. Il n’existe pas de flux natif de résultats partiels ni de détection de tours.

• Il n’effectue pas de diarisation. Un flux unique de paroles, sans notion de qui a dit quoi. Pour une consultation à deux personnes où le patient et le clinicien mentionnent tous deux des médicaments, vous greffez un modèle distinct d’étiquetage des locuteurs, ou vous acceptez une transcription non étiquetée.

• Il ne met pas en forme. La ponctuation et la casse apparaissent telles que l’audio les a produites, avec les disfluences et tout le reste. Aucune résolution des autocorrections, aucune majuscule en début de phrase, aucune structure de note clinique.

• Il n’est pas entraîné pour la traduction et ne dispose d’aucun mécanisme de biais de domaine. Il n’y a pas de liste de termes clés pour lui fournir le formulaire, ni d’invite pour lui indiquer qu’il s’agit d’un appel de cardiologie. Soit vous affinez, soit vous post-traitez, soit vous acceptez les erreurs.

Scribe v3 Live Medical, en revanche, repose presque entièrement sur ces quatre éléments manquants : il fonctionne en streaming, dispose d'une prédiction de tour de parole qui attend la fin d'un identifiant de membre, gère jusqu'à 10 000 termes cliniques personnalisés sans frais et constitue un affinage d'un modèle entraîné sur des conversations plutôt que sur des livres audio. ElevenLabs est transparent sur les limites de cette approche — les noms de médicaments isolés, sans contexte autour, sont le cas le plus difficile pour tous les modèles, et le conseil est d'utiliser des keyterms pour orienter vers ce que vous attendez.

The openai/whisper repository page on GitHub, showing 113k stars and 13.7k forks, the README heading 'Robust Speech Recognition via Large-Scale Weak Supervision' and an MIT license badge in the sidebar.

Le coût d’ingénierie pour combler vous-même l’écart

C’est ici que la comparaison devient un tableur plutôt qu’un classement. Une équipe qui veut que Whisper Large v3 Turbo se comporte comme un transcripteur clinique en temps réel doit mettre en place quatre éléments :

• Un wrapper de streaming — audio segmenté, fenêtres chevauchantes, fusion d’hypothèses partielles et une règle d’endpointing qui vous est propre, car Whisper ne vous en fournit aucune. Attendez-vous à consacrer du temps réel à la gestion des raccords ; c’est là que la plupart des agents vocaux maison subissent leur pire latence.

• Un mécanisme de vocabulaire — Whisper n’en a aucun. Soit vous effectuez un fine-tuning sur vos propres enregistrements audio cliniques, ce qui nécessite des données étiquetées que vous n’avez probablement pas, soit vous corrigez a posteriori à l’aide d’une liste de noms de médicaments, ce qui est un problème de correspondance approximative qui génère sa propre catégorie d’erreurs confiantes.

• Une passe de diarisation — un second modèle, un second budget de latence, et une étape de fusion qui doit aligner les tours de parole sur les horodatages des mots de Whisper.

• Infrastructure — GPU, autoscaling, une file d’attente pour le chemin de traitement par lots, et quelqu’un d’astreinte quand la machine qui transcrit 40 heures par jour tombe en panne à 2 h du matin.

Rien de tout cela n’est prohibitif. Tout cela représente un travail qu’un modèle clinique managé aurait absorbé, et la vraie question est de savoir si le temps de votre équipe est mieux investi là-dedans ou dans le produit clinique lui-même. Pour un groupe de recherche ou une équipe plateforme qui exploite déjà une infrastructure d’inférence, la réponse est souvent oui — c’est d’ailleurs pourquoi Whisper est devenu le choix par défaut. Pour une startup de santé numérique de cinq personnes dont le différenciateur est le parcours infirmier, c’est généralement non.

La licence est le véritable avantage, et il n'est pas des moindres.

La licence MIT de Whisper signifie aucun fournisseur, aucun compteur, aucuns frais à la minute qui augmentent avec le volume d’appels, et aucune obligation que l’audio des patients quitte votre réseau. Pour une entité couverte, ce dernier point n’est pas un simple avantage. Un déploiement Whisper auto-hébergé dans votre propre VPC constitue un argument de conformité que votre équipe de sécurité sait déjà approuver : les PHI ne franchissent jamais la frontière d’un fournisseur, la conservation des journaux vous appartient, et il n’y a aucun Business Associate Agreement à négocier.

Face à cela, la documentation d’ElevenLabs indique actuellement quelque chose qu’un responsable de la conformité lira deux fois : ne pas envoyer d’informations de santé protégées à Scribe v3 Live Medical tant que l’éligibilité HIPAA du modèle n’est pas confirmée, et la résidence des données dans l’UE n’est pas disponible pendant l’accès anticipé. La déclaration générale de la page de transcription médicale — éligible HIPAA pour les clients Enterprise avec un BAA et le mode Zero Retention — décrit la plateforme et le produit médical en disponibilité générale, Scribe v2 Medical. Pour le modèle temps réel en accès anticipé, l’avertissement est la phrase qui fait foi.

Ainsi, la base de référence ouverte remporte aujourd’hui haut la main la comparaison de conformité, pour une raison qui n’a rien à voir avec l’exactitude et tout à voir avec de la paperasse qui n’est pas terminée.

Coût marginal, à trois volumes différents

Whisper a un coût matériel et aucun compteur. Exécutez-le sur un GPU que vous possédez déjà et le coût marginal d'une minute transcrite s'approche de celui de l'électricité ; louez-en un et c'est le tarif de l'instance divisé par le débit, ce qui, sur les stacks de service modernes, représente quelques centimes par heure d'audio. À mille heures par mois, un seul GPU loué couvre la charge avec de la marge.

Scribe v3 Live Medical n’a aucun coût marginal de calcul, car il n’est pas vendu à la minute — il est inclus dans un abonnement ElevenAgents facturé à la minute de conversation et qui comprend le LLM, la téléphonie et la voix. Les tarifs de référence de l’API d’ElevenLabs, pour les modèles que vous pouvez réellement mesurer, sont de 0,22 $ par heure pour Scribe v3 Live et de 0,20 $ par heure pour Scribe v2 Medical, avec le prompting par termes clés en temps réel à 0,08 $ par heure.

À dix heures par mois, l’option gérée est évidemment moins chère : aucun GPU à acheter, aucun pipeline à maintenir, et l’abonnement inclut l’agent. À dix mille heures par mois, Whisper auto-hébergé est moins cher que n’importe quelle tarification à la minute jamais publiée, et aucun fournisseur ne battra jamais le coût marginal de votre propre matériel exécutant des poids MIT. Le seuil de bascule, comme toujours, se situe là où votre salaire d’ingénieur divisé par les heures économisées descend sous le tarif à la minute — et pour une petite équipe clinique, il arrive plus tard que ne le suggère le tableur, car le pipeline que vous construisez est un pipeline que vous maintiendrez pour toujours.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Whisper Large v3 Turbo — the scoreboard', with the rows Licence (platform only vs MIT), Access (ElevenAgents only vs download and self-host), Streaming (native, turn prediction vs no, 30-second windows), Diarization (built in vs no), Vocabulary (10,000 terms included vs none, fine-tune or correct) and Cost (bundled, no ASR rate vs your own GPU), and a footer reading 'Scribe figures vendor-run and unavailable outside ElevenAgents; Whisper figures per OpenAI.'

Là où un routeur trouve sa place, précisément

Whisper vous fournit du texte ; il faut encore que quelque chose le lise et agisse. Dans un flux de travail clinique, il s'agit d'un second modèle — rédiger la note, extraire la liste des médicaments, décider si l'appel nécessite une infirmière — et c'est le volet qui évolue avec la longueur de la conversation plutôt qu'avec celle de l'audio. OrcaRouter sert 215 modèles derrière une API compatible OpenAI avec 0 % de marge, les prix catalogue des fournisseurs étant répercutés sans modification, avec basculement automatique, afin que ce modèle de raisonnement puisse être un petit modèle rapide pour les réponses tour par tour et un modèle plus grand pour la note de fin d'appel, avec la même clé.

Soyons clairs sur les limites : nous n’hébergeons pas Whisper Large v3 Turbo et nous n’hébergeons pas Scribe v3 Live Medical ni aucun modèle ElevenLabs. Le Whisper auto-hébergé, c’est votre GPU ; le modèle médical d’ElevenLabs, c’est leur plateforme. Ce que nous routons est la couche au-dessus des deux.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

Lequel, pour quelle équipe ?

Prenez Whisper Large v3 Turbo si l’une des conditions suivantes est vraie : vous avez besoin que la transcription reste à l’intérieur de votre propre périmètre, vous transcrivez de l’audio enregistré plutôt que des appels en direct, votre volume est suffisamment élevé pour que la facturation à la minute constitue le coût dominant, ou vous disposez de la capacité d’ingénierie nécessaire pour construire vous-même les couches de streaming, de diarisation et de vocabulaire. Sur de l’audio clinique enregistré — des notes dictées revues après la consultation — Whisper associé à une passe de post-correction des noms de médicaments constitue une réponse vraiment solide et vraiment économique, et sa licence MIT élimine toute une catégorie de discussions d’achat.

Prenez Scribe v3 Live Medical si l’audio est en direct, que le vocabulaire est clinique et que l’agent va déjà être celui d’ElevenLabs. La prédiction de tour et le budget de 10 000 termes sont des éléments que vous auriez sinon à développer, le résultat de 12,8 % sur PriMock57 est celui du fournisseur mais la tendance est cohérente avec ce que rapporte chaque fournisseur d’ASR clinique, et la plateforme absorbe l’infrastructure. Ensuite, attendez pour PHI que l’avertissement d’accès anticipé soit retiré de la page de documentation.

Et si vous êtes entièrement en dehors d’ElevenAgents — ce qui est le cas de la plupart des gens qui lisent ceci —, le vrai choix se situe entre Whisper et un modèle médical appelable comme Scribe v2 Medical, à 0,20 $ de l’heure avec 15 % d’erreurs en moins que Scribe v2 sur des audios de test clinique. Scribe v3 Live Medical est le meilleur modèle sur le papier. Il n’est tout simplement pas proposé, et un modèle que vous ne pouvez pas exécuter n’est pas un concurrent de celui que vous pouvez exécuter.