SOV-Transcribe-1 vs Whisper Large v3 Turbo : ce que valent deux ans et 2,3 points de WER

Whisper Large v3 Turbo n’est pas un concurrent de SOV-Transcribe-1 au sens commercial. C’est la solution en place — un checkpoint de 809 M de paramètres sous licence MIT, publié en octobre 2024, qui se trouve discrètement sous une large part de tous les produits de transcription livrés depuis, et qui apparaît encore sur des points de terminaison hébergés à 0,67 $ les mille minutes. SOV-Transcribe-1 est le challenger, publié par Salesforce le 12 novembre 2026, avec un score de 2,28 % contre 4,62 % pour Whisper Large v3 Turbo sur le composite d’Artificial Analysis. La question n’est donc pas de savoir quel modèle est meilleur. C’est de savoir si diviser par deux le taux d’erreur vaut un téléchargement de 53 Go, un GPU de 96 Go et une stack de service, alors que l’alternative tient dans la mémoire d’un ordinateur portable et coûte quelques centimes par heure d’audio.

Ce que deux années de progrès ont réellement permis d’obtenir

Whisper Large v3 Turbo is a pruned Whisper large-v3 with the decoder cut from 32 layers to 4. O​penAI's own model card is disarmingly direct about it: "the exact same model, except that the number of decoding layers have reduced from 32 to 4. As a result, the model is way faster, at the expense of a minor quality degradation." That sentence describes a compression decision, not an architecture.

SOV-Transcribe-1 est l’autre type de changement. Salesforce a conservé un encodeur Whisper large-v3 — le même front-end — et a remplacé le décodeur à quatre couches par un modèle de langage à mélange d’experts Gemma 4 26B A4B derrière un projecteur. La perception audio est héritée de Whisper. Ce qui transforme l’audio en mots est un modèle de langage généraliste trente fois plus grand que l’intégralité du checkpoint Whisper turbo.

• Paramètres — Whisper Large v3 Turbo 809M contre SOV-Transcribe-1, 26,6 B au total, 4,6 B actifs.

• Décodeur — 4 couches Transformer contre un mélange d'experts de 26 B avec 4,6 B actifs par token.

• Taille du point de contrôle — moins de 2 Go contre environ 53 Go en BF16.

• Langues — environ une centaine contre sept. Celui-ci va dans l’autre sens, et il y va fort.

• Horodatages — sortie au niveau de la phrase et du mot intégrée à la boucle de décodage, contre aucune documentée.

• Licence — MIT versus Apache 2.0. Les deux sont permissives ; MIT est légèrement plus simple.

• Matériel — CPU ou un petit GPU versus une carte de classe RTX PRO 6000 avec 96 Go pour la configuration avec draft activé.

Cette dernière phrase résume tout l’argument en miniature. Un modèle tourne n’importe où ; l’autre tourne sur un composant serveur qui coûte plus que la facture cloud annuelle entière de la plupart des projets de transcription.

L'arithmétique des erreurs que personne ne fait

Le taux d’erreur sur les mots reste une abstraction tant qu’on ne le convertit pas en corrections. Prenez un corpus de mille minutes de parole anglaise à un débit conversationnel de 150 mots par minute — 150 000 mots. À 4,62 %, Whisper Large v3 Turbo produit environ 6 900 mots erronés, manquants ou insérés. À 2,28 %, SOV-Transcribe-1 en produit environ 3 400. La différence représente environ 3 500 mots qu’un humain n’a pas à rechercher et corriger.

Maintenant, chiffrons la correction. Un éditeur minutieux compare la transcription à l’audio à raison de peut-être 200 à 400 mots par minute ; ainsi, 3 500 erreurs de moins représentent entre neuf et dix-huit minutes de relecture humaine économisées par millier de minutes d’audio. À un taux horaire chargé de 30 $, cela représente de 4,50 $ à 9,00 $ — contre un coût de transcription, du côté de Whisper hébergé, de 0,67 $.

Cette comparaison est la raison pour laquelle la plupart des équipes ne migrent jamais. Le coût humain des erreurs domine d'un ordre de grandeur le coût machine de la transcription ; un modèle qui divise les erreurs par deux devrait donc valoir dix fois son prix, alors qu'en pratique il se heurte à un tarif déjà négligeable. L'exception, c'est tout pipeline où personne ne relit la sortie — indexation automatisée, recherche, analytique, alimentation de systèmes de synthèse — car là, les erreurs ne sont pas corrigées : elles se propagent dans tout ce qui lira ensuite la transcription, et c'est le coût de second ordre qui fait mal.

L’indice sur lequel reposent les deux scores est lui-même un mélange — moitié conversations synthétiques d’agents, un quart de discours parlementaires lus, un quart de véritables appels sur les résultats — et les deux modèles se comportent très différemment sur chacun de ces tiers. Les composantes de Whisper Large v3 Turbo sont respectivement de 3,52 %, 3,97 % et 7,49 % ; celles de SOV-Transcribe-1 sont de 1,79 %, 1,50 % et 4,06 %. L’écart est le plus large sur les discours parlementaires lus — 1,50 % contre 3,97 %, soit un facteur de 2,6 — et le plus étroit sur les appels sur les résultats, où les deux modèles peinent et où l’écart est de 4,06 % contre 7,49 %. Si votre audio est constitué de discours lus propres, la mise à niveau est spectaculaire. S’il s’agit d’un audio financier désordonné à plusieurs locuteurs, les deux modèles sont mauvais et le plus récent n’est simplement que moins mauvais.

Pourquoi Whisper l’emporte encore sur la facture

Commencez par la comparaison des offres hébergées, car c’est celle à laquelle la plupart des équipes sont réellement confrontées. Whisper Large v3 Turbo est disponible à 0,67 $ les mille minutes auprès d’au moins un fournisseur d’hébergement du classement Artificial Analysis, avec un facteur de vitesse mesuré de 339,5 — soit 339,5 secondes d’audio par seconde de temps réel. SOV-Transcribe-1 n’a aucun tarif hébergé à la minute. Salesforce a publié des poids, pas un point de terminaison, et aucun élément du classement n’indique de montant pour 1 000 minutes le concernant.

La comparaison devient donc dollars contre heures GPU, et la fiche modèle en donne des chiffres inhabituellement complets. Avec le support natif de vLLM et le modèle draft DFlash, une RTX PRO 6000 Blackwell Server Edition transcrit jusqu’à 1 039 secondes d’audio par seconde. Faites tourner cette carte à plein régime pendant une heure et elle traite 3,74 millions de secondes d’audio — 62 340 minutes. À quelques dollars de l’heure pour la location, cela représente de l’ordre de trois centimes par millier de minutes d’audio, soit vingt fois moins cher que le point de terminaison Whisper hébergé le moins cher du tableau.

Ce chiffre est réel, et c’est aussi le chiffre le plus trompeur de cet article, car il suppose que la carte ne reste jamais inactive. La transcription vocale fonctionne par pics : un arriéré arrive pendant la nuit, est résorbé, puis le GPU reste à zéro d’utilisation pendant vingt heures. À raison de 1 039 secondes audio par seconde, une seule carte traite mille heures d’audio en moins d’une heure. Presque personne ne dispose de mille heures d’audio par jour. La conclusion honnête, c’est que l’auto-hébergement de l’un ou l’autre modèle est une décision économique qui porte sur l’utilisation, pas sur la taille — et que, dès lors que vous avez décidé de faire tourner une carte, le coût marginal du meilleur modèle est proche de zéro.

Trois choses que Whisper fait et que le nouveau modèle ne peut pas faire

La couverture linguistique est le premier critère, et l’écart est immense. La fiche modèle de Whisper Large v3 Turbo répertorie près d’une centaine de langues, de l’anglais et du mandarin jusqu’au gallois, au maltais, à l’hawaïen, au lao et au soundanais. SOV-Transcribe-1 couvre l’anglais, le français, l’allemand, l’espagnol, l’italien, le portugais et le néerlandais. Pour toute équipe dont les enregistrements audio ne sont pas européens, cette comparaison n’a pas de second acte — Whisper n’est pas l’option économique, c’est la seule option entre les deux.

Les horodatages constituent le deuxième point. La boucle de décodage de Whisper les prédit nativement, et le pipeline Transformers les expose au niveau de la phrase ou du mot via un seul argument ; c’est ainsi que les sous-titres, les marqueurs de chapitre et la recherche de conformité ont été construits sur Whisper pendant deux ans. La fiche de SOV-Transcribe-1 documente la transcription, le contrôle du style et le biais contextuel, et rien sur les horodatages. Les récupérer en aval implique d’exécuter un aligneur forcé sur la sortie, ce qui constitue un autre modèle, une autre dépendance et une autre source d’erreur.

La traduction vocale est la troisième. Whisper peut prendre de l’audio dans n’importe laquelle de ses langues sources et produire directement du texte en anglais, sous forme de tâche de décodage plutôt que de seconde étape de pipeline. SOV-Transcribe-1 transcrit dans la langue parlée. Si vous avez besoin de sous-titres pour un documentaire japonais, Whisper le fait en un seul appel, tandis que le modèle Salesforce ne peut pas le faire du tout.

Whisper's documented weaknesses deserve equal billing, since they are the strongest argument for moving. O​penAI's own card warns that the model hallucinates — producing text that was not spoken — because it was trained on weakly supervised, noisy data, and that this is worse in low-resource languages. It also notes that the sequence-to-sequence architecture is prone to repetition, only partly mitigated by beam search and temperature fallback. Those are exactly the failure modes that make an unreviewed pipeline dangerous, and they are what two years of architecture work was aimed at.

À quoi ressemble une vraie migration

Presque personne ne remplace Whisper par SOV-Transcribe-1. On fait du routage entre les deux, et la règle de routage s'écrit d'elle-même à partir des spécifications : si l'audio est en anglais ou dans l'une des six autres langues couvertes, avec un seul locuteur, d'une durée inférieure à trente minutes et riche en entités, on l'envoie au modèle ouvert avec une liste d'indices ; sinon, on le laisse sur Whisper. Le résultat Contextual Earnings-22 de Salesforce — un F1 mots-clés qui passe de 71,9 sans indices à 96,8 avec les mots-clés propres au clip, et qui se maintient à 94,0 lorsqu'on lui fournit la liste de mots-clés de l'heure entière comme distracteurs — est précisément la capacité qui justifie ce partage, car c'est bien là ce que le biais par prompt de préfixe de Whisper ne fait pas aussi bien, et de loin.

Le coût de cette séparation réside dans une infrastructure dupliquée et deux formats de sortie : SOV-Transcribe-1 renvoie une chaîne de transcription, Whisper renvoie du texte ainsi que des segments horodatés, et tout ce qui se trouve en aval doit accepter les deux. En pratique, la plupart des équipes normalisent vers leur propre schéma de transcription à la frontière et cessent de se soucier du modèle qui l'a produit.

Ce qui se passe après la transcription est la partie qui évolue avec le volume, et c’est là qu’un routeur a sa place plutôt qu’un second fournisseur de reconnaissance vocale : OrcaRouter place plus de 200 modèles texte, image et vidéo derrière une seule clé aux tarifs catalogue des fournisseurs, sans majoration, de sorte que le résumeur, l’indexeur ou le classificateur qui consomme l’une ou l’autre transcription peut être remplacé ou basculé en cas de défaillance sans nouveau contrat — et une baisse de prix du fournisseur sur ce modèle est effective ici le jour même. Ni Whisper Large v3 Turbo ni SOV-Transcribe-1 ne sont servis via celui-ci ; ce sont tous deux des poids que vous exécutez vous-même, et le routage commence avec le texte qu’ils produisent.

Qu’est-ce qui rendrait cette comparaison obsolète ?

Deux choses, et les deux sont plausibles dans un cycle de publication. La première est un checkpoint SOV quantifié. L'avantage pratique de Whisper Large v3 Turbo, c'est qu'il tient partout ; une version 4 bits d'un modèle de 26,6 B demanderait encore un GPU conséquent, mais une publication FP8 ou NVFP4 — du genre que NVIDIA a livrée dès le premier jour pour Nemotron 3.5 Transcribe — ferait passer le modèle Salesforce de « pièce de centre de données » à « pièce de station de travail » et ferait tomber une grande partie de l'objection au déploiement. Salesforce a déjà publié une version MLX 4 bits, ce qui suggère la direction.

Le deuxième, ce sont les horodatages et la diarisation qui arrivent dans une version mineure. Les deux sont manifestement absents, les deux sont indispensables pour les produits de réunion et de médias, et les deux sont exactement le genre de chose qu’une fiche modèle v0.2 ajoute. S’ils sont livrés, la seule raison restante d’utiliser Whisper est la centaine de langues — et pour une grande partie des équipes, c’est la seule raison pour laquelle elles l’utilisent aujourd’hui.

D’ici là, la répartition reste stable et facile à justifier : Whisper Large v3 Turbo demeure le choix par défaut approprié pour tout ce qui est multilingue, horodaté, à longue traîne ou limité par le CPU, et SOV-Transcribe-1 est le spécialiste auquel on recourt lorsque l’audio est en anglais, que le vocabulaire est connu et que personne ne lira la sortie avant une machine.