Eine generierte Titelkarte mit der Aufschrift SOV-Transcribe-1 vs Gemini 3.5 Transcribe, wobei auf der linken Karte offene Gewichte, Apache 2.0 und selbst gehostete GPU aufgeführt sind, gegenüber einer rechten Karte mit gehosteter API, 85+ Sprachen und Live-Streaming, und 2,28 % AA-WER gegenüber 2,60 % AA-WER auf der Trennlinie.
Guides & Insights

SOV-Transcribe-1 vs. Gemini 3.5 Transcribe: Drei Zehntel eines Punktes, und alles andere

Autor

Rowan Sterling

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Auf dem Speech-Board von Artificial Analysis liegen die beiden Modelle 0,32 Prozentpunkte auseinander – SOV-Transcribe-1 bei 2,28 % AA-WER, Gemini 3.5 Transcribe bei 2,60 % – und das ist der kleinste Abstand in diesem gesamten Vergleich. Alles andere ist größer. Gemini 3.5 Transcribe deckt über 85 Sprachen gegenüber sieben ab, erkennt bis zu acht Sprecher, wo das Salesforce-Modell keinen erkennt, gibt Zeitstempel auf Wortebene aus und hat einen separaten Live-Endpunkt für Streaming. SOV-Transcribe-1 ist Open Weights unter Apache 2.0, läuft auf einer GPU, die Sie besitzen, und akzeptiert eine Keyword-Liste, die Namen und Tickersymbole messbar korrigiert. Die Wahl zwischen ihnen ist keine Frage der Genauigkeit. Es ist die Frage, ob Sie ein Transkript oder eine Pipeline kaufen.

Was jedes einzelne ist

A screenshot of the Google AI Studio documentation page for Gemini 3.5 Transcribe, captured 13 November 2026, showing the model identifier gemini-3.5-transcribe and an overview describing utterance-based language detection, speaker diarization, word-level timestamps, Smart transcription and custom vocabulary biasing.

SOV-Transcribe-1 ist das erste spracherweiterte Sprachmodell von Salesforce mit offenen Gewichten, veröffentlicht am 12. November 2026 als salesforce-sovereign-intelligence/SOV-Transcribe-1: ein Whisper-large-v3-Encoder, der einen Gemma-4-26B-A4B-Mixture-of-Experts-Decoder speist, insgesamt 26,6 Mrd. Parameter, davon 4,6 Mrd. aktiv, in einem 53-GB-BF16-Checkpoint. Es ist nicht streamingfähig, verarbeitet bis zu 30 Minuten 16-kHz-Audio pro Anfrage und wird durch Anweisungen in der Benutzernachricht statt durch Parameter gesteuert.

Gemini 3.5 Transcribe ist Googles gehostetes Speech-to-Text-Modell, zuletzt aktualisiert im August 2026 und über die Gemini API als gemini-3.5-transcribe erreichbar, mit einem WebSocket-Streaming-Pendant namens gemini-3.5-transcribe-live. Es verarbeitet Audio von bis zu einer Stunde pro Anfrage – dreißig Minuten, wenn Diarisierung oder Zeitstempel aktiviert sind – und liefert Text plus Wortannotationen. Es gibt keine Gewichte zum Herunterladen und keinen Server, den man dimensionieren müsste.

Die Genauigkeitslücke, zerlegt

AA-WER v2 ist ein gewichteter zusammengesetzter Wert: AA-AgentTalk zu 50 %, VoxPopuli-Cleaned zu 25 %, Earnings22-Cleaned zu 25 %. Die Aufteilung der beiden Modelle auf diese Komponenten ist aussagekräftiger als der Gesamtwert, weil der Vorteil des Salesforce-Modells nicht gleichmäßig verteilt ist.

• AA-AgentTalk — SOV-Transcribe-1 bei 1,79 %. Dies ist das halbgewichtete synthetische Konversations-Set, und hier ist das Salesforce-Modell im Vergleich zu allem anderen auf dem Board am stärksten.

• VoxPopuli-Cleaned — SOV-Transcribe-1 bei 1,50 %. Liest parlamentarische Reden, und die europäischen Sprachen in seiner Trainingsmischung sind genau diejenigen, aus denen dieser Datensatz seine Daten bezieht.

• Earnings22-Cleaned — SOV-Transcribe-1 bei 4,06 %. Echte Earnings Calls: Namen, Ticker, Zahlen, Durcheinanderreden. Der schlechteste Anwendungsfall für das Modell – und der, der Unternehmensaudio am nächsten kommt.

Google veröffentlicht für Gemini 3.5 Transcribe keine Komponentenaufschlüsselung für dieselben drei Datensätze, daher lautet die ehrliche Aussage, dass die zusammengesetzte Bewertung Salesforce um 0,32 Punkte begünstigt und das Bild pro Datensatz für Google nicht öffentlich einsehbar ist. Wer einen klaren Sieg bei beispielsweise Callcenter-Audio behauptet, extrapoliert aus einer zusammengesetzten Bewertung, die zur Hälfte auf synthetische Konversation gewichtet ist.

A generated two-column scoreboard titled SOV-Transcribe-1 vs Gemini 3.5 Transcribe, contrasting AA-WER 2.28% against 2.60%, 7 languages against 85+, no diarization against up to 8 speakers, no timestamps against word-level timestamps, no streaming against a live endpoint, and self-hosted GPU against $5.00 per 1,000 minutes.

Wo das gehostete Modell einfach überlegen ist

Vier Funktionen auf der Google-Seite haben keine Entsprechung im Salesforce-Release, und jede einzelne entscheidet über eine Produktkategorie.

• Sprachen — mehr als 85 mit automatischer Erkennung und Code-Switching mitten in der Sitzung, gegenüber sieben europäischen Sprachen. Wenn Ihr Audio Mandarin, Hindi, Arabisch oder Japanisch enthält, kommt SOV-Transcribe-1 nicht in Frage und der Genauigkeitsvergleich ist hinfällig.

• Sprecherstruktur — Diarisierung für bis zu acht Sprecher, wobei die Zuordnung über drei Sprecher hinaus als experimentell gekennzeichnet ist. SOV-Transcribe-1 dokumentiert überhaupt keine Diarisierung; ein Transkript eines Zweiergesprächs kommt als ein einziger, nicht differenzierter Textblock zurück.

• Zeitstempel — wortgenaue Ausgabe am Batch-Endpunkt. Das Modell von Salesforce gibt eine Transkript-Zeichenkette aus, daher müssen Untertitelerstellung oder Compliance-Suche nach Zeitstempel nachgelagert aufgebaut werden.

• Streaming — ein dedizierter Live-Endpunkt mit zehnminütigen Sitzungen und bidirektionalem WebSocket-Transport. SOV-Transcribe-1 ist ausdrücklich nicht für Streaming ausgelegt; es gibt keinen Modus für Teiltranskripte, der aktiviert werden könnte.

Es gibt einen fünften Unterschied, der keine Funktion, sondern eine Einschränkung ist. Googles eigene Dokumentation weist darauf hin, dass Zeitstempel auf Wortebene die Transkriptionsgenauigkeit verringern und nicht mit benutzerdefiniertem Vokabular kompatibel sind, und dass auch die Diarisierung nicht mit Vokabular-Bias kompatibel ist. Beim gehosteten Modell muss man pro Anfrage wählen, welche Funktion man möchte. Beim Salesforce-Modell wählt man einmal – und zwar auf der Ebene von „niemals Diarisierung“.

Wo das offene Modell vorne liegt – jenseits des Scores

Die naheliegende Antwort ist Datenresidenz, und für einen großen Teil der Käufer ist sie die richtige: Apache-2.0-Gewichte auf Hardware, die Sie kontrollieren, bedeuten, dass Audio das Gebäude nie verlässt. Für Callcenter-Aufzeichnungen im Finanzdienstleistungs- oder Gesundheitswesen ist das häufig eine harte Anforderung und keine Präferenz, und keine gehostete API erfüllt sie, unabhängig von der WER.

Die weniger offensichtliche Antwort ist Biasing. Auf Contextual Earnings-22 hebt SOV-Transcribe-1 den Keyword-F1 von 71,9 ohne Hinweise auf 96,8, wenn ihm die eigenen Keywords des Clips gegeben werden, und hält 94,0, wenn ihm die Keyword-Liste der gesamten Stunde übergeben wird, wobei die meisten Einträge Störfaktoren sind. Gemini bietet ebenfalls benutzerdefiniertes Vokabular-Biasing, mit bis zu 1.000 Begriffen, wobei die besten Ergebnisse bei etwa 100 berichtet werden – aber es lässt sich nicht mit der Diarisierung oder den Zeitstempeln kombinieren, die Sie vielleicht ebenfalls möchten. Wenn Entitätsgenauigkeit das Produkt ist, können beide Modelle das leisten; nur eines von ihnen kann es leisten und zugleich Sprecherlabels ausgeben.

Die Stilsteuerung ist der dritte Punkt. SOV-Transcribe-1 wurde darauf trainiert, Anweisungen zu befolgen – wörtlich versus bereinigt, Ziffern versus Wörter, Füllwörter beibehalten oder weggelassen – und Salesforce meldet 5,05 % preference-aware WER mit der gegebenen Anweisung. Googles Äquivalent ist „Smart transcription“, das Füllwortentfernung und absichtsbewusste Formatierung abdeckt, aber eher ein Modus als eine Anweisungsoberfläche ist.

Der Kostenvergleich, auf den es wirklich ankommt

Google veröffentlicht Gemini 3.5 Transcribe zu 2,00 US-Dollar pro Million Audio-Eingabe-Token und 12,00 US-Dollar pro Million Ausgabe-Token, was die Preisseite auf ungefähr 0,003 US-Dollar pro Minute für die Eingabe und 0,002 US-Dollar pro Minute für die Ausgabe bzw. etwa 0,005 US-Dollar pro Minute gemischt umrechnet. Das Board von Artificial Analysis führt dasselbe Modell zu 5,00 US-Dollar pro 1.000 Minuten. So oder so kosten tausend Minuten Audio etwa fünf US-Dollar.

SOV-Transcribe-1 hat keinen Minutenpreis, weil Salesforce keinen Endpunkt verkauft. Die vergleichbare Kennzahl ist der Durchsatz: Mit nativer vLLM-Unterstützung und dem DFlash-Draft-Modell transkribiert eine RTX PRO 6000 Blackwell Server Edition bis zu 1.039 Sekunden Audio pro Sekunde. Bei dieser Rate schafft eine einzelne Karte tausend Minuten in ungefähr einer Minute Wanduhrzeit, sodass der Break-even gegenüber einer API für 5 US-Dollar pro 1.000 Minuten bei jedem ernsthaften Volumen erreicht wird – und überhaupt nie erreicht wird, wenn Sie drei Stunden pro Woche transkribieren und die Karte dafür stundenweise mieten müssten.

Zu dieser Rechnung gehören zwei Vorbehalte. Die Zahl 1.039 ist eine Messung aus einem vLLM-Entwicklungsbuild vom November 2026 mit max_num_seqs=64; das ist auch die Einstellung, die erforderlich ist, um das Startup-Profiling unter 96 GB zu halten, sobald das Draft-Modell geladen ist. Und die Integration ist ein auf vLLM 0.32.0 festgelegtes Plugin, wobei die native Upstream-Unterstützung als noch in Arbeit beschrieben wird. Sie kaufen nicht nur eine GPU; Sie warten einen Serving-Stack.

A screenshot of the OrcaRouter pricing page, captured 13 November 2026, showing the zero-markup guarantee, the note that routing is free and the rate paid is the provider's rate, and per-million-token input, cached input, cache write and output columns for the Anthropic models.

Entscheidungsregeln

Greifen Sie zu Gemini 3.5 Transcribe, wenn eine der folgenden Bedingungen zutrifft: Das Audio ist nicht in einer von sieben europäischen Sprachen, Sie benötigen Sprecherbezeichnungen oder Zeitstempel als vollwertige Ausgabe, Sie benötigen Teiltranskripte, während das Audio noch eintrifft, oder Ihr Volumen ist so niedrig, dass sich eine GPU nie amortisiert. Das Genauigkeitsdefizit von 0,32 Punkten ist ein echter Kostenfaktor, aber es ist ein Kostenfaktor, der an einem zusammengesetzten Maß gemessen wird, das zur Hälfte auf synthetische Konversation gewichtet ist, und es erkauft vier Fähigkeiten, die Sie sonst selbst aufbauen müssten.

Greifen Sie zu SOV-Transcribe-1, wenn das Audiomaterial überwiegend englischsprachig ist und viele Entitäten enthält, wenn das Vokabular im Voraus bekannt ist, wenn die Aufnahmen unter dreißig Minuten lang sind und wenn „das Audio bleibt auf unserer Hardware“ eine Vertragsklausel statt einer Präferenz ist. Die nächtliche Stapeltranskription aufgezeichneter Verkaufsgespräche ist die Arbeitslast, für die dieses Modell eindeutig konzipiert wurde.

Gemischte Systemlandschaften sind das übliche Ergebnis, und der heikle Teil ist nie die Transkription. Es ist die Tatsache, dass die Transkription ein zweites Modell speist – einen Summarizer, einen Klassifizierer, einen QA-Agenten – und ein Wechsel dieses Konsumenten bedeutet einen neuen Anbieter, einen neuen Schlüssel und eine neue Rechnung. OrcaRouter beseitigt diesen Schritt: Über 200 Text-, Bild- und Videomodelle hinter einem Schlüssel zu Listenpreisen der Anbieter ohne Aufschlag, sodass das Modell nach der Transkription ausgetauscht oder ein Failover durchgeführt werden kann, ohne die Transkriptions-Pipeline überhaupt anzufassen. Es hostet keines der beiden Spracherkennungsmodelle und muss es auch nicht. Die Transkriptionsschicht bleibt, wo sie ist; das Routing beginnt mit dem Text, den sie erzeugt.

Das Einzige, was man nicht tun sollte, ist, den Abstand von 0,32 Punkten als Entscheidung zu behandeln. Er ist die kleinste Zahl im Vergleich und für die meisten Teams die am wenigsten folgenreiche.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt · Benchmarks: Artificial Analysis · täglich aktualisiert