一張生成的標題卡,上面寫著 SOV-Transcribe-1,副標題為開放權重語音轉文字,並有一條橫幅寫著總計 26.6B、活躍 4.6B、Apache 2.0,統計圖塊顯示 2.28% AA-WER、7 種語言與 30 分鐘音訊,還有一個 Salesforce 2026 年 11 月 12 日徽章。
Guides & Insights

{{1}}SOV-Transcribe-1{{/1}} 是最準確的開放語音模型。它也是最不方便的。

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Salesforce 的 SOV-Transcribe-1 是任何人發表過最好的開放權重語音辨識器。在 Artificial Analysis 的非串流排行榜上,它拿下 2.28% AA-WER,低於除了少數幾款之外的所有專有模型,也明顯低於所有可下載模型——Nemotron 3.5 Transcribe 為 2.81%,而長期服役的 Whisper Large v3 Turbo 則為 4.62%。問題也明載於同一張模型卡:SOV-Transcribe-1 為非串流、涵蓋七種語言、以 53 GB BF16 檢查點形式提供,且需由你在自己的 GPU 上部署服務。它於 2026 年 11 月 12 日以 Apache 2.0 授權發布,而準確率並不是這個故事有趣的地方。有趣的是:要把那份準確率變成可運作的管線,得付出什麼代價。

Salesforce 到底在 Hugging Face 上放了什麼

A screenshot of the Hugging Face model card for salesforce-sovereign-intelligence/SOV-Transcribe-1, captured 13 November 2026, showing the Apache 2.0 licence, 34 likes, the non-streaming ASR description, and the claim of first place among open-weight non-streaming speech models on Artificial Analysis and seventh overall.

該儲存庫是 salesforce-sovereign-intelligence/SOV-Transcribe-1,於 11 月 10 日建立,並在 11 日再度更新;發布貼文與 Artificial Analysis 的排名則都在 12 日出現。它是 Salesforce 首個開放權重的語音增強語言模型,這是一項具體的架構主張,而非行銷話術:音訊編碼器將輸出饋入投影器,再由大型混合專家解碼器寫出轉錄稿。

• 規模 — 總參數 26.6B,每個 token 的活躍參數為 4.6B,且這兩項數字都包含音訊編碼器。這樣的參數搭配正是此次發布所主打的重點,因為它讓模型站上「每活躍參數準確度」的前沿,而非「每總參數準確度」的前沿。

• Architecture — a Whisper large-v3 audio encoder, a small projector that stacks four encoder frames into one embedding, and a Gemma 4 26B A4B mixture-of-experts text decoder. The audio path is inherited, the language path is G​oogle's, and the contribution is the adaption between them.

• 精度 — BF16 權重,MoE 路由器保留在 FP32。此檢查點由十六個 safetensors 分片組成,總計約 53 GB,因此這裡的「開放權重」意味著一次下載在 BF16 下無法放進單張 48 GB 顯示卡。

• 音訊 — 16 kHz 單聲道輸入,經測試每段錄音最長可達 30 分鐘。更長的檔案需由呼叫端自行處理:建議的替代做法是在語音邊界處分割,再進行串接。

• 語言 — 英文、法文、德文、西班牙文、義大利文、葡萄牙文和荷蘭文。共七種,全屬歐洲語言,而在 Salesforce 公布的每一項基準測試中,英文皆佔主導地位。

• 控制 — 使用者訊息中的指示。逐字輸出或整理後的輸出、標點與大小寫、數字以阿拉伯數字或文字拼寫,以及使用關鍵詞列表或描述領域的句子進行可選的上下文偏置。

• 框架 — 一個綁定 vLLM 0.32.0 的 vLLM 外掛,或是搭配該儲存庫自有的建模程式碼使用 Transformers 5.19 至 5.22。原生上游支援被描述為仍在開發中,尚未推出。

• 推測性解碼——一個獨立的 DFlash 草稿模型 SOV-Transcribe-1-DFlash,一次提出十五個權杖。Salesforce 測得單一請求服務的解碼速度提升 2–3 倍,準確度則「在每次執行間的變異範圍內」。

2.28% 是從哪裡來的

Artificial Analysis 並未發布單一的 WER。其 AA-WER v2 指數是由三個資料集組成的加權複合指標:{{1}}AA-AgentTalk{{/1}} 佔 50%、{{2}}VoxPopuli-Cleaned-AA{{/2}} 佔 25%,以及 {{3}}Earnings22-Cleaned-AA{{/3}} 佔 25%。這個權重很重要,因為這三個組成部分對這個模型的評估相差近三倍。

A screenshot of the Artificial Analysis Speech to Text leaderboard, captured 13 November 2026, showing the streaming toggle, the non-streaming word error rate index, the speed factor in audio seconds per second, and price per 1,000 minutes of audio.

• AA-AgentTalk — 1.79% 詞錯誤率,這個合成對話集佔指數權重的一半。

• VoxPopuli-Cleaned — 1.50%,來自歐洲議會錄音的朗讀語音。這是該模型表現最佳的面向,也是最接近其七語言訓練混合內容的一項。

• Earnings22-Cleaned — 4.06%,包含人名、股票代號與數字的真實財報電話會議。這是模型表現最差的場景,也是最接近實際企業音訊的一項。

The ranking claim needs two numbers, not one. Artificial Analysis' own summary of the open-weight field is that SOV-Transcribe-1 leads it, with Mistral's Voxtral Small at 2.77% second and NVIDIA's Nemotron 3.5 Transcribe at 2.81% third — sixteen open-weight entries among 65 evaluated. Across the whole board, Artificial Analysis announced the model as seventh of 44 overall on 12 November. The board we read on 13 November places SOV-Transcribe-1 eighth, behind seven proprietary and newer systems including A​libaba's Fun-Realtime-ASR-preview, ElevenLabs Scribe v3 and Microsoft's MAI-Transcribe-2. Both statements are true on their own date; only one of them is true today.

廠商自家提供的數字,以及這些數字有多少參考價值

本節中的所有內容皆由 Salesforce 回報。公司外部從未重現過其中任何內容,而且其中兩項基準並未公開,這意味著外部任何人即使在原則上也無法重現它們。

• 實體準確率——在由 BeSimple 營運的私人排行榜 VoiceCodeBench 上,SOV-Transcribe-1 有 76.3% 的錄音直接全數通過(每個目標實體都正確),並找回 93.4% 的實體。Salesforce 表示,這在開放權重系統中排名第一,在 23 個系統中總排名第二。由於該資料集為私有,唯一可得的證據是廠商摘要。

• 口音 — 在 AppTek Call-Center Dialogues 的十四種英語口音上,平均 WER 為 8.21%,並在其中八種口音上取得最低錯誤率。對任何經營客服專線的人來說,這是本次發布中最有用的數字,也是最難查證的。

• 雜訊與幻覺——在 HALAS 上的 WER 為 25.69%,這是一組人工標註的財報電話會議資料集,因幻覺風險而入選。比較對象是各家廠商自行公布的數據:Qwen3-ASR 1.7B 為 26.01%、Voxtral Small 24B 為 27.35%、Nemotron 3.5 Transcribe 為 31.59%,以及 Granite Speech 5.0 2B 為 34.51%。25.69% 的錯誤率仍相當於每四個詞就錯一個,而與下一個模型的差距為 0.32 個百分點。

• 風格遵循——當所要求的格式以指令形式給出時,偏好感知 WER 為 5.05%,僅次於 IBM 的 Granite Speech 5.0 2B 的 4.70%。指令遵循的說法確實成立,但並非領先。

• 上下文偏置——在 Contextual Earnings-22 上,關鍵詞 F1 在沒有提示時為 71.9,提供片段本身的關鍵詞後升至 96.8;即使拿到整小時的關鍵詞清單(其中大多數是干擾詞),仍能達到 94.0。這是發布中最有說服力的單一結果,因為干擾詞密集的偏置正是樸素關鍵詞增強通常會失效的地方。

帳單會在上菜時送達

SOV-Transcribe-1 沒有託管定價。Salesforce 發布的是權重,而非端點,且 Artificial Analysis 榜單上也沒有任何第三方推論主機顯示其每 1,000 分鐘的數字。因此,成本比較並非以每分鐘多少美元對比 API,而是以 GPU 小時對比 API;而模型卡為這項計算提供了異常完整的數字。

• 輸送量 — 在原生 vLLM 支援及啟用 DFlash 草稿的情況下,一張 RTX PRO 6000 Blackwell Server Edition(96 GB)每秒最多可轉錄 1,039 秒的音訊,並在 0.22 秒內回傳 30 秒錄音的轉錄稿。這是 2026 年 11 月以 vLLM 開發版建置、在單張卡上測得的批次服務數據。

• 依音訊片段長度而定的延遲 — 未使用草稿模型時:長達 10 秒的音訊為 0.16 秒,10–30 秒為 0.44 秒,30–60 秒為 0.88 秒,1–5 分鐘為 2.78 秒。使用 DFlash 時:0.09、0.15、0.31 和 1.26 秒。

• 記憶體 — 載入草稿模型後,必須將 max_num_seqs=64 設為 64,才能讓啟動剖析維持在 96 GB 顯示卡的範圍內。vLLM 預設的 1,024 個並行序列會導致記憶體不足。這個模型需要一張專用顯示卡,而不是只分到其中一部分。

• 比較基準——在 Artificial Analysis 榜單上,最便宜的專有方案為每 1,000 分鐘音訊收費 1.67 至 5.00 美元。以每秒處理 1,039 秒音訊的速度,單張卡約一分鐘的實際時間就能處理完 1,000 分鐘,因此相較於每 1,000 分鐘 5.00 美元的 API,用量大時很快就能達到損益平衡——而如果你的用量只是每週幾小時,那永遠也達不到。

發表文章未多加著墨的三個缺口

The first is streaming. SOV-Transcribe-1 is non-streaming by design. G​oogle's G​emini 3.5 Transcribe has a separate live endpoint, O​penAI's G​PT Transcribe accepts realtime transcription sessions over WebSocket, and Nemotron 3.5 Transcribe handles long recordings with timestamp output. If your product is live captions or a voice agent that needs partial transcripts, this model is not in the conversation, whatever its WER.

The second is speaker structure. The model card documents transcription, style control and context biasing. It does not document speaker diarization or word-level timestamps, and those are the two features that turn a transcript into something a compliance team or a meeting product can index. G​emini 3.5 Transcribe handles up to eight speakers; Nemotron 3.5 Transcribe advertises speaker-attributed transcription and timestamp prediction. SOV-Transcribe-1 asks you to recover that structure downstream.

The third is language coverage. Seven languages is narrow next to Nemotron's forty and G​emini's 85-plus, and it is narrow in a specific direction: all seven are European, and the multilingual benchmarks Salesforce published are consistent with that. If your audio is Portuguese and Dutch, this is arguably the best open model available. If it is Hindi, Japanese or Arabic, it is not an option.

兩個較小的事項應列在同一份清單上。技術報告的連結標示為「即將推出」,因此訓練資料、模型卡所示範圍以外的評估協定,以及失敗分析,全都仍付之闕如。而原生 vLLM 支援目前仍是外掛;模型卡指出 Salesforce 的目標是將其上游化,這意味著你現在採用的整合方式可能必須變更。

當這反正就是正確的模型時

準確度設定檔指向特定買家。實體密集的英文音訊——帳號號碼、電子郵件地址、藥物名稱、股票代號——正是 2.28% AA-WER 與 Contextual Earnings-22 結果的組合真正發揮效益之處。一條已經熟悉通話詞彙、並能將其作為提示清單交給模型的管線,可獲得可量測的提升,而通用 API 若沒有同樣的偏置支援,將無法匹敵。

資料落地是第二個情境。在自己的硬體上執行 Apache 2.0 權重,意味著音訊永遠不會離開所在場所;對於受監管產業的客服中心錄音而言,這往往是決定性的限制,而非可有可無的加分項。當工作負載是夜間批次轉錄錄音通話時,30 分鐘的上限與缺乏串流功能都是可接受的代價。

具有固定風格的聽寫是第三項。能以指令控制逐字輸出與整理後輸出、數字格式及去除填充詞,這是相較於 Whisper 衍生管線的真正差異點;在那些管線中,提示只是文字前綴,而不是模型受訓時被要求遵循的指令。

對任何要將此接入更大系統的人來說,有一個實用提醒:逐字稿通常是其他東西的輸入——摘要工具、QA 代理、工單分類器。第二跳正是路由器派上用場的地方。OrcaRouter 將200+ 文字、圖像和影片模型置於同一把金鑰之後,並將供應商列表定價以 0% 加成原樣傳遞,因此讀取 SOV-Transcribe-1 輸出的模型可以替換或容錯切換,而無需第二份合約。它本身不託管 SOV-Transcribe-1;語音模型在你的 GPU 上執行,而路由則從文字產生之處開始。

A generated single-model scoreboard titled SOV-Transcribe-1, the scoreboard, listing AA-WER composite 2.28%, AA-AgentTalk 1.79%, VoxPopuli-Cleaned 1.50%, Earnings22-Cleaned 4.06%, throughput 1,039 audio-seconds per second, and hosted price none published, with a footer noting WER per Artificial Analysis and throughput vendor-reported on one RTX PRO 6000.

什麼仍未被證實?

有三件事將決定這個模型在六個月後是否仍和發布當週一樣出色。第一是獨立重現實體與口音的數據:VoiceCodeBench 是私有的,而 AppTek 只是單一供應商的語料庫,因此最具商業重要性的那些說法,反而擁有最少的外部證據。第二是在冗長、雜亂、多說話者的音訊上的穩健性,而 4.06% 的 Earnings22 數字是唯一的公開訊號——真實,但範圍狹窄。第三是服務部署這件事是否會變得更簡單。一個綁定單一版本的 vLLM 外掛、53 GB 的下載量,以及 64 個序列的上限,都是阻力;而上游支援與量化建置版本將能消除這些阻力。

截至目前,誠實的總結是:Salesforce 已發布目前可用最準確的開放語音辨識器,並且對這項取捨的輪廓異常透明:七種語言、三十分鐘、不支援串流、一張 GPU。這項取捨是否適合你,取決於你的音訊,而不是排行榜。