SOV-Transcribe-1 so với Whisper Large v3 Turbo: Hai năm và 2,3 điểm WER đáng giá là bao nhiêu

Whisper Large v3 Turbo không phải là đối thủ của SOV-Transcribe-1 theo bất kỳ nghĩa thương mại nào. Nó là mô hình đương nhiệm — một checkpoint 809M tham số, được cấp phép MIT, công bố vào tháng 10 năm 2024, lặng lẽ nằm bên dưới một phần lớn mọi sản phẩm phiên âm đã ra mắt kể từ đó, và vẫn xuất hiện trên các endpoint được host với giá 0,67 USD mỗi nghìn phút. SOV-Transcribe-1 là bên thách thức, được Salesforce công bố vào ngày 12 tháng 11 năm 2026, đạt 2,28% so với 4,62% của Whisper Large v3 Turbo trên chỉ số tổng hợp của Artificial Analysis. Vậy nên câu hỏi không phải là mô hình nào tốt hơn. Mà là liệu việc giảm một nửa tỷ lệ lỗi có đáng để phải tải xuống 53 GB, dùng GPU 96 GB và cả một ngăn xếp phục vụ, trong khi lựa chọn thay thế vừa trong bộ nhớ của một chiếc laptop và chỉ tốn vài xu cho mỗi giờ âm thanh.

Hai năm tiến bộ thực sự đã mang lại những gì

Whisper Large v3 Turbo is a pruned Whisper large-v3 with the decoder cut from 32 layers to 4. O​penAI's own model card is disarmingly direct about it: "the exact same model, except that the number of decoding layers have reduced from 32 to 4. As a result, the model is way faster, at the expense of a minor quality degradation." That sentence describes a compression decision, not an architecture.

SOV-Transcribe-1 là kiểu thay đổi khác. Salesforce vẫn giữ bộ mã hóa Whisper large-v3 — cùng phần đầu vào — và thay thế bộ giải mã bốn lớp bằng một mô hình ngôn ngữ hỗn hợp chuyên gia Gemma 4 26B A4B nằm sau một projector. Khả năng nhận thức âm thanh được kế thừa từ Whisper. Thứ biến âm thanh thành chữ là một mô hình ngôn ngữ đa dụng có kích thước lớn gấp ba mươi lần toàn bộ checkpoint Whisper turbo.

• Thông số — Whisper Large v3 Turbo 809M so với SOV-Transcribe-1 26.6B tổng, 4.6B hoạt động.

• Bộ giải mã — 4 lớp Transformer so với một hỗn hợp chuyên gia 26B với 4,6B hoạt động trên mỗi token.

• Kích thước checkpoint — dưới 2 GB so với khoảng 53 GB ở BF16.

• Ngôn ngữ — khoảng một trăm so với bảy. Điều này lại diễn ra theo chiều ngược lại, và diễn ra rất quyết liệt.

• Dấu thời gian — đầu ra ở cấp câu và cấp từ được tích hợp sẵn vào vòng giải mã so với không có tài liệu nào.

• Giấy phép — MIT so với Apache 2.0. Cả hai đều là giấy phép permissive; MIT đơn giản hơn một chút.

• Phần cứng — CPU hoặc một GPU nhỏ so với card cấp RTX PRO 6000 với 96 GB cho cấu hình có bật draft.

Câu cuối đó chính là toàn bộ lập luận được thu nhỏ lại. Một mô hình chạy được ở mọi nơi; mô hình kia chạy trên một linh kiện máy chủ có giá cao hơn toàn bộ hóa đơn đám mây hằng năm của hầu hết các dự án phiên âm.

Phép tính sai số mà không ai thực hiện

Tỷ lệ lỗi từ là một khái niệm trừu tượng cho đến khi bạn chuyển nó thành các chỉnh sửa. Lấy một kho ngữ liệu gồm một nghìn phút lời nói tiếng Anh ở tốc độ hội thoại 150 từ mỗi phút — 150.000 từ. Ở mức 4,62%, Whisper Large v3 Turbo tạo ra khoảng 6.900 từ sai, bị thiếu hoặc bị chèn. Ở mức 2,28%, SOV-Transcribe-1 tạo ra khoảng 3.400. Chênh lệch là khoảng 3.500 từ mà con người không phải tìm và sửa.

Giờ hãy tính giá cho phần sửa lỗi. Một biên tập viên cẩn thận đối chiếu bản ghi với âm thanh với tốc độ có lẽ 200 đến 400 từ mỗi phút, vì vậy 3.500 lỗi ít hơn tương đương khoảng chín đến mười tám phút rà soát thủ công được tiết kiệm trên mỗi nghìn phút âm thanh. Với mức phí đã tính đủ là 30 đô-la một giờ, con số đó là 4,50 đến 9,00 đô-la — so với chi phí phiên âm, ở phía Whisper được lưu trữ, là 0,67 đô-la.

Sự so sánh đó là lý do hầu hết các nhóm không bao giờ chuyển sang. Chi phí con người của lỗi lấn át chi phí máy móc của việc phiên âm lớn hơn một bậc độ lớn, vì vậy một mô hình giảm một nửa lỗi đáng giá gấp mười lần mức giá, và trên thực tế đang cạnh tranh với một mức giá vốn đã không đáng kể. Ngoại lệ là bất kỳ quy trình nào mà không ai xem xét đầu ra cả — lập chỉ mục tự động, tìm kiếm, phân tích, cấp dữ liệu cho tóm tắt — vì ở đó lỗi không được sửa, chúng lan sang bất cứ thứ gì đọc bản phiên âm tiếp theo, và chi phí bậc hai mới là thứ gây hậu quả nặng.

Bản thân chỉ số mà cả hai điểm số cùng nằm trên là một hỗn hợp — một nửa là hội thoại tác nhân tổng hợp, một phần tư là bài phát biểu quốc hội được đọc, một phần tư là các cuộc gọi thu nhập thực tế — và hai mô hình hành xử rất khác nhau trên mỗi một phần ba. Các thành phần của Whisper Large v3 Turbo lần lượt là 3,52%, 3,97% và 7,49%; của SOV-Transcribe-1 là 1,79%, 1,50% và 4,06%. Khoảng cách lớn nhất ở bài phát biểu quốc hội được đọc — 1,50% so với 3,97%, gấp 2,6 lần — và nhỏ nhất ở các cuộc gọi thu nhập, nơi cả hai mô hình đều gặp khó khăn và khoảng cách là 4,06% so với 7,49%. Nếu âm thanh của bạn là giọng đọc rõ ràng, việc nâng cấp là một thay đổi lớn. Nếu đó là âm thanh tài chính lộn xộn có nhiều người nói, cả hai mô hình đều tệ và mô hình mới hơn chỉ là ít tệ hơn mà thôi.

Vì sao Whisper vẫn thắng ở khâu hóa đơn

Hãy bắt đầu với so sánh dạng dịch vụ lưu trữ, vì đây là kiểu mà hầu hết các nhóm thực sự phải đối mặt. Whisper Large v3 Turbo có sẵn với giá 0,67 USD cho mỗi nghìn phút từ ít nhất một nhà cung cấp dịch vụ lưu trữ trên bảng xếp hạng Artificial Analysis, ở hệ số tốc độ đo được là 339,5 — tức là 339,5 giây âm thanh mỗi giây thời gian thực. SOV-Transcribe-1 hoàn toàn không có giá dịch vụ lưu trữ theo phút. Salesforce đã công bố trọng số mô hình, không phải một endpoint, và không có mục nào trên bảng xếp hạng đưa ra con số cho mỗi 1.000 phút đối với nó.

Vậy là phép so sánh trở thành đô-la so với giờ GPU, và thẻ mô hình đưa ra những con số đầy đủ đến bất thường cho phép so sánh này. Với hỗ trợ vLLM gốc và mô hình nháp DFlash, một RTX PRO 6000 Blackwell Server Edition phiên âm tới 1,039 giây âm thanh mỗi giây. Chạy hết công suất chiếc card đó trong một giờ, nó xử lý 3.74 triệu giây âm thanh — 62,340 phút. Với chi phí thuê vài đô-la một giờ, con số đó vào khoảng ba xu cho mỗi nghìn phút âm thanh, rẻ hơn hai mươi lần so với endpoint Whisper được host rẻ nhất trên bảng so sánh.

Con số đó là có thật và cũng là con số gây hiểu lầm nhiều nhất trong bài viết này, vì nó giả định rằng card không bao giờ rảnh. Chuyển âm thanh thành văn bản có tính đột biến: một lượng tồn đọng đến qua đêm, được xử lý hết, rồi GPU ngồi ở mức sử dụng bằng không trong hai mươi giờ. Ở mức 1.039 giây âm thanh mỗi giây, một card duy nhất xử lý xong một nghìn giờ âm thanh trong chưa đầy một giờ. Gần như không ai có một nghìn giờ âm thanh mỗi ngày. Kết luận trung thực là việc tự vận hành một trong hai mô hình là quyết định kinh tế về mức sử dụng, không phải về kích thước — và rằng một khi bạn đã quyết định chạy một card, chi phí biên của mô hình tốt hơn gần như bằng không.

Ba điều Whisper làm được mà mô hình mới không thể

Độ phủ ngôn ngữ là điểm đầu tiên, và khoảng cách không hề nhỏ. Thẻ mô hình của Whisper Large v3 Turbo liệt kê gần một trăm ngôn ngữ, từ tiếng Anh và tiếng Quan Thoại cho đến tiếng Wales, tiếng Malta, tiếng Hawaii, tiếng Lào và tiếng Sundan. SOV-Transcribe-1 chỉ bao gồm tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha, tiếng Ý, tiếng Bồ Đào Nha và tiếng Hà Lan. Với bất kỳ nhóm nào có âm thanh không thuộc châu Âu, cuộc so sánh này không có phương án thứ hai — Whisper không phải lựa chọn tiết kiệm, mà là lựa chọn duy nhất giữa hai bên.

Dấu thời gian là thứ hai. Vòng lặp giải mã của Whisper dự đoán chúng một cách nguyên bản, và pipeline Transformers cung cấp chúng ở độ chi tiết cấp câu hoặc cấp từ thông qua một đối số duy nhất; đó là cách phụ đề, dấu chương và tìm kiếm tuân thủ đã được xây dựng trên Whisper trong hai năm. Thẻ mô hình của SOV-Transcribe-1 ghi lại phiên âm, kiểm soát phong cách và thiên lệch ngữ cảnh, và không có gì về dấu thời gian. Khôi phục chúng ở hạ nguồn nghĩa là chạy một bộ căn chỉnh cưỡng bức trên đầu ra, đây là một mô hình khác, một phụ thuộc khác và một nguồn lỗi khác.

Dịch giọng nói là thứ ba. Whisper có thể nhận âm thanh ở bất kỳ ngôn ngữ nguồn nào của nó và xuất trực tiếp văn bản tiếng Anh, như một tác vụ giải mã thay vì một giai đoạn đường ống thứ hai. SOV-Transcribe-1 phiên âm bằng chính ngôn ngữ được nói. Nếu bạn cần phụ đề cho một phim tài liệu tiếng Nhật, Whisper làm việc đó trong một lần gọi và mô hình Salesforce hoàn toàn không làm được.

Whisper's documented weaknesses deserve equal billing, since they are the strongest argument for moving. O​penAI's own card warns that the model hallucinates — producing text that was not spoken — because it was trained on weakly supervised, noisy data, and that this is worse in low-resource languages. It also notes that the sequence-to-sequence architecture is prone to repetition, only partly mitigated by beam search and temperature fallback. Those are exactly the failure modes that make an unreviewed pipeline dangerous, and they are what two years of architecture work was aimed at.

Một cuộc di trú thực sự trông như thế nào

Gần như không ai thay thế Whisper bằng SOV-Transcribe-1. Người ta định tuyến qua lại giữa hai mô hình, và quy tắc định tuyến tự hiện ra từ đặc tả: nếu âm thanh là tiếng Anh hoặc một trong sáu ngôn ngữ được hỗ trợ còn lại, chỉ có một người nói, dưới ba mươi phút và nhiều thực thể, hãy gửi đến mô hình mở kèm danh sách gợi ý; nếu không thì để nguyên trên Whisper. Kết quả Contextual Earnings-22 của Salesforce — F1 từ khóa tăng từ 71.9 khi không có gợi ý lên 96.8 với chính các từ khóa của đoạn clip, và vẫn giữ 94.0 khi được đưa toàn bộ danh sách từ khóa của cả giờ làm yếu tố gây nhiễu — chính là năng lực cụ thể khiến việc phân chia này trở nên đáng giá, vì đó là điều mà định hướng bằng lời nhắc tiền tố của Whisper không làm tốt gần bằng.

Cái giá của việc tách đó là hạ tầng trùng lặp và hai định dạng đầu ra: SOV-Transcribe-1 trả về một chuỗi bản ghi, Whisper trả về văn bản kèm các khối dấu thời gian, và mọi thứ ở hạ nguồn đều phải chấp nhận cả hai. Trên thực tế, hầu hết các nhóm chuẩn hóa về schema bản ghi của riêng họ tại ranh giới và không còn quan tâm mô hình nào đã tạo ra nó.

Điều gì xảy ra sau bản ghi là phần mở rộng theo lưu lượng, và đó là nơi một router phù hợp hơn là nhà cung cấp giọng nói thứ hai: OrcaRouter đặt hơn 200 mô hình văn bản, hình ảnh và video sau một khóa với giá niêm yết của nhà cung cấp, phụ thu 0%, để trình tóm tắt, lập chỉ mục hoặc phân loại tiêu thụ một trong hai bản ghi có thể được hoán đổi hoặc chuyển dự phòng mà không cần hợp đồng mới — và việc nhà cung cấp giảm giá cho mô hình đó có hiệu lực tại đây ngay trong ngày. Không có Whisper Large v3 Turbo hay SOV-Transcribe-1 nào được phục vụ qua đó; cả hai đều là trọng số bạn tự chạy, và việc định tuyến bắt đầu với văn bản chúng phát ra.

Điều gì sẽ khiến việc so sánh này trở nên lỗi thời

Hai điều, và cả hai đều hợp lý trong một chu kỳ phát hành. Đầu tiên là một checkpoint SOV được lượng tử hóa. Lợi thế thực tế của Whisper Large v3 Turbo là nó có thể chạy ở bất cứ đâu; một bản dựng 4-bit của mô hình 26,6B vẫn sẽ cần một GPU mạnh, nhưng một bản phát hành FP8 hoặc NVFP4 — loại mà NVIDIA đã phát hành ngay ngày đầu cho Nemotron 3.5 Transcribe — sẽ đưa mô hình của Salesforce từ "thành phần trung tâm dữ liệu" thành "thành phần máy trạm" và thu hẹp phần lớn phản đối về triển khai. Salesforce đã công bố một bản dựng MLX 4-bit rồi, điều này cho thấy hướng đi.

Điều thứ hai là dấu thời gian và phân tách người nói xuất hiện trong một bản phát hành điểm. Cả hai đều vắng mặt một cách đáng chú ý, cả hai đều là yêu cầu tối thiểu đối với các sản phẩm họp và truyền thông, và cả hai đều đúng kiểu thứ mà một thẻ mô hình v0.2 bổ sung. Nếu chúng được đưa vào, lý do còn lại duy nhất để chạy Whisper là hàng trăm ngôn ngữ — và với phần lớn các đội, đó là lý do duy nhất họ chạy nó hiện nay.

Cho đến lúc đó, sự phân chia này vẫn ổn định và dễ lý giải: Whisper Large v3 Turbo vẫn là mặc định đúng đắn cho mọi tác vụ đa ngôn ngữ, có dấu thời gian, long-tail hoặc bị giới hạn CPU, còn SOV-Transcribe-1 là chuyên gia bạn chọn khi âm thanh là tiếng Anh, từ vựng đã biết và không ai sẽ đọc đầu ra trước khi máy xử lý.