SOV-Transcribe-1 vs Nemotron 3.5 Transcribe: Cách nhau mười lăm ngày, và chỉ một trong hai là sản phẩm

Mô hình nhận dạng giọng nói trọng số mở đã đổi chủ hai lần chỉ trong hai tuần. NVIDIA công bố Nemotron 3.5 Transcribe vào ngày 28 tháng 10 năm 2026; Salesforce công bố SOV-Transcribe-1 vào ngày 12 tháng 11. Trên chỉ số tổng hợp của Artificial Analysis, mô hình mới hơn thắng: SOV-Transcribe-1 đạt 2,28% AA-WER so với 2,81% của Nemotron 3.5 Transcribe. Đó là toàn bộ lời chào hàng, và nó mỏng manh hơn vẻ ngoài. NVIDIA đã tung ra tính năng phân tách người nói, dấu thời gian theo từ, bốn mươi ngôn ngữ, bản ghi dài một giờ, ba định dạng lượng tử hóa, một báo cáo kỹ thuật được công bố và một bộ công cụ phục vụ kèm cookbook. Salesforce tung ra con số tốt nhất trên bảng xếp hạng và một model card nói rằng báo cáo kỹ thuật sẽ sớm ra mắt. Nếu bạn đang chọn một mô hình để đưa vào sản phẩm chứ không phải để leo bảng xếp hạng, thì khoảng cách độ chính xác không phải là trục quan trọng.

Hai kiến trúc, hai canh bạc hoàn toàn khác biệt

Nemotron 3.5 Transcribe là một mô hình ngôn ngữ mixture-of-experts lai giữa Mamba-2 và Transformer — Nemotron 3.5 Lightning 30B A3B — khoác lên mình một bộ mã hóa chuyên gia song song: một bộ mã hóa ASR Transformer khoảng 600 triệu tham số và một bộ mã hóa người nói riêng biệt 99 triệu tham số, cùng một đầu CTC để căn chỉnh dấu thời gian. Tổng cộng 34 tỷ tham số, 4,3 tỷ tham số hoạt động bao gồm cả bộ mã hóa âm thanh.

SOV-Transcribe-1 đi theo hướng ngược lại. Nó lấy một bộ mã hóa Whisper large-v3 có sẵn, gắn thêm một projector, rồi đưa kết quả cho bộ giải mã Gemma 4 26B A4B — tổng 26,6B, 4,6B hoạt động. Trong khi NVIDIA xây dựng một front end giọng nói và gắn mô hình ngôn ngữ của riêng mình, thì Salesforce gắn một mô hình ngôn ngữ đa dụng vào một front end giọng nói mà ai cũng đã có. Đó là lý do vì sao checkpoint SOV có kích thước 53 GB ở BF16 và bản phát hành Nemotron BF16 cần H100 80 GB: mô hình Salesforce mang tổng trọng số ít hơn, và nó mang chúng ở định dạng chưa có biến thể lượng tử hóa nào được phát hành.

• Tổng số tham số — SOV-Transcribe-1 26,6B so với Nemotron 3.5 Transcribe 34B, cả hai đều tính cả bộ mã hóa âm thanh.

• Tham số hoạt động — 4,6B so với 4,3B. Thực chất là một thế hòa, và đó chính là điểm thú vị: Salesforce đạt tỷ lệ lỗi thấp hơn từ một tập hoạt động lớn hơn một chút và tổng số nhỏ hơn đáng kể.

• Giới hạn âm thanh — 30 phút so với 1 giờ, với ngữ cảnh 65.536 token ở phía NVIDIA.

• Ngôn ngữ — 7 ngôn ngữ châu Âu so với 40, với khả năng chuyển mã được hỗ trợ trên ma trận Nemotron.

• Độ chính xác — chỉ BF16 (router FP32) so với các checkpoint BF16, FP8 và NVFP4, trong đó loại cuối cùng chạy trên RTX 5090.

• Giấy phép — Apache 2.0 so với OpenMDW-1.1. Apache là lựa chọn thoáng hơn trong hai loại, hơn hẳn, và với một số nhóm pháp lý, chỉ riêng điều đó đã đủ để quyết định.

Một bài kiểm chuẩn mà cả hai nhà cung cấp đều thực hiện, với những con số không khớp nhau

Đây là phép so sánh hữu ích nhất trong bài viết, vì đây là chỗ duy nhất có thể đặt hai thẻ mô hình cạnh nhau trên cùng một bài kiểm tra. VoiceCodeBench đo khả năng phiên âm các giá trị có cấu trúc — địa chỉ email, đường dẫn tệp, mã định danh, số tài khoản — và báo cáo hai chỉ số: canonical token và entity match, tức mức độ nội dung mục tiêu được khôi phục, và task success rate, tức tỷ lệ các bản ghi âm mà mọi giá trị mục tiêu đều được nhận đúng.

Thẻ của NVIDIA công bố cả hai: 88,53% CTEM và 59,33% TSR, cùng với tỷ lệ lỗi từ là 8,38% trên bộ dữ liệu. Thẻ của Salesforce công bố hai con số cho cùng một benchmark: 76,3% đạt mọi thực thể mục tiêu và 93,4% thực thể được khôi phục, được mô tả là đứng đầu trong các hệ thống trọng số mở và thứ hai trong tổng số 23. Những con số đó lần lượt tương ứng với TSR và CTEM, và cách ánh xạ này không khớp. Salesforce tuyên bố 76,3% đạt hoàn toàn trong khi NVIDIA báo cáo 59,33% trên cùng chỉ số, và tuyên bố 93,4% khôi phục thực thể trong khi NVIDIA báo cáo 88,53%.

Có những lời giải thích vô hại. VoiceCodeBench là một bảng xếp hạng riêng do bên thứ ba vận hành, điểm số được gắn phiên bản theo thời gian, và hai nhà cung cấp có thể đã gửi các bản chụp khác nhau. Cũng có một lời giải thích không vô hại: một trong hai con số đang được mô tả với độ tin cậy cao hơn mức mà báo cáo của chính benchmark hỗ trợ. Điều mà người đọc có thể kết luận là có giới hạn và đáng được nói thẳng — trên benchmark giá trị có cấu trúc duy nhất mà cả hai mô hình đều được đánh giá dựa trên, mô hình của Salesforce có vẻ tốt hơn một cách đáng kể trong việc làm đúng mọi giá trị, và mức độ lợi thế đó đang bị tranh cãi trong khoảng từ năm đến mười bảy điểm, tùy vào thẻ mô hình của bên nào mà bạn đọc.

Những gì NVIDIA đã tung ra mà Salesforce thì không.

Khoảng cách ở đây không phải là chuyện hơn kém từng chút một. Đây là những năng lực, không phải điểm số, và mỗi năng lực loại bỏ một phần công việc ở khâu sau mà nếu không thì bạn sẽ phải tự xây dựng.

• Phiên âm gán thuộc tính người nói — đánh giá đầy đủ đa người nói trên AMI, CALLHOME, Mixer 6 và NOTSOFAR-1, với cpWER trung bình là 15,80 và kết quả theo từng điều kiện, chi tiết đến từng trường hợp micrô ở xa riêng lẻ. SOV-Transcribe-1 không ghi nhận bất kỳ diarization nào.

• Mốc thời gian của từ — một đầu căn chỉnh CTC trả về văn bản từ cùng thời gian bắt đầu và kết thúc, bản đồ phân đoạn tách người nói và trường lỗi căn chỉnh. Thẻ Salesforce trả về một chuỗi bản ghi lời nói.

• Dịch giọng nói, nhận diện ngôn ngữ và trả lời câu hỏi từ âm thanh — các tác vụ riêng biệt với bộ đánh giá riêng, bao gồm nhận diện ngôn ngữ FLEURS đạt 100% trên một số ngôn ngữ. SOV-Transcribe-1 phiên âm bằng bảy ngôn ngữ và chỉ dừng ở đó.

• Một báo cáo kỹ thuật — được xuất bản dưới dạng PDF, với thành phần dữ liệu huấn luyện được liệt kê chi tiết đến mức rõ từng kho ngữ liệu nào được cấp phép từ ai. Salesforce liên kết báo cáo của mình là "sắp ra mắt".

• Một thang lượng tử hóa và một cẩm nang phục vụ — NVFP4 trên Blackwell tiêu dùng, một đường SGLang-Omni, GGML trên Windows bản địa. Tích hợp Salesforce là một plugin vLLM được ghim ở 0.32.0 với hỗ trợ upstream được mô tả là đang trong quá trình phát triển.

Lưu ý trung thực trong danh sách đó là độ rộng và độ sâu đánh đổi lẫn nhau. Một mô hình được huấn luyện trên 40 ngôn ngữ và bảy nhóm tác vụ sẽ phân tán năng lực của nó; một mô hình chỉ được huấn luyện trên bảy ngôn ngữ châu Âu và riêng việc phiên âm có thể dồn toàn bộ năng lực vào đó. Chênh lệch tổng hợp 0,53 điểm chính là hình thái của sự đánh đổi đó khi nó mang lại kết quả.

Các con số khẩu phần, hãy đọc kỹ.

Cả hai nhà cung cấp đều đo hiệu năng trên cùng một card, khiến phép so sánh này sạch một cách bất thường — và cũng dễ bị hiểu sai một cách bất thường.

• Salesforce, SOV-Transcribe-1 — lên tới 1,039 giây âm thanh mỗi giây trên một RTX PRO 6000 Blackwell Server Edition, với mô hình nháp DFlash được bật, trên bản dựng phát triển vLLM, ở max_num_seqs=64.

• NVIDIA, Nemotron 3.5 Transcribe — xử lý tới 2.238 giây âm thanh mỗi giây trên cùng một card với NVFP4 và giải mã suy đoán DFlash2, trả về bản phiên âm của đoạn clip 30 giây trong 0,13 giây.

Con số của NVIDIA cao hơn gấp đôi, và NVIDIA giải thích lý do trong thẻ của riêng mình: những tối ưu hóa đó nằm trong Nemotron Transcribe NIM và không có trong bản phát hành mã nguồn mở, mà thẻ mô tả là chậm hơn khoảng hai lần và dành cho phát triển mô hình. Vì vậy, so sánh tương đương — vLLM mở với vLLM mở, trên cùng một thẻ — là khoảng 1.119 so với 1.039 giây âm thanh mỗi giây. NVIDIA vẫn dẫn trước, khoảng tám phần trăm, và dẫn trước trong khi cũng là mô hình có nhãn người nói và dấu thời gian trong luồng đầu ra.

Điều đó có nghĩa với người mua là không mô hình nào được mua dựa trên thông lượng. Cả hai đều làm bão hòa một card hiện đại; cả hai đều cần một card riêng. Quyết định là bạn cần đầu ra nào và có thể chạy bản tải xuống nào, và ở câu hỏi thứ hai, Nemotron thắng tuyệt đối, vì một checkpoint NVFP4 chạy trên phần cứng chỉ tốn một phần nhỏ so với linh kiện máy chủ 96 GB, trong khi mô hình Salesforce không có bản phát hành lượng tử hóa nào để chạy.

Khi SOV-Transcribe-1 thực sự là lựa chọn tốt hơn

Ba trường hợp, và trường hợp đầu tiên là trường hợp hiển nhiên. Nếu tiếng Anh là ngôn ngữ và độ chính xác thực thể là sản phẩm, thì 2,28% so với 2,81% trên điểm tổng hợp là một khác biệt thực sự, và mảng yếu nhất của mô hình Salesforce — 4,06% trên Earnings22-Cleaned — vẫn tốt hơn những gì điểm tổng hợp hàm ý về đối thủ cạnh tranh. Trên Contextual Earnings-22, SOV-Transcribe-1 báo cáo F1 từ khóa tăng từ 71,9 lên 96,8 với các gợi ý của chính clip và giữ ở 94,0 khi được cung cấp danh sách từ khóa của cả giờ làm thông tin gây nhiễu. NVIDIA báo cáo số liệu Contextual Earnings22 của riêng mình bằng tỷ lệ lỗi từ thay vì F1, từ 12,54% khi không có ngữ cảnh xuống 9,58% cục bộ, nên hai bên không thể so sánh trực tiếp — nhưng hình dạng của kết quả, rằng danh sách gợi ý có ích và danh sách gợi ý có nhiều thông tin gây nhiễu vẫn có ích, là giống nhau ở cả hai.

Trường hợp thứ hai là cấp phép. Apache 2.0 so với OpenMDW-1.1 không phải là thủ tục hình thức đối với một công ty mà quá trình rà soát pháp lý có những ý kiến về các tác phẩm phái sinh. Nếu bạn dự định tinh chỉnh và phân phối lại, hoặc nhúng mô hình vào một sản phẩm mà bạn bán ra, thì con đường Apache ngắn hơn.

Thứ ba là tính đơn giản về phạm vi. Một mô hình chỉ làm một việc thì trả về một thứ, và một pipeline kỳ vọng một chuỗi bản ghi lời nói sẽ dễ suy luận hơn so với một pipeline nhận một đối tượng có cấu trúc với thẻ người nói, dấu thời gian và trường lỗi căn chỉnh mà nó có thể không cần. Các nhóm muốn tự đảm nhận việc phân tách người nói — bởi vì họ đã chạy một mô hình nhúng người nói mà họ tin tưởng — sẽ nhận được đầu vào sạch hơn từ mô hình hẹp hơn.

Chọn giữa chúng mà không có bảng xếp hạng

Nếu âm thanh là một cuộc họp, một cuộc gọi có nhiều hơn một giọng nói, hoặc bất kỳ thứ gì mà "ai đã nói" là một phần của sản phẩm bàn giao, thì câu trả lời là Nemotron 3.5 Transcribe và câu hỏi về độ chính xác trở nên không còn quan trọng — SOV-Transcribe-1 không thể tạo ra trường đó. Nếu âm thanh không phải tiếng Anh, điều tương tự cũng đúng, thậm chí rõ rệt hơn. Nếu các bản ghi kéo dài quá ba mươi phút hoặc cần chạy trên phần cứng nhỏ hơn một card trung tâm dữ liệu, thì lại là NVIDIA.

Nếu âm thanh là tiếng Anh, chỉ có một người nói hoặc đã được phân tách người nói ở thượng nguồn, dưới nửa giờ, và đầu ra là văn bản có đúng các danh từ riêng, thì SOV-Transcribe-1 là công cụ phiên âm chính xác hơn hiện có trên thị trường và giấy phép Apache loại bỏ một cuộc thương lượng. Đó là một tập hợp khối lượng công việc hẹp hơn so với những gì phạm vi công bố ra mắt ngụ ý, và đó là một tập hợp có thật.

Các pipeline hỗn hợp cũng là kết quả thông thường ở đây, và chúng đặt ra một câu hỏi thực tế mà cả hai thẻ mô hình đều không đề cập: điều gì sẽ đọc bản ghi sau đó. OrcaRouter đưa hơn 200 mô hình văn bản, hình ảnh và video vào sau một khóa với giá niêm yết của nhà cung cấp và mức tăng giá 0%, để bộ tóm tắt hoặc bộ trích xuất ở hạ nguồn có thể được hoán đổi hoặc chuyển sang dự phòng mà không cần hợp đồng thứ hai — hữu ích khi nguồn bản ghi vẫn đang được quyết định. Cả hai mô hình giọng nói này đều không được phục vụ qua đó, và chúng tôi không khẳng định điều ngược lại; việc định tuyến bắt đầu từ nơi văn bản bắt đầu.

Điều đã thay đổi trong hai tuần giữa hai bản phát hành này không phải là mô hình nào đang đứng đầu bảng các mô hình trọng số mở. Mà là bảng đó không còn một câu trả lời rõ ràng, và câu trả lời giờ đây phụ thuộc vào việc bạn đang mua một công cụ phiên âm hay một quy trình xử lý bản ghi. NVIDIA bán loại thứ hai. Salesforce đã công bố loại thứ nhất, và làm điều đó cực kỳ tốt.