Nemotron 3.5 Transcribe so với NVIDIA Parakeet TDT 0.6B: Đối thủ đương nhiệm với 626.000 lượt tải chạm trán bản thay thế

Hơn 626.000 lượt tải xuống trên Hugging Face thuộc về NVIDIA Parakeet TDT 0.6B, mô hình transducer 600 triệu tham số vốn là trình nhận dạng tiếng Anh tự triển khai mặc định kể từ khi ra mắt vào tháng 8 năm 2025. Gần như không ai trong số đó chạy nó một mình: cách triển khai tiêu chuẩn là Parakeet cho phần từ ngữ, một bộ phân tách riêng cho người nói, và một bước hợp nhất để ghép hai đầu ra lại với nhau tại ranh giới phân đoạn. Nemotron 3.5 Transcribe, được phát hành dưới dạng trọng số mở vào ngày 28 tháng 10 năm 2026, là đề xuất của NVIDIA nhằm xóa bỏ lớp trung gian đó — một checkpoint duy nhất thực hiện phiên âm, tách tối đa tám giọng nói và gắn dấu thời gian cho chúng, trong bốn mươi ngôn ngữ, không cần chuỗi xử lý nối tiếp. Nó cũng chậm hơn bốn mươi ba lần tính trên mỗi GPU-giây và kích thước trên đĩa lớn hơn khoảng hai mươi lăm lần, đây chính là phần mà thông báo không đưa lên đầu.

Điều thú vị ở cặp đối đầu này là cả hai mô hình đều thuộc cùng một công ty. Đây không phải là một kẻ thách thức từ bên ngoài đến để soán ngôi một sản phẩm đang ngự trị; mà là NVIDIA đang bán cho bạn một sản phẩm thứ hai, nặng hơn nhiều, để làm nốt nửa phần việc mà sản phẩm đầu tiên của họ chưa từng được thiết kế để làm.

Hai kiến trúc, hai lý thuyết về công việc

Parakeet TDT 0.6B v3 là một encoder FastConformer cấp dữ liệu cho decoder transducer token-và-thời lượng. Một mô hình TDT dự đoán cả token lẫn thời lượng ở mỗi bước, nhờ đó nó có thể bỏ qua các khung và chạy nhanh hơn hẳn thời gian thực; đó chính là toàn bộ lý do khiến nó nhanh. Nó bao phủ 25 ngôn ngữ châu Âu với tính năng tự động nhận diện ngôn ngữ, mang sẵn dấu thời gian ở cấp độ từ, và được phát hành theo giấy phép CC-BY-4.0 — gần như là mức ít ràng buộc nhất mà một giấy phép có thể có. Nó hoàn toàn không có bất kỳ biểu diễn người nói nào — không phải một biểu diễn yếu ớt, mà là không có gì cả.

Nemotron 3.5 Transcribe là một mô hình ngôn ngữ tăng cường giọng nói: một bộ mã hóa giọng nói, một mô hình Nemotron 3 Diarization đóng băng đưa các đặc trưng hoạt động của người nói vào thông qua Parallel Expert Encoder, và một bộ giải mã hỗn hợp chuyên gia Mamba–Transformer lai với khoảng 4 tỷ trong số 30 tỷ tham số của nó hoạt động trên mỗi token. Nó không phân loại từng khung. Nó sinh văn bản, đó là lý do có thể chỉ dẫn nó cách sinh văn bản.

• Tham số — khoảng 30B tổng cộng, khoảng 4B hoạt động mỗi token so với 600M.

• Giải mã — tạo sinh tự hồi quy so với bộ biến đổi token-và-thời lượng, phi tự hồi quy.

• Giấy phép — OpenMDW-1.1 so với CC-BY-4.0.

• Ngôn ngữ — 40 ngôn ngữ được phiên âm, 31 ngôn ngữ được dịch sang hoặc từ tiếng Anh, so với 25 ngôn ngữ châu Âu có tự động nhận diện.

• Người nói — tối đa 8 người, có gán nhãn, bằng 13 ngôn ngữ so với không có.

• Mốc thời gian — căn chỉnh CTC sau giải mã, định thời cấp từ được quy cho người nói so với định thời cấp từ gốc.

• Thông lượng — RTFx 462 trên Open ASR Leaderboard so với RTFx 3,333.

• Độ dài âm thanh và truyền phát — 1 giờ mỗi tệp, chỉ bản ghi so với bản ghi, với một mô hình anh em truyền phát 0.6B xử lý âm thanh trực tiếp riêng biệt.

Các con số độ chính xác thay đổi tùy thuộc vào ai là người dẫn dắt.

Trên chỉ số trung bình dạng ngắn tiếng Anh của Hugging Face Open ASR Leaderboard, Parakeet TDT 0.6B v3 đạt 6,34% và Nemotron 3.5 Transcribe đạt 5,33%. Đó là khoảng cách một điểm trên cùng một bảng xếp hạng công khai, một phép so sánh đáng tin cậy hơn phần lớn các so sánh trong loạt bài này — cùng một harness, cùng các bộ kiểm thử, và đều là bài nộp của chính các nhà cung cấp. Tuy vậy, đó vẫn chưa phải toàn bộ câu chuyện, vì hai mục này được chấm điểm ở những thời điểm khác nhau và điểm trung bình của bảng xếp hạng bị chi phối bởi giọng đọc sạch.

Artificial Analysis kể một câu chuyện rất khác, và đáng để hiểu tại sao. Trên bảng xếp hạng đó, mục Parakeet nằm ở 4,5%, vượt xa mức mà điểm trung bình Open ASR của nó hàm ý, trong khi Nemotron 3.5 Transcribe nằm ở 3,4%. Con số 4,5% thuộc về cấu hình của một endpoint được lưu trữ (hosted), không phải checkpoint trên phần cứng của chính bạn, và các lựa chọn batching và decoding của bên triển khai có thể làm con số dịch chuyển gần một điểm. So sánh điểm Parakeet được lưu trữ với điểm tự lưu trữ là lỗi phổ biến nhất trong bản tin tuần này, và điều đó cũng đúng theo chiều ngược lại: tuyên bố 2,8% khi ra mắt của NVIDIA cho Nemotron là con số nộp bài, còn 3,4% hiện tại trên bảng xếp hạng là kết quả đo thực tế.

Bức tranh độc lập do con người đánh giá còn hẹp hơn nữa. Trên bộ tiếng Anh của Perit, Parakeet TDT 0.6B v3 đạt 2.13% WER, xếp hạng 14/22, với 54% clip được phiên âm hoàn hảo. GPT Transcribe và MAI Transcribe 2 ở mức 1.76%, lần lượt xếp hạng sáu và bảy. Checkpoint 30B của Nemotron 3.5 Transcribe hoàn toàn không có trên bảng đó; mô hình nemotron-3.5-asr-streaming-0.6b có mặt trên đó đạt 3.35%, xếp hạng 21 — một mô hình khác cho một công việc khác, và thường bị nhầm với mô hình mà bài viết này đang nói tới.

Bản thay thế thực sự xóa những gì

Kiến trúc cascade mà người dùng Parakeet chạy ngày nay có ba phần và ba kiểu lỗi. Bộ nhận dạng tạo ra văn bản kèm mốc thời gian của từ. Bộ phân biệt người nói tạo ra các lượt người nói. Bước hợp nhất gán lượt cho từ, và nó làm vậy bằng các heuristic chồng lấp vốn sai đúng ở chỗ quan trọng — khi hai người nói cùng lúc. Những con số do chính NVIDIA công bố cho phương án thay thế bằng một mô hình duy nhất nhắm thẳng vào lỗi đó: tỷ lệ lỗi phân biệt người nói 18,26% trên 21 ngôn ngữ trên bộ đánh giá David AI, tốt nhất trong 14 hệ thống; WER hoán vị tối thiểu ghép nối 32,4% trên VoiceArena, tốt nhất trong 14, với á quân là cascade Multitalker Parakeet cộng Nemotron 3 Diarization ở 34,2%; và 8,32% số từ tham chiếu bị bỏ sót trên lời nói tiếng Anh chồng lấp so với mức trung vị khoảng 31%.

Đó là những con số của nhà cung cấp trên bộ khung kiểm thử của nhà cung cấp và chúng chưa được tái lập độc lập. Nhưng hãy chú ý xem đối thủ về nhì là gì: cascade của chính NVIDIA, được xây dựng từ mô hình nằm trong tiêu đề của phép so sánh này. Công ty đang công bố một benchmark trong đó sản phẩm mới của họ đánh bại sản phẩm cũ của họ cộng với một diarizer. Đó là bằng chứng trực tiếp một cách bất thường, và cũng là kiểu bằng chứng mà một nhà cung cấp ở vị thế tốt nhất để tạo ra và ít có khả năng công bố nhất nếu kết quả đi theo chiều ngược lại.

Điều thứ hai mà bản thay thế loại bỏ là khả năng xử lý ngôn ngữ. Parakeet bao phủ 25 ngôn ngữ châu Âu; Nemotron bao phủ 40 ngôn ngữ cho phiên âm và 31 ngôn ngữ cho dịch sang hoặc từ tiếng Anh, cùng với khả năng gán người nói ở 13 ngôn ngữ. Nếu hàng đợi của bạn chỉ dừng trong phạm vi EU, sự khác biệt đó chỉ mang tính học thuật. Nếu hàng đợi đó bao gồm tiếng Ả Rập, tiếng Quan Thoại, tiếng Hindi hoặc tiếng Nhật, thì Parakeet chưa từng là một lựa chọn, và phép so sánh là giữa Nemotron với một thứ hoàn toàn khác.

Bạn tốn bao nhiêu để thay thế nó

Thông lượng, trước tiên. 3,333 RTFx của Parakeet so với 462 của Nemotron là mức chênh 7.2× trên cùng một khung đo của bảng xếp hạng — một khoảng cách nhỏ hơn so với điều mà tỷ lệ tham số hàm ý, vì MoE chỉ kích hoạt khoảng 4 tỷ trong số 30 tỷ trọng số của nó cho mỗi token, nhưng vẫn là một khoảng cách thực. Tuyên bố mạnh mẽ hơn của NVIDIA, lên tới 2,238 giây âm thanh mỗi giây trên một RTX PRO 6000 Blackwell, giả định có checkpoint NVFP4 cùng một mô hình nháp DFlash2 và được đo trên các clip 30 giây với độ đồng thời cao. Không con số nào sai; chúng đo các cấu hình khác nhau, và một kế hoạch công suất xây dựng trên con số lớn hơn sẽ khiến bạn thất vọng với các cuộc họp dài một giờ.

Về dấu chân, thứ hai. Parakeet TDT 0.6B vừa trong vài gigabyte và chạy thoải mái trên một GPU tầm trung, còn các bản lượng tử hóa của nó chạy trên CPU. Nemotron 3.5 Transcribe có kích thước hàng chục gigabyte ở BF16 và cần vLLM với plugin NeMo Speech hoặc SGLang-Omni trên một bộ tăng tốc trung tâm dữ liệu. Không có phiên bản nào của việc này mà mô hình 30B thay thế được mô hình 0.6B trên cùng một phần cứng.

Mức độ chín muồi, thứ ba. Parakeet đã có một năm triển khai, một nghìn câu trả lời trên diễn đàn và một chuỗi công cụ đang hoạt động trong NeMo, Transformers và một runtime C++. Nemotron 3.5 Transcribe mới có một ngày. Hỗ trợ GGUF và NeMo-Speech.cpp của nó được mô tả là sẽ sớm ra mắt; các bản dựng cục bộ đã lượng tử hóa của nó chưa được phát hành. Nếu pipeline của bạn cần phải nhàm chán, đó là lý do để đợi một quý chứ không phải lý do để từ chối mô hình.

Nơi mà bên đang giữ vị trí hiện hành vẫn thắng tuyệt đối

Một ví dụ là bất cứ thứ gì có tính tương tác. Việc giải mã transducer của Parakeet trả về từ ngay khi âm thanh đến, và dấu thời gian gốc của nó là một thuộc tính của bộ giải mã chứ không phải một bước căn chỉnh sau khi xử lý. Nemotron 3.5 Transcribe được thiết kế rõ ràng cho âm thanh đã ghi — bài đăng trên Hugging Face của chính NVIDIA nói vậy — và có một mô hình streaming 0.6B riêng cho các phiên trực tiếp. Nếu sản phẩm của bạn là phụ đề trực tiếp, thì không mô hình nào trong hai mô hình ở tiêu đề này là câu trả lời đúng; mô hình streaming cùng dòng mới là, và đó là một phép so sánh khác.

Bất kỳ thứ gì triển khai tại chỗ ở quy mô nhỏ, dành cho hai người. Một phòng khám với một card máy trạm, một công ty luật với một kho lưu trữ và một cán bộ tuân thủ, một nhóm nghiên cứu với một khoản tài trợ GPU duy nhất: Parakeet ở 0,6B là một triển khai thực tế còn Nemotron ở 30B thì không. Chênh lệch độ chính xác khoảng một điểm trên tiếng Anh sạch không đủ bù cho chi phí phần cứng.

Bất cứ thứ gì chỉ bằng tiếng Anh và không yêu cầu nhận dạng người nói, cho ba. Điều này chiếm phần lớn công việc phiên âm. Tóm tắt trung thực là phần lớn trong 626.000 lượt tải xuống của Parakeet là cho những công việc mà bản nâng cấp không cải thiện.

Giữ cho pipeline luôn hoạt động khi một nửa trong đó là phần cứng của chính bạn

Tự vận hành trình nhận dạng tạo ra một kiểu lỗi mà các API được quản lý không có: card của bạn, driver của bạn, cửa sổ bảo trì của bạn. Đó chính xác là lý do để giữ nửa còn lại của pipeline — bộ tóm tắt, bộ phân loại, bộ trích xuất biến bản ghi lời thành các bản ghi có cấu trúc — trên một điểm cuối có sẵn dự phòng. OrcaRouter vận hành hơn 200 mô hình văn bản và đa phương thức phía sau một khóa cùng với cơ chế chuyển đổi dự phòng tự động giữa các nhà cung cấp khi một dịch vụ thượng nguồn suy giảm, giá niêm yết của nhà cung cấp được chuyển thẳng với mức cộng thêm 0%, và một DSL định tuyến cho phép bạn định tuyến biên bản họp và ghi chú cuộc gọi đến các mô hình khác nhau mà không cần nhân bản tích hợp. Nemotron 3.5 Transcribe và Parakeet TDT 0.6B đều nằm ngoài danh mục đó — chúng tôi không cung cấp dịch vụ chuyển giọng nói thành văn bản — nhưng lớp đọc đầu ra của chúng không nhất thiết phải thất bại khi GPU gặp sự cố.

Quyết định nâng cấp

Thay Parakeet bằng Nemotron 3.5 Transcribe nếu chính quy trình ghép nối (cascade) đang gây khó khăn cho bạn: nếu bạn đang phải duy trì một bộ tách người nói (diarizer) và một bước hợp nhất, nếu cuộc họp của bạn có nhiều hơn hai giọng nói, nếu âm thanh của bạn không phải tiếng châu Âu, hoặc nếu cụm từ "overlapping speech" xuất hiện trong phiếu hỗ trợ của bạn. Trong trường hợp đó, checkpoint 30B không phải là một thứ xa xỉ, mà là việc loại bỏ hai thành phần động và ngân sách sai số của chúng, còn chi phí thông lượng thì vẫn là chi phí thông lượng — một card vẫn xử lý lượng âm thanh nhiều hơn hẳn mức mà một nhóm có nhiều cuộc họp có thể tạo ra.

Hãy giữ Parakeet nếu âm thanh của bạn là tiếng Anh hoặc tiếng châu Âu, người nói của bạn đã biết hoặc không quan trọng, phần cứng của bạn là một máy trạm và pipeline của bạn đang hoạt động. Mô hình mới không khiến mô hình cũ trở nên lỗi thời; nó bao quát những trường hợp mà mô hình cũ chưa từng được thiết kế để xử lý. Và hãy tiếp tục theo dõi các bảng đánh giá độc lập, vì mọi con số trong bài viết này ủng hộ Nemotron 3.5 Transcribe về phân tách người nói đều là của chính NVIDIA, và một ý kiến thứ hai vẫn chưa được công bố.