Nemotron 3.5 Transcribe thay thế một quy trình gồm năm mô hình. Bản dựng mở vẫn còn những lỗ hổng.

Một cuộc gọi họp hội đồng quản trị kéo dài 45 phút với sáu người phát biểu trước đây cần đến năm thành phần riêng: phát hiện hoạt động giọng nói, mô hình ASR, bộ phân tách người nói, bộ căn chỉnh cưỡng bức và một mô hình ngôn ngữ để chỉnh lý đầu ra thô thành thứ mà con người sẽ đọc. NVIDIA Nemotron 3.5 Transcribe, được phát hành vào ngày 28 tháng 10 năm 2026 theo giấy phép OpenMDW-1.1, là nỗ lực của NVIDIA nhằm thu gọn chồng công nghệ đó thành một lượt truyền xuôi duy nhất. Điều khiến bản phát hành này đáng đọc lại không phải là việc thu gọn đó. Mà là danh sách những thứ mà tuyến phục vụ mã nguồn mở vẫn chưa làm được.

Checkpoint này là một mô hình ngôn ngữ được tăng cường giọng nói, chứ không phải một mô hình ASR có gắn thêm vài thứ phụ. 34 tỷ tham số của nó chủ yếu là một Nemotron 3.5 Lightning 30B-A3B xương sống mixture-of-experts lai Mamba–Transformer; khoảng 4,3 tỷ tham số hoạt động trên mỗi token, bao gồm khoảng 800 triệu tham số của bộ mã hóa âm thanh. Tên kho lưu trữ vẫn ghi là 30B-A4B, con số này chỉ tính bộ giải mã chứ không tính toàn bộ hệ thống đã lắp ráp. Ma trận hỗ trợ, bảng điểm chuẩn và giấy phép của chính NVIDIA đều nằm trên thẻ mô hình, và thẻ đó là tài liệu hữu ích nhất trong bản phát hành.

Năm công việc, một điểm kiểm tra

Điểm nhấn là một prompt sẽ chọn bản ghi. NVIDIA huấn luyện năm phong cách đầu ra vào cùng một bộ trọng số, và bên gọi chọn một phong cách bằng hướng dẫn ngôn ngữ tự nhiên thay vì dùng một mô hình riêng hoặc script xử lý hậu kỳ:

• Nguyên văn — giữ nguyên các ngắt quãng, khởi đầu nhầm lẫn và lặp lại, dùng cho hồ sơ pháp lý và tuân thủ.

• Dạng văn bản — dấu câu và cách viết hoa được làm sạch, dùng cho phụ đề và biên bản dễ đọc.

• Dựa trên ngữ cảnh — danh sách thực thể được cung cấp trong lời nhắc sẽ định hướng cách viết tên, sản phẩm và thuật ngữ chuyên ngành.

• Có gán người nói — mỗi đoạn mang một thẻ người nói, được tạo ra trong lượt xử lý ASR.

• Rich — phong cách “tất tần tật”, mang theo cả nhãn người nói, dấu câu, kiểu chữ và định dạng trong cùng một gói.

Ngoài việc phiên âm, cùng checkpoint này còn thực hiện dịch giọng nói hai chiều giữa tiếng Anh và 31 ngôn ngữ, nhận diện ngôn ngữ nói và hiểu âm thanh — trả lời câu hỏi và làm theo chỉ dẫn bằng lời nói trên bản ghi. Nó xử lý các bản ghi dài tới một giờ trong ngữ cảnh 65.536 token, sử dụng các khối giải mã nội bộ 30 giây — một chi tiết kỹ thuật chứ không phải giới hạn của bản ghi. Mốc thời gian của từ đến từ một adapter CTC nhẹ sau khi giải mã.

Nhãn người nói thực sự đến từ đâu

Hầu hết các tuyên bố “một mô hình làm được mọi thứ” đều không đứng vững khi gặp phân tách người nói, vì danh tính người nói là bài toán phân cụm còn chép lời là bài toán chuỗi, và hai bài toán này thường được giải quyết riêng rẽ. Câu trả lời của NVIDIA là một bộ mã hóa chuyên gia song song: một mô hình Nemotron 3 Diarization đóng băng tạo ra các biểu diễn hoạt động người nói được chèn vào đầu ra của bộ mã hóa giọng nói, nhờ đó xương sống ngôn ngữ thấy ai đang nói trong khi nó đang quyết định điều gì được nói ra. Bản thân LLM không được huấn luyện lại cho tác vụ này.

Thiết kế đó là lý do công ty có thể tuyên bố chỉ một lượt xử lý duy nhất thay vì một chuỗi xếp tầng. NVIDIA báo cáo tỷ lệ lỗi từ trung bình sau khi ghép theo hoán vị tối thiểu là 15,80 trên tập đánh giá đa người nói của mình, so với 16,83 của chuỗi xếp tầng ASR cộng bộ phân tách người nói chuyên dụng tốt nhất, và mô tả kết quả là LLM giọng nói đầu tiên đánh bại loại hệ thống đó trong việc phiên âm có gán thuộc tính người nói với giọng nói chồng lấn. Đó là những con số của nhà cung cấp, lấy từ một tập đánh giá do chính nhà cung cấp xây dựng, và chưa có phòng thí nghiệm trung lập nào tái lập được chúng. Hãy coi hướng đi là hợp lý và mức chênh lệch là tạm thời.

Các con số, cùng với các nhãn đi kèm

Thẻ của NVIDIA báo cáo tỷ lệ lỗi từ trung bình là 4,71% trên chín bộ kiểm thử tiếng Anh công khai của Open ASR Leaderboard. Mức phân tán bên dưới giá trị trung bình đó rất rộng và đáng để biết trước khi bạn trích dẫn nó: LibriSpeech test-clean ở mức 1,09% và SPGISpeech ở mức 1,91%, trong khi AMI ở mức 7,81% và URGENT24 ở mức 11,00%. Bảng đa ngôn ngữ đạt trung bình 4,62% trên bảy ngôn ngữ, với tiếng Đức ở mức 2,81% và tiếng Hindi ở mức 9,15% theo chỉ số từ ngoài từ vựng riêng của nó.

Báo chí đưa tin về buổi ra mắt cũng đã trích dẫn 5,33% cho bảng tiếng Anh. Đó là một tổng hợp khác trên một thành phần tập hợp khác, không phải là một bản hiệu chỉnh, và hai con số này không bao giờ nên được đặt vào cùng một hàng. 4,71% của thẻ là con số cần trích dẫn nếu bạn đang trích dẫn thẻ.

Tuyên bố về contextual-prompting là điều cụ thể nhất trong bản phát hành. Trên ContextASR-Bench, WER tổng thể chuyển từ 3,33% khi không có danh sách thực thể xuống 1,71% khi có một danh sách chi tiết mịn; WER của thực thể được đặt tên giảm từ 12,21% xuống 2,20%, và tỷ lệ âm tính giả của thực thể được đặt tên từ 14,99% xuống 1,32%. Đó là một cơ chế thực sự, có thể kiểm chứng — đưa cho mô hình tên sản phẩm của bạn và nó sẽ ngừng đoán mò về chúng — ngay cả khi điểm số tuyệt đối đến từ harness của NVIDIA.

Bức tranh độc lập kém tâng bốc hơn và hữu ích hơn. Artificial Analysis liệt kê Nemotron 3.5 Transcribe ở mức 3,4% trên bảng AA-WER v2 không truyền phát của họ, đồng hạng trong khoảng thứ 20 đến 23, trong khi FAQ của chính họ mô tả mô hình ở mức 2,8%. Cả hai con số đều thuộc cùng một bảng trên cùng một trang. Khoảng cách là do khác biệt về đối tượng đo — điểm cuối, lượng tử hóa hoặc lát cắt đánh giá — và nó xấp xỉ độ rộng của mức nhiễu mà chỉ số này đã thể hiện qua các cấu hình phục vụ. Tại thời điểm viết bài, bảng cũng liệt kê giá dịch vụ trực tuyến là 2,00 đô la Mỹ cho mỗi 1.000 phút âm thanh, tương đương khoảng 0,12 đô la Mỹ mỗi giờ.

Tuyên bố về thông lượng là điều mà các nhóm vận hành sẽ quan tâm: 2.238 giây âm thanh được xử lý mỗi giây trên một GPU RTX PRO 6000 Blackwell duy nhất, sử dụng checkpoint NVFP4 và mô hình nháp DFlash2. Lưu ý của chính NVIDIA là ngăn xếp phục vụ được tối ưu hóa không nằm trong bản phát hành mã nguồn mở, và tích hợp phát triển được phát hành dự kiến sẽ chạy chậm hơn khoảng hai lần. Hãy giảm một nửa con số trước khi bạn lập kế hoạch công suất.

Nơi bản dựng mở kết thúc

Đây là phần mà các bài đưa tin ra mắt bỏ qua. Checkpoint có năng lực; các tích hợp xung quanh nó không đồng đều, và model card nói thẳng như vậy.

• Không phát trực tuyến — “Đây là một mô hình ngoại tuyến,” thẻ ghi chú nêu rõ, và bổ sung rằng việc chia đoạn âm thanh nội bộ không biến nó thành một dịch vụ phát trực tuyến theo thời gian thực. Mọi giây của bản ghi phải tồn tại trước khi quá trình giải mã bắt đầu.

• Tích hợp SGLang-Omni chỉ dùng để phiên âm — nó phục vụ phiên âm toàn bộ tệp nhưng, theo card, không bao gồm dấu thời gian theo từ, đầu ra gán nhãn người nói, dịch hay giải mã suy đoán. Đường dẫn vLLM có hỗ trợ thu thập dấu thời gian. Runtime bạn chọn quyết định những tính năng bạn nhận được.

• Dấu thời gian và DFlash2 loại trừ lẫn nhau — dấu thời gian không khả dụng khi đang dùng mô hình nháp giải mã suy đoán. Nhanh hoặc căn chỉnh, không thể cả hai, trong cấu hình xuất xưởng.

• Hiểu âm thanh chỉ hỗ trợ tiếng Anh — theo cảnh báo trên thẻ, việc suy luận, tuân theo chỉ dẫn bằng lời nói và trả lời câu hỏi bằng âm thanh “có thể không hoạt động đáng tin cậy ở các ngôn ngữ khác”, mặc dù tính năng chép lời bao phủ 40 ngôn ngữ.

• Nó có thể không dừng lại — thẻ khuyến nghị một guardrail dọn dẹp vì đôi khi mô hình có thể lặp mà không kết thúc. Đó là một yêu cầu vận hành, không phải chú thích cuối trang.

• Một giờ là giới hạn thực tế nghiêm ngặt — hiệu suất vượt quá 65,536 token hoặc bản ghi âm dài một giờ “không được đảm bảo là sẽ tổng quát hóa được.” Đối với một phiên lấy lời khai kéo dài cả ngày, bạn phải tự tách tệp và tự đối chiếu người nói.

Việc gán nhãn người nói cũng hẹp hơn so với con số 40 ngôn ngữ được quảng cáo: chỉ 13 trong số 40 ngôn ngữ được đánh dấu là hỗ trợ đầu ra đa người nói trên bảng ma trận của NVIDIA, và các hỗn hợp huấn luyện chỉ bao phủ tối đa tám người nói. Nếu cuộc họp của bạn diễn ra bằng tiếng Thổ Nhĩ Kỳ hoặc tiếng Việt, bạn có thể phiên âm tốt nhưng vẫn không nhận được nhãn.

Triển khai và chi phí của nó

Các trọng số được miễn phí cho cả mục đích thương mại lẫn phi thương mại theo OpenMDW-1.1, được phát hành ở các định dạng BF16, FP8, NVFP4 và GGUF, với cấu hình tham chiếu trên một H100 80 GB và hỗ trợ trên các dòng Ampere, Hopper, Blackwell và Lovelace. Ngoài ra còn có container NIM dành cho những nhóm không muốn tự lắp ghép ngăn xếp phục vụ, và NeMo Speech để tinh chỉnh — NVIDIA báo cáo đã thích ứng mô hình trên 17 tác vụ với 0,5 đến 2,3 giờ GPU mỗi tác vụ trên một GPU, một con số đủ để việc thích ứng miền trở nên khả thi trên thực tế thay vì chỉ là lý thuyết.

Bài toán kinh tế tách bạch rõ ràng. Ở dạng dịch vụ được host, mức niêm yết của Artificial Analysis là 2,00 USD/1.000 phút, tức khoảng 0,12 USD/giờ âm thanh — rẻ hơn hầu hết dịch vụ phiên âm được quản lý và chỉ bằng khoảng một phần ba hóa đơn STT đám mây điển hình. Khi tự triển khai, chi phí biên là thời gian GPU: với thông lượng 2,238:1 của nhà cung cấp, một nghìn giờ âm thanh chỉ tốn dưới nửa giờ tính toán trên đúng loại card phù hợp, nên câu hỏi không còn là giá cả nữa mà là bạn sở hữu hay thuê phần cứng, và liệu âm thanh có được phép rời khỏi mạng của bạn hay không. Cả hai hướng đều hợp lý; nhưng trên bảng tính, chúng không hề gần nhau.

Nửa phần công việc mà checkpoint không làm

Phiên âm tạo ra văn bản, và văn bản chính là nơi phần lớn chi phí ở các bước phía sau nằm: tóm tắt cuộc gọi, trích xuất các việc cần làm, che giấu dữ liệu cá nhân, dịch đầu ra tiếng Anh cho một văn phòng khu vực, và kiểm tra xem các nhãn người nói có được giữ nguyên qua bước chuyển giao hay không. Đó đều là những khối lượng công việc mô hình văn bản thông thường, và chúng không cần phải chạy trên cùng một máy như ASR.

Đó là lúc một router khẳng định được vị trí của mình. OrcaRouter đặt các lệnh gọi hạ nguồn đó sau một khóa với mức phụ phí 0% — giá niêm yết của nhà cung cấp được chuyển nguyên, nên thay đổi giá của nhà cung cấp có hiệu lực ngay trong ngày — với tính năng chuyển đổi dự phòng tự động khi một nhà cung cấp bị suy giảm hiệu năng và một DSL định tuyến có thể gửi việc tóm tắt, xóa thông tin nhạy cảm và dịch đến các mô hình khác nhau trong cùng một quy trình. Nói rõ để tránh hiểu nhầm: NVIDIA Nemotron 3.5 Transcribe không nằm trong danh mục của OrcaRouter, và không có gì ở đây ngụ ý điều ngược lại. Thứ chúng tôi định tuyến là lớp văn bản sau khi bản ghi phiên âm đã tồn tại, tức lớp mà nhiều đội đánh giá thấp nhất khi lập ngân sách cho một pipeline phiên âm.

Nếu bạn đang đánh giá chính mô hình đó, con đường trung thực là dùng một endpoint được host sẵn trước, rồi đến phần cứng của riêng bạn. Những con số của chính card đó chênh lệch hơn một điểm giữa nhà cung cấp và các phép đo độc lập, và thứ âm thanh duy nhất có thể phân định điều đó chính là của bạn.

Điều gì sẽ làm thay đổi khuyến nghị

Có ba điều đáng theo dõi trong quý tới. Thứ nhất, liệu ngăn xếp phục vụ mã nguồn mở có bắt kịp lộ trình NIM được tối ưu hay không — cho đến khi điều đó xảy ra, thông lượng được quảng cáo chỉ là con số dành riêng cho dịch vụ lưu trữ, còn bản phát hành mở chỉ đạt khoảng một nửa con số đó. Thứ hai, liệu có ai bên ngoài NVIDIA tái tạo được 15.80 cpWER và mức cải thiện thực thể có tên gấp sáu lần hay không; cả hai đều là những tuyên bố mạnh mẽ hiện chỉ dựa trên bộ khung kiểm thử của một phòng thí nghiệm. Thứ ba, liệu khả năng hiểu âm thanh có mở rộng ra ngoài tiếng Anh hay không, vì năng lực đó — đặt câu hỏi cho một bản ghi âm thay vì chỉ chép lời — là phần mà không có checkpoint mở cạnh tranh nào cung cấp ở quy mô này.

Hiện tại, kết luận thực tiễn thì hẹp và không hào nhoáng. Nếu bạn cần phiên âm đa ngôn ngữ, dài một giờ, có gắn nhãn người nói và có thể chấp nhận quy trình xử lý theo lô, thì checkpoint này là lựa chọn mở mạnh nhất hiện có, và cơ chế gợi ý theo ngữ cảnh thực sự tạo khác biệt. Nếu bạn cần phụ đề trực tiếp, một tác nhân phát trực tuyến, hoặc căn chỉnh ở cấp độ từ cùng với tốc độ giải mã nhanh nhất có thể, thì bản phát hành này chưa đáp ứng được bạn, và những sản phẩm làm được điều đó vẫn là những sản phẩm bạn nên tìm đến.