Nemotron 3.5 Transcribe so với Nemotron 3.5 Transcribe 30B: Hai tên gọi, một checkpoint, bốn tệp

Nếu một danh mục, một trang so sánh hoặc bảng mua sắm của chính bạn liệt kê Nemotron 3.5 Transcribe và Nemotron 3.5 Transcribe 30B thành hai mục, thì nó đang liệt kê cùng một mô hình hai lần. Kho lưu trữ đã công bố là NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, thẻ sản phẩm của NVIDIA ghi tổng cộng 34B tham số và số tham số hoạt động khoảng 4,3B, còn cái tên rút gọn trong mọi tiêu đề đều là cùng một hiện vật ấy với kích thước bị lược bỏ. Không có mô hình 30B riêng biệt nào để đem ra so sánh, khiến việc này ít mang tính chất đối đầu trực diện hơn mà là một vấn đề đặt tên, với một quyết định triển khai ẩn bên trong.

Tuy nhiên, quyết định đó là có thật, và chính nó là lý do hai cái tên cứ xuất hiện cạnh nhau. Một cái tên là thứ bạn tìm kiếm và là thứ danh mục mô hình hoặc danh sách API có thể hiển thị. Cái còn lại là thứ bạn tải xuống, ở một trong bốn độ chính xác, với một trong bốn mức dung lượng bộ nhớ, và việc chọn giữa những tệp đó là phép so sánh duy nhất mà mô hình này thực sự yêu cầu bạn thực hiện. Phần tiếp theo là sự dung hòa: chỉ số 30B đếm những gì, tại sao thẻ mô hình lại ghi 34B, và tệp nào phù hợp với GPU bạn có thay vì chiếc GPU mà trang ra mắt giả định.

Cái tên mâu thuẫn với chính nó

Hai con số đang lưu hành và cả hai đều là chính thức. Tên kho lưu trữ kết thúc bằng 30B-A4B, theo quy ước NVIDIA áp dụng cho dòng mixture-of-experts của mình: tổng số tham số đứng trước, số tham số hoạt động đứng sau. Thẻ mô hình trên cùng trang ghi tổng 34B và khoảng 4,3B tham số hoạt động, trong đó nêu rõ là có bao gồm bộ mã hóa âm thanh. Trang nghiên cứu lặp lại tên 30B-A4B trong tiêu đề và con số 4,3B hoạt động trong phần nội dung.

Thẻ mô hình cũng nêu tên các thành phần, và đây là chỗ phép tính bắt đầu có ý nghĩa. Phần nền tảng ngôn ngữ là Nemotron 3.5 Lightning 30B-A3B, một MoE lai giữa Mamba-2 và Transformer với 3,5B tham số hoạt động. Bộ mã hóa âm thanh kết hợp — một bộ mã hóa ASR Transformer cộng với một bộ mã hóa người nói — có khoảng 800M. Cộng các con số đó lại, bạn được khoảng 30,8B, chứ không phải 34B. Hoặc là con số 34B tính cả thứ gì đó mà NVIDIA chưa liệt kê chi tiết, hoặc là 30B trong tên kho lưu trữ chỉ là nhãn làm tròn cho một phần nền tảng thực tế lớn hơn tên gọi của nó. NVIDIA chưa công bố bản đối chiếu, và chưa có cuộc kiểm toán tham số nào của bên thứ ba đối với toàn bộ checkpoint.

Điều đó có ý nghĩa gì đối với người mua thì hẹp hơn vẻ bề ngoài của nó. Việc hệ thống là 31B hay 34B không thay đổi việc nó vừa với card nào, vì kích thước tệp được quyết định bởi độ chính xác nhiều hơn hẳn so với ba tỷ tham số cuối cùng. Điều đó có nghĩa là bất kỳ bảng thông số nào ghi "30B" và bất kỳ bảng nào ghi "34B" đều đang mô tả cùng một bản tải xuống, và một so sánh mua sắm được xây dựng trên sự khác biệt đó là đang so sánh một quy ước làm tròn.

Hậu tố 30B thực ra đang đếm gì

Hậu tố ấy đếm một mô hình ngôn ngữ, chứ không phải một bộ phiên âm. Nemotron 3.5 Transcribe là một LLM được tăng cường khả năng xử lý giọng nói: âm thanh đi qua một bộ mã hóa Transformer, một mô hình Nemotron 3 Diarization đã đóng băng (frozen) đóng góp các biểu diễn người nói thông qua thứ mà NVIDIA gọi là bộ mã hóa chuyên gia song song, và bộ giải mã MoE lai viết ra bản phiên âm. Nhãn 30B thuộc về bộ giải mã cùng chồng embedding của nó. Đường xử lý giọng nói — bộ mã hóa, bộ phân tách người nói, đầu gắn nhãn thời gian CTC — chỉ nằm chồng lên trên và không phải là thứ mà cái tên quảng cáo.

Đó là lý do mô hình hành xử như một LLM theo những cách mà một hệ thống ASR cổ điển không làm được. Nó nhận prompt. Nó trả lời các câu hỏi về âm thanh. Nó dịch qua 31 cặp ngôn ngữ sang và từ tiếng Anh trong cùng một lượt. Nó giữ ngữ cảnh 65,536 token để một giờ nội dung nói vừa khít mà không cần chia nhỏ. Không điều nào trong số đó đến từ việc bộ giải mã 30B có kích thước lớn; nó đến từ việc bộ giải mã thực sự là một mô hình ngôn ngữ tổng quát, với giọng nói được chiếu vào không gian đầu vào của nó.

Điều này cũng lý giải sự vắng mặt mà mọi người cứ tìm kiếm. Không có phiên bản anh em chỉ 30B, không có Transcribe dense nhỏ hơn, và cũng không có bản lớn hơn. Kho lưu trữ chỉ chứa các độ chính xác của một mô hình duy nhất, không phải một họ mô hình. Các kích thước khác duy nhất đang lưu hành là các bản lượng tử hóa do cộng đồng tạo ra, và một bộ nhận dạng streaming thực sự nhỏ hơn — Nemotron Speech Streaming EN 0.6B — là một mô hình khác, chỉ hỗ trợ tiếng Anh và không có phân biệt người nói, chứ không phải phiên bản thu nhỏ của mô hình này.

Bốn tệp đằng sau cái tên, và mỗi tệp tốn bao nhiêu bộ nhớ

Đây là phép so sánh mà hai cái tên thực sự đang chỉ đến. NVIDIA công bố ba độ chính xác và cộng đồng đã bổ sung một định dạng phân phối thứ tư; các số liệu bộ nhớ dưới đây đến từ các checkpoint đã công bố và các kho lưu trữ của cộng đồng, không phải từ một bảng của nhà cung cấp duy nhất.

• BF16 — checkpoint tham chiếu, khoảng 67-68GB trên đĩa, được phục vụ trên một H100 80GB duy nhất. Đây là phiên bản mà các số liệu benchmark đã công bố được tạo ra trên đó, và là phiên bản nên dùng khi bạn cần tái tạo chúng.

• FP8 — khoảng 35GB, khiến mức tối thiểu phải là một card 48GB như L40S. Mức mất độ chính xác so với BF16 là nhỏ theo cách diễn đạt của chính NVIDIA, nhưng đó là cách diễn đạt của NVIDIA; chưa có đánh giá FP8 độc lập nào được công bố.

• NVFP4 — khoảng 21GB, đủ nhỏ cho một RTX 5090 32GB hoặc một RTX PRO 6000. Đây là độ chính xác đằng sau tuyên bố thông lượng nổi bật của NVIDIA về 2.238 giây âm thanh mỗi giây trên một RTX PRO 6000 duy nhất với mô hình nháp DFlash2 được gắn kèm.

• GGUF — bốn decoder cộng đồng có dung lượng từ 19,7GB đến 35GB cùng với tệp encoder F16 bắt buộc 1,67GB. Bản dựng IQ4_NL 19,7GB là bản dành cho card 24GB, suy luận trên CPU, Metal và Vulkan; bản dựng NVFP4 19,7GB dành cho Blackwell; Q5 ở khoảng 29GB và Q8 khoảng 35GB. Một mô hình dự thảo DFlash2 1,15GB tùy chọn bổ sung giải mã suy đoán trên đường dẫn CUDA.

MLX — {{1}}các bản chuyển đổi 4-bit sang 8-bit do cộng đồng thực hiện, khoảng 19GB đến 35GB cho Apple silicon, với một tác giả báo cáo khoảng 154 token mỗi giây trên bản 4-bit{{/1}}. Hữu ích để đánh giá trên máy Mac, không phải là giải pháp phục vụ production.

Điều gì vận hành chúng, và một sai lầm về runtime mà nhiều người mắc phải

Các tệp GGUF chính là cái bẫy. Một tệp có đuôi .gguf không có nghĩa là llama.cpp, Ollama hay LM Studio, và không một trong ba công cụ đó chạy được mô hình này: nó cần một runtime LLM giọng nói có bộ mã hóa âm thanh được đấu nối vào. Các đường chạy được tại thời điểm phát hành hẹp hơn so với những gì danh sách định dạng gợi ý.

• vLLM 0.32.0 — đường dẫn chính và là đường duy nhất mở ra toàn bộ bề mặt đầu ra, bao gồm dấu thời gian theo từng từ thông qua V1 runner và middleware dấu thời gian. Đầu ra gán thuộc tính người nói và bản dịch nằm ở đây.

• SGLang-Omni 0.2.0 trên SGLang 0.5.22 — phiên âm toàn bộ tệp qua một điểm cuối âm thanh tương thích OpenAI, không có dấu thời gian theo từ, gán người nói, dịch hay giải mã suy đoán.

• NeMo Speech — bộ công cụ tinh chỉnh, với NVIDIA nêu 0,5 đến 2,3 giờ GPU cho mỗi tác vụ trên một GPU. Các recipe LoRA đã công bố chạy trên một card.

• NeMo-Speech.cpp và speech.cpp — lối C++ mà các trình dựng GGUF nhắm đến, và là lối duy nhất nạp được những quant đó. Cả hai tệp 19,7GB và 35GB ở trên đều được phân phối cho nó, và README của các kho lưu trữ là nguồn trung thực về việc cái gì phù hợp ở đâu.

• Transformers — sử dụng trong cùng tiến trình từ bản cài đặt từ mã nguồn, phù hợp để đánh giá, không dành cho thông lượng.

Sai lầm là tải bản lượng tử hóa nhỏ nhất, trỏ llama.cpp vào đó rồi kết luận rằng mô hình bị hỏng. Nó không hỏng; nó là một speech LLM với bộ encoder mà các runtime văn bản không hề có khái niệm về nó. Nếu runtime không liệt kê Nemotron 3.5 Transcribe trong các kiến trúc được hỗ trợ, thì tệp sẽ không tải được bất kể nó nhỏ đến mức nào.

Vị trí của từng tệp, nói một cách dễ hiểu

Hãy đi ngược từ phần cứng thay vì đi xuôi từ model card. Mức nền được nêu trong card — một H100 80GB ở BF16 — là hướng có độ trung thực tối đa, chứ không phải hướng tối thiểu.

• Card 24GB, thuộc lớp RTX 4090 hoặc L4 — file IQ4_NL GGUF 19.7GB cùng bộ mã hóa 1.67GB của nó. Chừa dung lượng dự phòng cho KV cache và bộ đệm âm thanh; 24GB là khá chật nhưng đã được ghi nhận là hoạt động được.

• Card 32GB, RTX 5090 hoặc RTX PRO 6000 — checkpoint NVFP4 21GB, đây là cấu hình mà tuyên bố về thông lượng của NVIDIA mô tả, cùng với drafter DFlash2 nếu bạn muốn giải mã suy đoán.

• Card 48GB, L40S hoặc A6000 — checkpoint FP8 35GB, thỏa hiệp ít khó xử nhất giữa độ trung thực và chi phí.

• Bộ tăng tốc 80GB, H100 hoặc A100 — BF16, cấu hình tham chiếu và là cấu hình duy nhất tái tạo được bảng WER đã công bố mà không kèm lưu ý về độ chính xác.

Không có GPU nào cả — không file nào trong số này. Bộ mã hóa chạy trên CPU trong luồng C++, nhưng một giờ âm thanh trên bộ giải mã 30B-A3B mà không có tăng tốc thì là một tác vụ batch tính bằng giờ, chứ không phải một dịch vụ.

Một ràng buộc vẫn đúng với mọi mức precision: đầu vào là PCM mono 16kHz và giới hạn là một giờ âm thanh mỗi yêu cầu. Việc hạ mẫu và chọn kênh diễn ra trước khi mô hình thấy bất cứ thứ gì, và bản ghi phòng họp stereo sẽ bị trộn thành mono trừ khi bạn tự tách các kênh. Đó là quyết định tiền xử lý, không phải quyết định checkpoint, và làm sai điều đó khiến chất lượng phiên âm bị mất nhiều hơn so với bước BF16 sang FP8.

Các bước kiểm tra cần thực hiện khi tin đăng hiển thị cả hai tên

Vì tình trạng trùng tên là có thật và sẽ tiếp diễn trong các danh mục cùng các trang so sánh, một quy trình xác minh ngắn gọn sẽ có giá trị hơn một đoạn giải thích nữa.

• ID kho lưu trữ — artifact chính thức duy nhất là NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Một dòng có tên Nemotron 3.5 Transcribe 30B với ID kho lưu trữ khác thì hoặc là bản lượng tử hóa, hoặc là một mô hình hoàn toàn khác.

• Chuỗi giấy phép — OpenMDW-1.1 trên bản phát hành chính thức, được phép sử dụng thương mại. Một danh mục ghi chỉ dành cho nghiên cứu hoặc phi thương mại thì đang mô tả một thứ khác.

• Ngữ cảnh và cửa sổ âm thanh — 65,536 token và một giờ. Một bản liệt kê ghi cửa sổ dài hơn là sai hoặc đang mô tả một checkpoint khác.

• Tuyên bố về tham số — 30B-A4B trong tên gọi, 34B trong thẻ, 4,3B hoạt động ở cả hai. Một mục niêm yết ghi tổng là 4B đã nhầm số tham số hoạt động với tổng số tham số, và đây chính là cách ghi phổ biến nhất của mô hình này trên web.

• Danh sách tệp — BF16, FP8 và NVFP4 từ NVIDIA, cùng một mô hình nháp DFlash2. Nếu một trang chỉ cung cấp "Nemotron 3.5 Transcribe 30B" dưới dạng một tệp tải xuống duy nhất và không có thông tin về độ chính xác, thì đó là một bản quant của cộng đồng khoác tên nhà cung cấp.

Câu hỏi định tuyến mà thực sự tách biệt

Khi tệp đã được chọn và runtime đang hoạt động, câu hỏi triển khai đã kết thúc và một câu hỏi cũ hơn quay trở lại: điều gì xảy ra với văn bản. Bản ghi lời nói là nguyên liệu thô cho tóm tắt, trích xuất thực thể, che thông tin nhạy cảm, lập chỉ mục tìm kiếm và hỏi đáp, và những lệnh gọi đó là lưu lượng mô hình văn bản thông thường với những vấn đề mô hình văn bản thông thường — giới hạn tốc độ, sự cố từ phía thượng nguồn, một mô hình phân loại rẻ tiền có thể đáp ứng chín phần mười khối lượng.

OrcaRouter không phục vụ Nemotron 3.5 Transcribe, và danh mục của nó không có mục nào dưới cả hai tên đó; nếu bạn thấy hai dòng cho mô hình này ở bất cứ đâu, kiểm tra kho lưu trữ ở trên là cách nhanh nhất để giải quyết. Điều nền tảng cung cấp là lớp sau khi bản ghi chép đã tồn tại: một khóa tương thích OpenAI trên hơn 200 mô hình văn bản và thị giác với giá niêm yết của nhà cung cấp, không phụ phí 0%, chuyển đổi dự phòng tự động giữa các nhà cung cấp, và một DSL định tuyến kết hợp nhiều mô hình thành một lệnh gọi duy nhất để bước trích xuất rẻ và bước đánh giá đắt có thể nằm sau một điểm cuối duy nhất. GPU thực hiện việc phiên âm; định tuyến quyết định giá trị của bản ghi chép.

Hậu tố là nhãn kích thước tệp, không phải một mô hình thứ hai.

Cách gọn nhất để ghi nhớ cả hai tên là thế này: Nemotron 3.5 Transcribe là sản phẩm, Nemotron 3.5 Transcribe 30B là kho lưu trữ, và 30B tính một bộ giải mã trong khi thẻ mô hình tính một hệ thống. Khoảng cách giữa 30,8B và 34B là một chi tiết chưa được giải quyết mà NVIDIA nên làm rõ, nhưng nó không làm thay đổi quyết định nào của người mua, vì quyết định được đưa ra dựa trên dung lượng gigabyte và các runtime được hỗ trợ, chứ không phải ở chữ số thứ ba của số lượng tham số.

Hãy chọn mức precision mà card của bạn có thể chứa, xác nhận rằng runtime có liệt kê kiến trúc, và coi bất kỳ danh mục nào trình bày hai cái tên như hai mô hình riêng biệt là lỗi danh mục chứ không phải một lựa chọn. Ngã rẽ thực sự trong bản phát hành này — ngã rẽ đủ để biện minh cho một cuộc đối đầu trực tiếp thực sự — là bộ nhận dạng streaming 0.6B ở một phía và bộ chuyển lời thành văn bản ngoại tuyến 30B này ở phía kia. So sánh đó nói về độ trễ và độ phủ, và nó đáng để thực hiện. Còn so sánh một mô hình với chính tên tệp của nó thì không.