Nemotron 3.5 Transcribe so với Granite Speech 5.0 470M TurboCTC: gấp 64 lần số tham số, chậm hơn 43 lần

Đối tượng hữu ích nhất trong phép so sánh này là một tệp 279 megabyte. Đó là bản lượng tử hóa Q4_K_M của Granite Speech 5.0 470M TurboCTC, bộ nhận dạng giọng nói chỉ gồm encoder của IBM, và nó sẽ phiên âm tiếng Anh trên CPU laptop mà không cần GPU, không cần tới môi trường Python đúng nghĩa nào và không cần hợp đồng dịch vụ. Nemotron 3.5 Transcribe, mà NVIDIA đã công bố dưới dạng trọng số mở vào ngày 28 tháng 10 năm 2026, là một mô hình ngôn ngữ tăng cường giọng nói 30 tỷ tham số, cần một bộ tăng tốc cấp trung tâm dữ liệu và khoảng sáu mươi gigabyte trọng số BF16. Mô hình của NVIDIA lớn hơn sáu mươi bốn lần và, theo các số liệu thông lượng mà mỗi nhà cung cấp công bố, chậm hơn khoảng bốn mươi ba lần trên mỗi giây GPU. Nó cũng là mô hình duy nhất trong hai mô hình có thể cho bạn biết ai đang nói.

Không một sự thật nào trong hai sự thật đó là đòn quyết định. Chúng mô tả hai cỗ máy khác nhau tình cờ được đo trên cùng một bảng xếp hạng, và toàn bộ câu hỏi là liệu khối lượng công việc của bạn cần không gian hay chỉ cần những lời nói.

Một mô hình CTC không tự hồi quy so với một LLM giọng nói tạo sinh

Granite Speech 5.0 470M TurboCTC gồm mười sáu khối Conformer với lớp đầu ra BPE gồm 16.384 đơn vị, được huấn luyện theo mục tiêu CTC và giải mã tham lam. Không có mô hình ngôn ngữ, không có projector và không có vòng lặp sinh: âm thanh đi vào, một chuỗi nhãn đồng bộ theo khung đi ra, được hạ mẫu từ 100 Hz xuống 12,5 Hz. Thiết kế đó là lý do nó nhanh, nhỏ và không thể làm bất cứ điều gì mà bộ nhãn không bao phủ. Nó không có khái niệm về lời nhắc, không có phong cách đầu ra, không có đích dịch và không có trường người nói.

Nemotron 3.5 Transcribe có kiến trúc ngược lại, và sự khác biệt không phải là khoảng cách thế hệ. Một bộ mã hóa giọng nói cấp đầu vào cho mô hình Nemotron 3 Diarization đóng băng, với tín hiệu hoạt động của người nói được đưa vào bộ mã hóa thông qua một Parallel Expert Encoder, và một bộ giải mã hỗn hợp chuyên gia lai Mamba–Transformer tạo ra bản ghi dưới dạng văn bản, với khoảng 4 tỷ trong số 30 tỷ tham số của nó hoạt động trên mỗi token. Vì đầu ra được sinh ra thay vì được phân loại, nó có thể được chỉ dẫn: dạng nguyên văn hoặc dạng viết, danh sách thực thể mong đợi, ngôn ngữ đích dịch, đầu ra có gán người nói, hoặc câu trả lời nói cho một câu hỏi về âm thanh.

• Tham số — tổng khoảng 30B, khoảng 4B hoạt động trên mỗi token so với 470M chỉ encoder.

• Giải mã — sinh tự hồi quy trên một MoE 30B so với CTC không tự hồi quy tham lam.

• Giấy phép — OpenMDW-1.1 so với Apache-2.0 (loại có tính cho phép cao hơn trong hai; phiên bản -nc riêng của IBM là CC-BY-NC-SA-4.0).

• Dung lượng chiếm dụng — khoảng 60GB trong các bản dựng BF16, NVFP4 và GGUF được cung cấp, so với 279MB ở Q4_K_M trong một bản chuyển GGUF cộng đồng.

• Ngôn ngữ — 40 được phiên âm, 31 được dịch so với 7 (tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha, tiếng Bồ Đào Nha, tiếng Ý, tiếng Nhật) sau bản cập nhật đa ngôn ngữ ngày 21 tháng 10 năm 2026.

• Người nói — tối đa 8 người, có gán nhãn, trong 13 ngôn ngữ so với không có; phân tách người nói cần một mô hình riêng.

• Dấu thời gian — ở cấp độ từ thông qua bộ chuyển đổi CTC hậu giải mã so với không có; các vị trí đỉnh CTC không phải là ranh giới từ.

• Streaming — không có, chỉ âm thanh đã ghi so với không có.

Khoảng cách về độ chính xác nhỏ hơn khoảng cách về kích thước, và các giá trị trung bình không khớp nhau.

IBM báo cáo tỷ lệ lỗi từ trung bình là 5,51% trên chín bộ kiểm thử tiếng Anh công khai cho bản phát hành TurboCTC đa ngôn ngữ, được cải thiện từ 5,78% tại thời điểm ra mắt hồi tháng 8. NVIDIA báo cáo WER tiếng Anh trung bình là 5,33% trên Hugging Face Open ASR Leaderboard và 4,71% trên chín bộ kiểm thử công khai trên trang nghiên cứu của chính mình. Cả hai con số đều do nhà cung cấp báo cáo, và hai mức trung bình không phải cùng một hỗn hợp: chín bộ của IBM và mục bảng xếp hạng tám bộ của NVIDIA khác nhau về thành phần và cách chuẩn hóa, còn con số chín bộ riêng trên trang nghiên cứu lại khác với mục bảng xếp hạng của chính họ. Đừng trừ chúng đi rồi gọi chênh lệch đó là khoảng cách chất lượng. Phát biểu có thể bảo vệ được thì hẹp hơn — trên bảng xếp hạng dạng ngắn tiếng Anh công khai, hai mô hình này nằm trong khoảng cách vài phần mười điểm so với nhau, một kết quả đáng chú ý đối với một mô hình nhỏ hơn 64 lần, và là lời cảnh báo về việc mức trung bình của bảng xếp hạng có bao nhiêu phần đến từ giọng đọc sạch, đọc thành tiếng theo kiểu LibriSpeech.

Tỷ lệ lỗi từ cũng che giấu đi thứ thực sự phân biệt chúng. Granite là một bộ phân loại: nó phát ra chuỗi nhãn có khả năng cao nhất, và ở những chỗ âm học còn mơ hồ, nó phát ra một thứ gì đó nghe hợp lý. Nemotron sinh văn bản với một mô hình ngôn ngữ đằng sau, đó là lý do tuyên bố về khả năng nhắc ngữ cảnh của nó — giảm sáu lần lỗi thực thể có tên trên ContextASR-Bench khi đưa danh sách thực thể vào lời nhắc — thậm chí còn có thể thành hiện thực. Trên một bản ghi cuộc gọi bán hàng đầy mã sản phẩm, mô hình nhỏ không có cơ chế nào để tận dụng thiên lệch đó, còn mô hình lớn thì có.

Thông lượng: 19,870 RTFx so với 462

Mục trên bảng xếp hạng Hugging Face của Nemotron 3.5 Transcribe có RTFx là 462,09 — nghĩa là mô hình xử lý khoảng 462 giây âm thanh mỗi giây tính toán trên bộ khung kiểm thử của bảng xếp hạng. Bản cập nhật tháng 10 của IBM báo cáo RTFx 19.870 cho TurboCTC trên một H200 duy nhất, tăng từ khoảng 12.600 lúc ra mắt sau một tối ưu hóa tái sử dụng đồ thị một khối. Đó là mức chênh lệch gấp 43 lần, và không giống như các số liệu WER, nó ít nhất được đo trên hai bộ tăng tốc cạnh tranh thay vì hai hỗn hợp kiểm thử khác nhau.

Tiêu đề của chính NVIDIA là một loại con số khác: lên tới 2.238 giây âm thanh mỗi giây trên một chiếc RTX PRO 6000 Blackwell, dùng checkpoint NVFP4 và một mô hình draft DFlash2. Con số đó cao hơn 462 trên bảng xếp hạng bởi vì đây là một phép đo khác — các clip 30 giây ở mức đồng thời cao, đúng như bài đăng Hugging Face của chính NVIDIA nêu rõ, với giải mã suy đoán (speculative decoding) được bật và một kiểu lượng tử hoá vẫn còn được mô tả là sắp ra mắt. Đọc cả hai con số cùng nhau, kết luận trung thực là thông lượng của Nemotron phụ thuộc vào cấu hình đến mức chênh lệch cả một bậc độ lớn, trong khi thông lượng của TurboCTC là một thuộc tính của chính kiến trúc nó. Một mô hình không có vòng lặp tự hồi quy thì không thể chậm theo cái cách mà một MoE 30B có thể.

470 triệu tham số mang lại cho bạn điều gì mà 30 tỷ không thể

Câu trả lời đầu tiên là hình thái triển khai. Một tệp GGUF 279MB chạy trên CPU, trên thiết bị biên gần điện thoại, bên trong ứng dụng máy tính để bàn, trên bo mạch cấp Raspberry Pi nếu bạn kiên nhẫn. Giờ đây đã có các bản port GGUF do cộng đồng thực hiện và một họ runtime C++ coi mô hình như một engine hạng nhất. Nemotron 3.5 Transcribe chạy dưới vLLM với plugin NeMo Speech, hoặc SGLang-Omni, trên bộ tăng tốc 80GB ở BF16 hoặc card Blackwell ở NVFP4. Đó không phải hai điểm trên một phổ; chúng là những hạng mục mua sắm khác nhau.

Yếu tố thứ hai là mức sàn độ trễ. Mô hình CTC trả về bản ghi trong một lượt lan truyền xuôi. Mô hình sinh trả về từng token một, và độ trễ thời gian thực của nó trên một tệp ngắn bị chi phối bởi vòng lặp giải mã chứ không phải bởi âm thanh. Với lưu trữ hàng loạt, điều này không quan trọng. Đối với bất kỳ thứ gì tương tác — hộp đọc chính tả, công cụ giám sát chất lượng cuộc gọi, công cụ phụ đề phải theo kịp thao tác tua — mô hình nhỏ là mô hình duy nhất trong hai mô hình hoàn tất trước khi người dùng nhận ra.

Điều thứ ba là tính rõ ràng về giấy phép. Apache-2.0 là giấy phép mà các phòng pháp chế đã phê duyệt; OpenMDW-1.1 còn quá mới nên một số bộ phận trong đó sẽ muốn xem xét lại. Nếu rào cản của bạn là một mẫu thủ tục mua sắm chứ không phải một benchmark, thì mô hình của IBM sẽ vượt qua nó nhanh hơn.

30 tỷ tham số mang lại cho bạn những gì mà 470 triệu không thể

Về người nói, trước tiên và một cách dứt khoát. TurboCTC hoàn toàn không có biểu diễn người nói. Để có bản ghi chép có gán người nói, bạn cần một mô hình diarization đặt trước nó, một bước hợp nhất, và một ngân sách lỗi cho bước hợp nhất — quy trình ghép tầng tiêu chuẩn. Nemotron 3.5 Transcribe tích hợp một mô hình diarization đóng băng vào encoder và xuất trực tiếp nhãn người nói, tối đa tám nhãn, trong 13 ngôn ngữ, với thời gian từng từ gán theo người nói từ một bộ chuyển đổi CTC sau giải mã. Tỷ lệ lỗi diarization mà NVIDIA báo cáo là 18,26% trên 21 ngôn ngữ trên benchmark David AI, tốt nhất trong 14 hệ thống, với đối thủ gần nhất là mô hình Nemotron 3 Diarization của chính họ ở 18,38%. Đó là các con số của nhà cung cấp trên bộ kiểm thử của nhà cung cấp và chúng chưa được tái lập độc lập. So sánh dạng ghép tầng mà chúng ngụ ý — một mô hình so với ba — hoàn toàn không phải là một tuyên bố benchmark, mà là mô tả của việc triển khai.

Ngôn ngữ và dịch thuật đứng thứ hai. TurboCTC hỗ trợ bảy ngôn ngữ sau bản cập nhật tháng Mười; Nemotron hỗ trợ bốn mươi ngôn ngữ để phiên âm và ba mươi mốt ngôn ngữ để dịch sang hoặc từ tiếng Anh. Nếu hàng đợi của bạn thuộc châu Âu và đơn ngữ, bảy ngôn ngữ là đủ. Nếu không, cuộc so sánh kết thúc.

Thứ ba là tinh chỉnh. NVIDIA báo cáo việc thích ứng trên một GPU đơn lẻ mất 0,5 đến 2,3 giờ GPU mỗi tác vụ, và một ví dụ về giọng nói y khoa trong đó một lần tinh chỉnh đã đưa tỷ lệ lỗi từ từ 30,8% xuống 11,8% trên 3.619 clip, với những người nói trong tập giữ lại cải thiện từ 22,44% xuống 12,17%. TurboCTC của IBM cũng có thể tinh chỉnh — nó là Apache-2.0 — nhưng bạn sẽ tinh chỉnh một đầu CTC trên một mô hình nhỏ hơn nhiều, và giới hạn về những gì ngữ cảnh bổ sung có thể mang lại cho bạn thấp hơn vì không có mô hình ngôn ngữ để thuyết phục.

Mô hình chi phí quyết định điều đó

Kinh tế học của TurboCTC gần như nhàm chán. Một chiếc H200 phục vụ 19.870 RTFx làm bão hòa một hàng đợi rất lớn; một bản dựng 279MB đã lượng tử hóa trên CPU phổ thông gần như không tốn gì cho mỗi giờ âm thanh, và điện năng mới là khoản mục chi phí. Không có đồng hồ đo theo phút ở bất kỳ đâu trong ngăn xếp.

Cấu trúc kinh tế của Nemotron có cùng hình dạng ở một quy mô khác: không có cơ chế tính phí theo phút, nhưng bộ tăng tốc lớn hơn nhiều và trần thông lượng nhỏ hơn nhiều. Một thẻ Blackwell xử lý 2.238 giây âm thanh mỗi giây sẽ bao phủ 100 giờ trong chưa đầy ba phút ở mức đồng thời cao, và ít hơn đáng kể đối với các cuộc họp kéo dài một giờ có chồng lấn.

• Khối lượng công việc 20 giờ mỗi tháng — TurboCTC trên CPU coi như miễn phí; Nemotron cần một bộ tăng tốc đi thuê hoặc thuộc sở hữu, sẽ nhàn rỗi phần lớn thời gian trong tháng.

• Kho lưu trữ 2.000 giờ mỗi tháng không có yêu cầu về người nói — TurboCTC trên một GPU, hoặc một cụm nhỏ CPU, là cấu hình rẻ hơn và nhanh hơn vượt trội.

• Kho lưu trữ 2.000 giờ mỗi tháng của các cuộc họp sáu người — TurboCTC cùng một bộ tách người nói cùng một lớp hợp nhất, được đo đối chiếu với Nemotron trên một card. Đây là cấu hình duy nhất mà mức giá của mô hình lớn là hợp lý, và ngay cả ở đây, phương án xếp tầng vẫn rẻ hơn về phần cứng.

• Bất kỳ nội dung nào thuộc ràng buộc bảo mật cấm tải âm thanh lên — cả hai đều có thể tự triển khai trên máy chủ riêng, nên dù thế nào ràng buộc vẫn được đáp ứng, và quyết định sẽ phụ thuộc vào người nói và ngôn ngữ.

Nửa xử lý hậu kỳ của pipeline là nơi một lớp định tuyến chứng minh được giá trị của mình bất kể bạn chọn bộ nhận dạng nào. Bản ghi được tóm tắt, gắn thẻ và định tuyến, và OrcaRouter đưa hơn 200 mô hình văn bản và đa phương thức vào sau một khóa duy nhất với giá niêm yết của nhà cung cấp được chuyển nguyên với mức markup 0%, chuyển đổi dự phòng tự động, và một DSL định tuyến có thể gửi một loại bản ghi đến bộ tóm tắt giá rẻ và loại khác đến mô hình mạnh hơn mà không cần tích hợp thứ hai. Cả Nemotron 3.5 Transcribe lẫn Granite Speech 5.0 470M TurboCTC đều không được cung cấp trên danh mục đó — chúng tôi không lưu trữ speech-to-text — vì vậy lựa chọn nhận dạng giọng nói vẫn là một hợp đồng riêng và chỉ lớp phía trên nó trở nên di động.

Chọn theo hình dạng của công việc, không phải bảng xếp hạng

Nếu công việc là “biến một lượng lớn âm thanh sạch, chủ yếu là tiếng Anh thành văn bản càng rẻ và càng nhanh càng tốt”, thì Granite Speech 5.0 470M TurboCTC thắng, và so sánh không hề sát nút — đây là một mô hình 279MB được cấp phép Apache vượt qua một hệ thống 30B nhanh hơn hơn bốn mươi lần và gần như không đánh đổi gì trên mức trung bình tiếng Anh công khai. Tầng xếp chồng bạn dựng cho người nói là cái giá của hiệu quả đó, và nếu bạn chưa bao giờ cần đến người nói, bạn chưa bao giờ phải trả cái giá đó.

Nếu nhiệm vụ là “tạo ra một bản ghi có gán người nói, có mốc thời gian và có cấu trúc từ một bản ghi âm khó bằng một trong bốn mươi ngôn ngữ”, thì Nemotron 3.5 Transcribe là cái duy nhất trong hai cái thử làm điều đó, và các số liệu phân tách người nói của nhà cung cấp — chưa được tái lập độc lập — cho thấy nó làm việc đó tốt hơn các chuỗi xử lý mà nó thay thế. Chi phí thông lượng là có thật, chi phí phần cứng là có thật, và với khối lượng công việc nhiều cuộc họp, cả hai đều không quá cao.

Điều cần tránh là coi đây như một cuộc thi giữa các thế hệ. Một mô hình CTC 470M không phải là phiên bản lỗi thời của một speech LLM 30B; nó là một công cụ khác, tình cờ đạt điểm tương tự trên một benchmark được xây dựng chủ yếu từ giọng đọc sạch. Bản phát hành tiếp theo sẽ không khiến nó trở nên lỗi thời. Bản ghi âm tệ nhất của chính bạn sẽ cho bạn biết bạn cần cái nào.