NVIDIA NemotronLabs VoiceChat 11B: Mô hình giọng nói song công mà NVIDIA phát hành mà không hề công bố

Hai thẻ mô hình nằm trong cùng một kho lưu trữ Hugging Face, và chúng mâu thuẫn với nhau. Thẻ hiển thị trên trang gọi mô hình là NVIDIA NemotronLabs VoiceChat 11B, cho ngày phát hành là 3 tháng 8 năm 2026, và liệt kê 11B tham số. Thẻ thứ hai, một tệp có tên overview.md mà không ai nhìn thấy trừ khi họ mở tab Files, gọi cùng mô hình đó là 12B, ghi ngày phát hành là 16 tháng 7, có phần benchmark mà thẻ công khai bỏ qua, và vẫn còn từ TODO nằm ở chỗ đáng lẽ phải là mô tả kết quả. Cả hai thẻ đều không đi kèm bài đăng ra mắt, thông cáo báo chí, báo cáo kỹ thuật, hay tweet nào từ NVIDIA.

Tuy nhiên, thứ bên trong không phải là một chỗ giữ chỗ. Đó là một checkpoint 44 GB vừa nghe vừa nói cùng lúc: một khối thống nhất nhận âm thanh từ micro và đẩy ra giọng nói tổng hợp, không qua chuỗi chuyển tiếp thông thường từ nhận dạng giọng nói đến mô hình ngôn ngữ rồi đến chuyển văn bản thành giọng nói. Nó được xây dựng trên nền tảng Nemotron Nano 9B v2, có thể gọi công cụ giữa câu trong khi vẫn tiếp tục nói, và NVIDIA tuyên bố đây là mô hình full-duplex mở đầu tiên có thể làm được điều đó.

Mọi thứ bên dưới được đọc trực tiếp từ kho lưu trữ đó — hai thẻ mô hình, config.json, và chỉ mục tensor bên trong tệp trọng số, thứ mà chúng tôi đã tự phân tích để giải quyết dứt điểm câu hỏi 11B so với 12B. Mọi con số hiệu năng mà NVIDIA công bố cho mô hình này đều là số liệu của chính NVIDIA, do NVIDIA đo đạc, và chưa được tái lập. Chỉ có đúng một phép đo độc lập của dòng mô hình này tồn tại công khai, đến từ Artificial Analysis, và nó được xếp dưới một cái tên khác và một số lượng tham số khác — hóa ra đây lại là điều thú vị nhất về bản phát hành.

Thực sự có gì trong kho lưu trữ?

Kho lưu trữ được tạo vào ngày 29 tháng 7 năm 2026 và được chỉnh sửa lần cuối vào ngày 4 tháng 8. Nó chứa mười bảy tệp: hai thẻ mô hình cạnh tranh, một giấy phép, một config.json, một tệp nặng 44,4 GB model.safetensors, một sơ đồ kiến trúc, một thư mục tokenizer RNN-T, bốn ghi chú chính sách ngắn về thiên kiến, an toàn, quyền riêng tư và khả năng giải thích, và ba tệp .wav — một bản demo luân phiên lượt nói, một bản demo ngắt lời và một bản demo gọi công cụ — được nhúng dưới dạng trình phát âm thanh ở đầu thẻ để bạn nghe mô hình trước khi đọc về nó.

Một số thứ vắng mặt, và chúng quan trọng hơn danh sách tệp.

• Không có bài báo nào cho mô hình này. Thẻ thông tin trích dẫn năm nguồn: VoiceBench, Full-Duplex-Bench 1.0, Full-Duplex-Bench v3, SALM-Duplex, Audio Flamingo 3, cùng với bản in trước PersonaPlex của chính NVIDIA. Không có nguồn nào trong số đó là báo cáo kỹ thuật NemotronLabs VoiceChat. Kiến trúc được mô tả trong khoảng ba đoạn văn và một sơ đồ, và đó là toàn bộ thông tin công khai về cách mô hình được xây dựng.

• Không có cách nào để gọi nó. Trang Hugging Face nêu rõ rằng mô hình "không được triển khai bởi bất kỳ Nhà cung cấp suy luận nào." Không có endpoint lưu trữ nào, từ NVIDIA hay bất kỳ ai khác. Chủ đề thảo luận cộng đồng mở duy nhất trên repo là một người dùng yêu cầu NVIDIA thêm một handler.py để checkpoint có thể được triển khai lên Hugging Face Inference Endpoints — người đã thử chạy theo cách dễ dàng và nhận ra rằng không có cách nào.

• Không có pipeline_tag và không có library_name. Đó là lý do trang không có widget suy luận và nhãn tác vụ, và đó là triệu chứng của vấn đề sâu hơn: config.json không phải là config của Transformers. Nó là một NeMo 32 KB dùng để huấn luyện — cấu hình với đầy đủ một khối AdamW, một lịch trình tốc độ học, các bucket bin của dataloader và một phân chia xác thực. Bạn không thể trỏ AutoModel.from_pretrained vào đây. Bạn clone một nhánh cụ thể của kho lưu trữ Speech của NVIDIA — nemotron-labs-voicechat — dựng một môi trường conda được ghim vào Python 3.12, PyTorch 2.10 và Transformers 4.56, biên dịch causal-conv1d và mamba-ssm mà không có cô lập build, và chạy script của họ.

Bộ đếm lượt tải phản ánh tất cả điều đó. 107 lượt thích so với 80 lượt tải trong tháng đầu tiên của mô hình là dấu hiệu của một bản phát hành mà mọi người đã đánh dấu nhưng không chạy.

Chúng tôi đã đếm số lượng tham số, và 11B thắng.

Một tệp safetensors mang một tiêu đề JSON liệt kê từng tensor, shape và dtype của nó, vì vậy số lượng tham số không phải là vấn đề chủ quan. Chúng tôi đã lấy tiêu đề và cộng lại: 11,095 triệu tham số trên 1.626 tensor float32, chiếm 44,38 GB. Vậy thẻ hiển thị là đúng còn overview.md đã lỗi thời — đây là mô hình 11B, và con số 12B là tàn dư.

Cây mô hình của Hugging Face giải thích lý do vì sao một mô hình 12B có thể len lỏi vào. Chuỗi kế thừa mà nó vẽ ra chạy từ Nemotron Nano 12B v2 Base, rồi đến Nemotron Nano 12B v2, sau đó là Nemotron Nano 9B v2, và chỉ sau đó mới đến mô hình này. Họ mô hình nền tảng văn bản của riêng NVIDIA bao gồm cả 12B và 9B, trong đó 9B là hậu duệ được tỉa bớt của 12B, và VoiceChat được xây dựng trên 9B. Một thẻ mô hình được soạn thảo sớm hơn trong chuỗi đó đương nhiên sẽ mang con số lớn hơn.

Tiêu đề cũng phân chia rõ ràng theo hai nửa của kiến trúc:

• Phía hiểu — 10.098B.Trong đó, 7.714B là khối transformer Nemotron Nano v2, 0.609B là bộ mã hóa giọng nói, và ba ma trận riêng biệt 131,072 × 4,480, mỗi ma trận chiếm 0.587B.

• Phía nói — 0.997B. Một backbone tổng hợp giọng nói từ văn bản với 28 lớp, độ rộng 1,152, ở mức 0.595B, một đầu ra hỗn hợp Gaussian 0.159B, và một codec âm thanh nơ-ron có encoder và decoder mỗi bên 0.092B.

Hai hệ quả thực tế phát sinh từ kiểu dữ liệu (dtype). Thứ nhất, bản tải xuống 44 GB không phải là một mô hình lớn — nó là một mô hình thông thường được phát hành ở định dạng float32; chuyển đổi sang bfloat16 và trọng số sẽ còn khoảng 22 GB. Thứ hai, mức yêu cầu tối thiểu 80 GB GPU mà NVIDIA công bố là hệ quả của lựa chọn đó chứ không phải do kích thước mô hình, và bất kỳ ai có thẻ 48 GB sẵn sàng tự chuyển đổi checkpoint đều không hẳn bị loại trừ — mặc dù chưa ai công bố một lần chạy được xác nhận ở mức dung lượng đó, nên hãy coi đây là phép tính số học, chứ không phải lời hứa.

Cách nó lắng nghe và nói chuyện cùng một lúc

"Full duplex" chính là điểm mấu chốt của bản phát hành, và cấu hình cho thấy cách tính năng này được kích hoạt. Ba lựa chọn thiết kế đảm nhận công việc đó.

• Bộ mã hóa giọng nói không thể nhìn về phía trước. Đây là một Conformer 24 tầng, 8 đầu với ngữ cảnh attention được đặt thành [70, 0] — bảy mươi khung ngữ cảnh bên trái và không khung ngữ cảnh bên phải. Một bộ nhận dạng thông thường nhìn vào âm thanh sau thời điểm hiện tại để phân biệt rõ những gì nó vừa nghe; bộ này bị cấm làm như vậy, điều này làm giảm độ chính xác nhưng đổi lại khả năng đưa ra quyết định ngay khi một khung dữ liệu đến.

• Mọi thứ được lượng tử hóa thành 80 ms. Độ dài khung trong cấu hình là 0,08 giây, khớp với kích thước khối 80 ms mà NVIDIA đã mô tả ở nơi khác cho hướng nghiên cứu này. Cứ mỗi 80 ms, mô hình quyết định xem nên tiếp tục lắng nghe hay bắt đầu nói. Chính nhịp điệu đó khiến tính năng barge-in (ngắt lời) có cảm giác tức thời thay vì phải chờ đợi lịch sự.

• Các lệnh gọi công cụ phát ra từ chính miệng của chúng. Hãy nhớ ba ma trận có hình dạng giống hệt nhau với 131.072 từ vựng. Một là embedding đầu vào, một là head mô hình ngôn ngữ thông thường — và cái thứ ba được đặt tên là function_head. "Kênh đầu ra riêng biệt cho các script gọi công cụ" trong phần mô tả của thẻ là một phép chiếu đầu ra thứ ba theo đúng nghĩa đen, rộng 587 triệu tham số, chạy song song với quá trình tạo giọng nói. Đó là lý do kiến trúc mà mô hình có thể gửi lệnh gọi công cụ mà không dừng cuộc trò chuyện, và đó là một cam kết thiết kế thực sự chứ không phải một quy ước prompt.

Ở giai đoạn sau, bộ giải mã chuyển văn bản thành giọng nói dự đoán các mã cho một bộ mã hóa lượng tử vector phần dư với 31 bộ lượng tử và các hệ số giảm mẫu là 7, 7 và 9 — mức giảm 441× khiến tốc độ token âm thanh đạt 50 khung hình mỗi giây, xuất ra ở tần số 22,05 kHz. Đầu vào là 16 kHz. Ngoài ra còn có bộ giải mã RNN-T và mạng kết hợp trong checkpoint, đó là lý do vì sao các đầu ra được khai báo của mô hình bao gồm bản phiên âm của người dùng cùng với văn bản và âm thanh của chính nó: bản phiên âm là một đầu nhận dạng thực thụ, không phải sản phẩm phụ. Giọng nói mặc định có tên là Aria, và một đoạn clip tham chiếu dài ba giây dùng để điều kiện hóa người nói.

Một chi tiết nữa từ cấu hình đáng được nêu ra vì nó xác nhận một hạn chế đã được công bố: bộ nạp dữ liệu huấn luyện giới hạn các phát ngôn ở mức 142.39 giây. Cảnh báo trên thẻ mô hình rằng mô hình chỉ nắm giữ ngữ cảnh âm thanh tối đa hai phút hiện rõ trong quy trình dữ liệu đã tạo ra nó.

Điểm số, và ai thực sự đo lường chúng

Các tuyên bố nổi bật của NVIDIA là độ trễ và thứ hạng. Trên Full-Duplex-Bench 1.0, hãng báo cáo 448 ms để chuyển lượt mượt mà và 480 ms để nhường lượt khi bị ngắt, với tỷ lệ tiếp quản là 0.82 khi chuyển lượt mượt mà và 1.0 khi người dùng ngắt lời, cùng điểm GPT-4o judge là 4.33 về xử lý ngắt lời. Hãng tuyên bố đứng #2 trong số các mô hình full-duplex mở trên VoiceBench và #2 trong số các mô hình mở trên Full-Duplex-Bench. Tất cả đều do chính NVIDIA chạy thử.

Đặt chúng đối chiếu với thế giới bên ngoài và hai khoảng trống sẽ mở ra.

• Về suy luận giọng nói, số liệu của nhà cung cấp cao hơn khoảng tám điểm. Tệp chưa được kết xuất overview.md báo cáo 37.0% trên Big Bench Audio. Artificial Analysis đã độc lập đo lường dòng này ở mức 29.2%. Cùng một benchmark, cùng một dòng mô hình, một khoảng cách đủ lớn để thay đổi vị trí của mô hình trong bảng xếp hạng.

• Trên VoiceBench, con số của nhà sản xuất còn khiêm tốn quá. Thẻ thông số tuyên bố vị trí #2 trong số các mô hình full-duplex mã nguồn mở; bảng xếp hạng VoiceBench công khai xếp mô hình này ở mức 58.10, là cao nhất trong nhóm full-duplex mã nguồn mở, vượt qua Freeze-Omni ở mức 55.20 và Moshi ở mức 29.51. Thẻ thông số dự thảo của chính NVIDIA ghi 55.1 cho mình — thấp hơn con số mà bảng xếp hạng hiện đang liệt kê.

Còn một điểm bất thường nhỏ hơn nữa: {{1}}bảng so sánh của chính NVIDIA chấm điểm các đối thủ hào phóng hơn so với Artificial Analysis{{/1}}. Phiếu điểm nháp đặt {{2}}Freeze-Omni ở mức 33.4% và PersonaPlex 7B ở mức 19.1% trên Big Bench Audio{{/2}}; Artificial Analysis đo được {{3}}33.9% và 12.6%{{/3}}. Thứ tự xếp hạng giữa các đối thủ vẫn được giữ nguyên trong cả hai trường hợp, điều này {{4}}đáng yên tâm{{/4}}, nhưng đó là {{5}}lời nhắc nhở{{/5}} rằng bộ khung đánh giá của nhà cung cấp và bộ khung độc lập không trả về cùng một con số, ngay cả đối với bên thứ ba.

Biểu đồ khiến tiêu đề trung thực trở nên không thể tránh khỏi. Trong số các mô hình full-duplex mở, đây là một bước tiến thực sự — nó hơn gấp đôi PersonaPlex về khả năng suy luận từ lời nói và khiến Moshi rơi vào một hạng mục hoàn toàn khác. Nếu so với những gì bạn có thể mua, nó không hề gần chút nào: Step-Audio R1.1 đạt 96%, Voice Agent của Grok 4.5 và Gemini 2.5 Flash (Thinking) đạt 92%, Nova 2.0 Sonic đạt 87%. Đó là khoảng cách gần gấp ba lần về khả năng suy luận từ đầu vào lời nói.

Cách rõ ràng nhất để thấy full duplex hiện tại tốn bao nhiêu là ngay trong danh mục sản phẩm của NVIDIA. Trên VoiceBench, NVIDIA Nemotron 3 Nano Omni 30B A3B — một mô hình lớn hơn nhưng không phải full duplex — đạt 89,39, so với 58,10 của VoiceChat. Khoảng ba mươi điểm chất lượng trợ lý là cái giá phải trả cho khả năng xử lý gián đoạn và chuyển lượt nói dưới 500 ms, ít nhất là trong thế hệ này. Nếu sản phẩm của bạn không cần một mô hình có thể bị cắt ngang giữa lời, bạn đang trả rất nhiều cho một tính năng bạn sẽ không dùng tới.

Gọi công cụ là điểm nhấn, đồng thời cũng là phần yếu nhất.

"First open full-duplex model to support tool calling" là tuyên bố mà bản phát hành dựa vào, và các con số bên dưới nó không đồng đều. Trên một biến thể nói của BFCL-v3, NVIDIA báo cáo mức trung bình 56.1%: 58.5% đơn giản, 62.5% nhiều, 42.5% song song, 27.5% song song-nhiều, và 89.6% khi từ chối chính xác các cuộc gọi không liên quan. Trên Full-Duplex-Bench v3, sự phân chia còn rõ rệt hơn.

• Lựa chọn công cụ — 82,5%. Việc chọn đúng hàm từ danh sách, điều mà NVIDIA mô tả một cách công bằng là có tính cạnh tranh với các mô hình tiên tiến.

• Độ chính xác của đối số — 44.2%. Điền chính xác các tham số của hàm đó từ những gì người dùng đã nói.

• Pass@1 — 33%. Thực hiện đúng toàn bộ lời gọi ngay từ lần thử đầu tiên.

Một mô hình biết mình muốn dùng công cụ nào chính xác hơn hai phần ba so với khả năng điền tham số cho công cụ đó là một mô hình sẽ tự tin tra cứu thời tiết của thành phố sai. Trong một tác tử văn bản, bạn sẽ phát hiện điều đó qua lớp xác thực và thử lại; trong một cuộc gọi thoại trực tiếp, việc thử lại có thể nghe thấy được, và ghi chú trong thẻ nói rằng mô hình không nên thử lại cuộc gọi thất bại chút nào — mô hình được chỉ dẫn để nói với người dùng rằng API đang gặp sự cố.

Các ràng buộc vận hành quanh nó khá chặt chẽ, và NVIDIA liệt kê chúng mà không mấy tô vẽ: tối đa năm công cụ cho mỗi phiên trước khi chất lượng suy giảm, không thể gọi đồng thời nhiều công cụ một cách đáng tin cậy, người dùng không có cách nào can thiệp trong khi một công cụ đang thực thi, và trong hội thoại hỗn hợp, có xu hướng trả lời từ kiến thức riêng của nó thay vì gọi công cụ mà lẽ ra nó nên gọi. Phản hồi công cụ dài làm đình trệ tác nhân, đó là điều mà tính năng "thông báo giữ máy" tồn tại để che lấp — bạn soạn sẵn một câu mà tác nhân nói ngay khi lệnh gọi được kích hoạt, để khoảng im lặng có chút gì đó.

Một điều kỳ quặc sẽ khiến ai đó mất cả buổi chiều: prompt hệ thống và phản hồi của công cụ phải là thuần ASCII. Không dùng dấu gạch ngang dài, không dấu ngoặc kép cong, không ký hiệu độ, không emoji. Đầu ra của công cụ phải được chuyển thành các câu ASCII đơn giản, thân thiện với giọng nói trước khi được đưa vào mô hình, nghĩa là phản hồi API JSON không thể được truyền thẳng ở dạng thô.

Chi phí để vận hành, và giấy phép ngăn cản bạn

Bắt đầu với phần cứng. Tài liệu nhánh của NVIDIA yêu cầu GPU có ít nhất 80 GB bộ nhớ, tức là hướng tới H100 hoặc H200, và cấu hình được kiểm thử là H100 với vLLM. Dung lượng H100 theo nhu cầu có giá khoảng 2–3 đô la mỗi giờ trên các đám mây GPU phổ biến, vì vậy một phiên bản chạy liên tục sẽ tiêu tốn gần 1.500–2.200 đô la mỗi tháng trước khi bạn viết bất kỳ mã ứng dụng nào, thuê ai đó để duy trì nó, hay phục vụ một cuộc trò chuyện đồng thời thứ hai.

Bây giờ đến phần so sánh. Artificial Analysis chuẩn hóa giá dịch vụ speech-to-speech lưu trữ theo chi phí mỗi giờ âm thanh đầu vào, và phạm vi giá hiện tại dao động từ khoảng 1,42 USD/giờ ở phân khúc rẻ nhất đến 10,75 USD/giờ cho gói cao cấp đắt nhất, với một lựa chọn tầm trung được đánh giá cao như Grok Voice Think Fast 2.0 có giá 4,80 USD/giờ — tức là 0,08 USD cho mỗi phút âm thanh.

Đọc hai đoạn văn đó cùng nhau, và lập luận về việc tự lưu trữ trở nên yếu hơn so với vẻ bề ngoài. Một chiếc H100 chuyên dụng chỉ rẻ hơn một endpoint được lưu trữ ở mức giá trung bình nếu bạn giữ nó thực sự bận rộn, và nó đắt hơn so với mức giá rẻ của thị trường lưu trữ gần như bất kể mức độ sử dụng — trong khi bạn cũng phải tự lo phần kỹ thuật, trực ca, và một mô hình đạt 29,2% trong khi các lựa chọn lưu trữ đạt 87–96%.

Và rồi có bức tường. Giấy phép là OpenMDW License Agreement v1.1, và thẻ mô tả trong trích dẫn khối của chính nó rằng mô hình "chỉ dành cho mục đích nghiên cứu." Mã trên nhánh GitHub là Apache-2.0; còn các trọng số thì không. Bạn có thể tải xuống, nghiên cứu, tinh chỉnh, đo điểm chuẩn và viết về nó. Bạn không thể đưa nó ra trước khách hàng. Mọi lập luận kinh tế ở trên vì vậy chỉ mang tính học thuật đối với một công ty đang cố gắng tung ra sản phẩm giọng nói — câu hỏi chưa bao giờ là liệu phép toán GPU có hoạt động hay không.

Đó cũng là lý do vì sao chúng tôi sẽ nói thẳng điều hiển nhiên: NemotronLabs VoiceChat 11B không thể gọi qua OrcaRouter, vì nó không thể gọi qua bất cứ thứ gì. Điều mà một key thực sự mang lại cho bạn là mốc chuẩn mà nó nên được so sánh — các mô hình giọng nói và âm thanh lưu trữ nằm sau một API duy nhất với mức tăng giá 0%, nghĩa là chúng tôi truyền thẳng giá niêm yết của nhà cung cấp, vì vậy khi một nhà cung cấp hạ giá âm thanh, con số thấp hơn là thứ bạn trả ngay hôm đó thay vì sau một chu kỳ hợp đồng. Nếu bạn đang định giá một agent giọng nói, con số theo phút đó là mức mà một GPU 80 GB phải vượt qua, và việc biết chính xác con số đó là điều đáng giá trước khi bạn cam kết đầu tư vào một rack.

Vấn đề về tên gọi: 11B, 12B, NemotronLabs, Nemotron 3

Đây là nơi mà hầu hết các bài đưa tin ban đầu đã đi sai hướng, vì vậy cần phải cẩn trọng về những gì đã được xác lập và những gì chưa.

Bốn nền tảng của chính NVIDIA mô tả sản phẩm này dưới ba tên gọi khác nhau. Hugging Face phát hành "NVIDIA NemotronLabs VoiceChat 11B" với trọng số mở và giấy phép chỉ dành cho nghiên cứu. Blog dành cho nhà phát triển của NVIDIA, vào tháng 3 năm 2026, mô tả "Nemotron 3 VoiceChat" là mô hình song công toàn phần 12B tham số trong giai đoạn truy cập sớm, nhắm tới độ trễ đầu cuối dưới 300 ms trên các khối 80 ms, với chương trình truy cập sớm cung cấp các container tham chiếu, kết quả benchmark và lộ trình tinh chỉnh, đồng thời hứa hẹn "trọng số mở, có thể kiểm tra để triển khai trong doanh nghiệp." Bảng xếp hạng công khai VoiceBench và Artificial Analysis đều ghi nhận mục của họ là "Nemotron 3 VoiceChat (V1)," 12B.

Điều có thể biết: các mô tả kiến trúc khớp từng thành phần một — bộ mã hóa Fast Conformer, bộ xương sống Nemotron Nano v2 9B, bộ giải mã văn bản thành giọng nói NVIDIA, kênh gọi công cụ riêng biệt, khung 80 ms, một ngăn xếp thống nhất. Thẻ chưa được kết xuất trong kho lưu trữ Hugging Face sử dụng con số 12B như các bề mặt khác. Đây là cùng một dòng công việc, và các mục của bên thứ ba gần như chắc chắn đang đo lường dòng mô hình này.

Điều chưa được xác nhận: liệu checkpoint bạn tải về hôm nay có giống hệt từng bit với những gì Artificial Analysis và VoiceBench đã đánh giá, hay với những gì chương trình truy cập sớm phân phát. Hai chi tiết cho thấy không nên giả định điều đó. Số tham số khác nhau, 11.095B đo được so với 12B như đã khai báo. Và chỉ tiêu độ trễ khác biệt rõ rệt — bài blog quảng bá mức dưới 300 ms end to end cho doanh nghiệp, trong khi thẻ thông số phát hành đo được 448 ms và 480 ms trên Full-Duplex-Bench. Đó có thể là các điểm đo khác nhau trên cùng một mô hình, hoặc là các mô hình khác nhau. NVIDIA không lên tiếng, bởi vì NVIDIA chẳng nói gì về bản phát hành này cả.

Kết luận thực tế: nếu bạn trích dẫn một con số cho mô hình này, hãy nêu rõ con số đó lấy từ nguồn nào. Việc đưa tin quy con số 29,2% của Artificial Analysis cho thẻ mô hình Hugging Face, hoặc con số 37,0% của NVIDIA cho một bài kiểm tra độc lập, đã gộp hai thứ mà chính NVIDIA giữ trong các tài liệu riêng biệt với số lượng tham số khác nhau.

Nơi nó vỡ

Phần hạn chế của thẻ dự thảo thẳng thắn một cách bất thường, và nhánh GitHub bổ sung thêm nhiều điều. Đã thu thập:

• Chỉ có tiếng Anh, và không có lộ trình đa ngôn ngữ trong repo.

• Bộ nhớ hai phút. Cuộc trò chuyện vượt quá cửa sổ âm thanh hai phút có thể không được lưu giữ — một giới hạn cứng cho các cuộc gọi hỗ trợ hoặc bất cứ điều gì cần nhớ những gì đã thỏa thuận từ bốn phút trước.

• Kém thông minh hơn chính bộ khung của nó. NVIDIA tuyên bố mô hình này có thể hoạt động kém hơn Nemotron Nano 9B v2 về kiến thức, khả năng tuân theo chỉ dẫn và an toàn, vì nó được tinh chỉnh để đạt sự tự nhiên trong hội thoại. Nó không được huấn luyện một cách tường minh cho suy luận hoặc căn chỉnh; suy luận nhiều bước và số học được đánh giá là yếu.

• Không có tín hiệu phản hồi đáng tin cậy. Âm "mm-hm" báo hiệu một người vẫn đang lắng nghe không được xử lý một cách có hệ thống.

• Nó sẽ ngắt lời bạn ngay giữa câu. Ghi chú của nhánh liệt kê các chế độ lỗi đã biết như việc ngắt lời người dùng khi họ tạm dừng giữa câu, và "tiếp tục mất kiểm soát / tự nói chuyện" — cái giá trực tiếp của một bộ mã hóa không có ngữ cảnh bên phải.

• Chỉ dành cho phòng yên tĩnh. Rõ ràng không phù hợp với môi trường ồn ào hoặc vang âm, đặc biệt là nơi có tiếng hội thoại nền. Điều này loại trừ hầu hết các khu vực trung tâm cuộc gọi và hầu hết các xe ô tô.

Ai thực sự nên tải xuống cái này

Các nhà nghiên cứu làm việc về mô hình hóa giọng nói duplex nhận được nhiều nhất từ đây, và nên chuyển hướng: {{1}}một checkpoint mã nguồn mở 11B với kênh gọi công cụ hoạt động, được huấn luyện trên khoảng 550.000 giờ âm thanh thực và tổng hợp pha trộn, là điểm khởi đầu tốt hơn nhiều so với việc triển khai lại từ bài báo SALM-Duplex{{/1}}. Giấy phép nghiên cứu không phải là ràng buộc đối với công việc đó.

Các đội ngũ xây dựng voice agent nên đọc thẻ mô hình và bỏ qua phần tải xuống. Những gì bạn học được từ một checkpoint float32 44 GB mà bạn không thể triển khai sẽ không thay đổi kiến trúc của bạn, và bài học thực sự từ các benchmark là {{1}}full duplex end-to-end vẫn chưa cạnh tranh được với một mô hình hosted tốt ở điểm người dùng chú ý nhất, đó là liệu trợ lý có hiểu họ hay không{{/1}}. Trong lúc đó, bước đi hợp lý là xây dựng dựa trên một endpoint hosted và giữ chi phí chuyển đổi thấp — {{2}}một khóa duy nhất cho hơn 200 mô hình với cơ chế failover tự động nghĩa là sự cố nhà cung cấp sẽ không làm đường dây điện thoại của bạn bị gián đoạn giữa cuộc gọi, và nó cũng có nghĩa là việc chuyển sang một mô hình full duplex mở sau này chỉ là thay đổi cấu hình chứ không phải viết lại{{/2}}.

Các doanh nghiệp quan tâm cụ thể đến vấn đề này nên đăng ký truy cập sớm Nemotron 3 VoiceChat thay vì xây dựng dựa trên các bộ trọng số Hugging Face. Chương trình đó chính là nơi có giấy phép triển khai, các container tham chiếu và tuyên bố dưới 300 ms. Checkpoint công khai là bản xem trước nghiên cứu của cùng một ý tưởng, được xuất bản mà không kèm thủ tục giấy tờ cho phép bạn sử dụng.

Ba câu hỏi mà repo này sẽ tiếp tục nhận được

Tôi có thể sử dụng nó cho mục đích thương mại nếu tôi tinh chỉnh nó nhiều không? Không. OpenMDW v1.1 cùng với tuyên bố "chỉ dành cho mục đích nghiên cứu" trên thẻ mô hình chi phối các trọng số và mọi thứ phái sinh từ chúng; giấy phép Apache-2.0 trên nhánh GitHub chỉ bao phủ mã suy luận, không bao gồm checkpoint. Tinh chỉnh không thể hợp pháp hóa giấy phép. Nếu bạn cần quyền thương mại, chương trình truy cập sớm chính là con đường mà NVIDIA đã thiết lập cho điều đó.

Đây có phải là cùng một mô hình với mô hình trên bảng xếp hạng không? Cùng một dòng họ, gần như chắc chắn; artifact giống hệt, chưa được xác nhận. Các mục nhập trên bảng xếp hạng và Artificial Analysis được ghi là "Nemotron 3 VoiceChat (V1)" ở mức 12B, checkpoint có thể tải xuống đo được 11,095B, và NVIDIA chưa công bố gì để dung hòa chúng. Hãy sử dụng các con số trên bảng xếp hạng như là thông tin độc lập tốt nhất hiện có về nguồn gốc, chứ không phải là phép đo đã xác minh của tệp trên Hugging Face.

Nó có chạy được trên thứ gì đó nhỏ hơn thẻ 80 GB không?Có lẽ là được, nếu tốn công sức, và chưa ai công bố bằng chứng. Các trọng số là float32, vì vậy việc chuyển đổi sang bfloat16 sẽ đưa khoảng 44 GB tham số xuống còn khoảng 22 GB, để lại khoảng trống thực sự trên thẻ 48 GB trước khi bạn tính đến KV cache, codec và các bộ đệm streaming. Nhưng đường dẫn được hỗ trợ là vLLM trên H100 với 80 GB, container triển khai được xây dựng cho cấu hình đó, và cấu hình duy nhất NVIDIA báo cáo đã thử nghiệm là cấu hình đó. Hãy dự trù thời gian, không chỉ VRAM.

Xem gì

Ba điều sẽ làm thay đổi cách nhìn nhận về bản phát hành này. Một báo cáo kỹ thuật, hoặc thậm chí một thẻ mô hình không còn tự mâu thuẫn, sẽ cho chúng ta biết liệu {{1}}checkpoint 11B{{/1}} có phải là thứ mà các bảng xếp hạng đã đo lường hay không. Một bản tái lập độ trễ độc lập — một người ngoài NVIDIA xác nhận {{2}}thời gian chuyển lượt 448 ms{{/2}} trên phần cứng của chính họ — sẽ biến tuyên bố hấp dẫn nhất của bản phát hành từ lời tiếp thị thành sự thật. Và một giấy phép thương mại, hoặc một endpoint lưu trữ từ bất kỳ ai, sẽ đưa sản phẩm này từ một thứ gây tò mò gắn với bài báo nghiên cứu trở thành một lựa chọn thực sự cho nhiều đội ngũ sẵn lòng đánh đổi một phần chất lượng suy luận để có một trợ lý giọng nói có thể bị ngắt lời.

Cho đến khi một trong những điều đó thành hiện thực, mô tả chính xác là hạn hẹp nhưng thực sự đáng chú ý: NVIDIA đã công bố checkpoint giọng nói full-duplex mở mạnh nhất từng được đo lường, trao cho nó kênh gọi công cụ hoạt động đầu tiên trong danh mục đó, cấp phép để không ai có thể phát hành nó, và từ chối đề cập rằng bất kỳ điều nào trong số này đã xảy ra.