NVIDIA NemotronLabs VoiceChat 11B: โมเดลเสียงแบบ Full-Duplex ที่ NVIDIA ปล่อยตัวออกมาโดยไม่มีการประกาศ

การ์ดโมเดลสองใบอยู่ในรีโพซิทอรี Hugging Face เดียวกัน แต่กลับให้ข้อมูลไม่ตรงกัน ใบที่แสดงบนหน้าเว็บเรียกโมเดลว่าNVIDIA NemotronLabs VoiceChat 11B โดยระบุวันเผยแพร่เป็นวันที่ 3 สิงหาคม 2026 และระบุพารามิเตอร์ 11B ใบที่สองเป็นไฟล์ชื่อว่าoverview.md ซึ่งไม่มีใครเห็นเว้นแต่จะเปิดแท็บ Files เรียกโมเดลเดียวกันว่า 12B ระบุวันเผยแพร่เป็นวันที่ 16 กรกฎาคม มีส่วน benchmark ที่การ์ดสาธารณะไม่ได้รวมไว้ และยังมีคำว่าTODO อยู่ตรงตำแหน่งที่ควรเป็นคำอธิบายผลลัพธ์ การ์ดทั้งสองใบไม่ได้มาพร้อมกับโพสต์เปิดตัว ข่าวประชาสัมพันธ์ รายงานทางเทคนิค หรือทวีตจาก NVIDIA

อย่างไรก็ตาม สิ่งที่อยู่ในนั้นไม่ใช่ตัวยึดตำแหน่ง แต่เป็น checkpoint ขนาด 44 GB ที่ฟังและพูดไปพร้อมกันได้: สแต็กเดียวที่รับเสียงไมโครโฟนเข้าไปและส่งเสียงสังเคราะห์ออกมา โดยไม่ต้องผ่านการถ่ายทอดแบบปกติจากระบบรู้จำเสียงไปยังโมเดลภาษาแล้วแปลงข้อความเป็นเสียง มันสร้างบนแกนหลัก Nemotron Nano 9B v2 โดยสามารถเรียกใช้เครื่องมือกลางประโยคได้ในขณะที่ยังพูดต่อเนื่อง และ NVIDIA อ้างว่านี่คือโมเดล full-duplex แบบเปิดตัวแรกที่ทำเช่นนั้นได้

ทุกอย่างด้านล่างนี้อ่านโดยตรงจากที่เก็บนั้น — การ์ดทั้งสองใบ, config.json, และดัชนีเทนเซอร์ภายในไฟล์น้ำหนัก ซึ่งเราแยกวิเคราะห์เองเพื่อตัดสินคำถามเรื่อง 11B เทียบกับ 12B. ตัวเลขประสิทธิภาพทุกตัวที่ NVIDIA เผยแพร่สำหรับโมเดลนี้เป็นของ NVIDIA เอง วัดโดย NVIDIA และไม่มีการทำซ้ำ. มีการวัดอิสระเพียงหนึ่งเดียวของสายนี้ที่ปรากฏต่อสาธารณะ จาก Artificial Analysis และมันถูกจัดเก็บภายใต้ชื่อที่ต่างกันและจำนวนพารามิเตอร์ที่ต่างกัน — ซึ่งกลายเป็นสิ่งที่น่าสนใจที่สุดเกี่ยวกับการเปิดตัวครั้งนี้.

จริงๆ แล้วมีอะไรอยู่ในรีโพซิทอรี

Repo นี้สร้างขึ้นเมื่อวันที่ 29 กรกฎาคม 2026 และมีการแก้ไขครั้งสุดท้ายเมื่อวันที่ 4 สิงหาคม ภายในมีไฟล์ทั้งหมดสิบเจ็ดไฟล์: การ์ดโมเดลสองใบที่แข่งขันกัน, ไลเซนส์, config.json, ไฟล์ model.safetensors ขนาด 44.4 GB หนึ่งไฟล์, ไดอะแกรมสถาปัตยกรรม, ไดเรกทอรี tokenizer ของ RNN-T, บันทึกนโยบายสั้น ๆ สี่ฉบับเกี่ยวกับอคติ ความปลอดภัย ความเป็นส่วนตัว และความสามารถในการอธิบายได้ และไฟล์ .wav สามไฟล์ — เดโมการผลัดกันพูด, เดโมการพูดแทรก, และเดโมการเรียกใช้เครื่องมือ — ซึ่งฝังเป็นเครื่องเล่นเสียงไว้ที่ด้านบนของการ์ด เพื่อให้คุณได้ยินเสียงโมเดลก่อนอ่านข้อมูลเกี่ยวกับมัน

มีหลายสิ่งที่ขาดหายไป และสิ่งเหล่านั้นสำคัญมากกว่ารายการไฟล์

• ไม่มีเอกสารทางวิชาการสำหรับโมเดลนี้การ์ดอ้างอิงห้ารายการ ได้แก่ VoiceBench, Full-Duplex-Bench 1.0, Full-Duplex-Bench v3, SALM-Duplex, Audio Flamingo 3 และ PersonaPlex preprint ของ NVIDIA เอง ไม่มีรายการใดเป็นรายงานทางเทคนิคของ NemotronLabs VoiceChat สถาปัตยกรรมถูกอธิบายไว้เพียงประมาณสามย่อหน้าและแผนภาพหนึ่งภาพ และนั่นคือข้อมูลทั้งหมดที่เปิดเผยต่อสาธารณะเกี่ยวกับวิธีการสร้างโมเดลนี้

• ไม่มีทางเรียกใช้มัน หน้า Hugging Face ระบุอย่างชัดเจนว่าโมเดลนี้ "ไม่ได้ถูกปรับใช้โดย Inference Provider รายใด" ไม่มี hosted endpoint จาก NVIDIA หรือใครอื่น เธรดชุมชนที่เปิดอยู่เพียงเธรดเดียวบน repo คือผู้ใช้ที่ขอให้ NVIDIA เพิ่ม handler.py เพื่อให้ checkpoint นี้สามารถ deploy ไปยัง Hugging Face Inference Endpoints ได้ — ผู้ที่ลองเรียกใช้มันด้วยวิธีง่ายๆ แล้วพบว่าไม่มี.

• ไม่มี pipeline_tag และไม่มี library_name นั่นคือสาเหตุที่หน้าเพจไม่มีอินเฟอเรนซ์วิดเจ็ตและไม่มีป้ายกำกับงาน และมันคืออาการของปัญหาที่ลึกกว่านั้น: config.json ไม่ใช่คอนฟิกของ Transformers มันคือคอนฟิก NeMo ขนาด 32 KB สำหรับการฝึก ซึ่งมีบล็อก AdamW, กำหนดการอัตราการเรียนรู้, ถังแบ่งข้อมูลของ dataloader และการแบ่งชุดตรวจสอบครบถ้วน คุณไม่สามารถชี้AutoModel.from_pretrained ไปที่ไฟล์นี้ได้ คุณต้องโคลนสาขาเฉพาะของรีโพซิทอรี Speech ของ NVIDIA — nemotron-labs-voicechat — สร้างสภาพแวดล้อม conda ที่ปักหมุด Python 3.12, PyTorch 2.10 และ Transformers 4.56 คอมไพล์causal-conv1d และmamba-ssm โดยไม่มีการแยก build แล้วรันสคริปต์ของพวกเขา

ตัวนับการดาวน์โหลดสะท้อนให้เห็นทั้งหมดนั้น การที่มียอดไลก์ 107 ครั้งเทียบกับดาวน์โหลด 80 ครั้งในเดือนแรกของโมเดลเป็นสัญญาณของการเปิดตัวที่ผู้คนบุ๊กมาร์กไว้แต่ไม่ได้รัน

เรานับพารามิเตอร์แล้ว 11B ชนะ

ไฟล์ safetensors มีส่วนหัว JSON ที่ระบุเทนเซอร์ทุกตัว รูปร่างและ dtype ของมัน ดังนั้นจำนวนพารามิเตอร์จึงไม่ใช่เรื่องของความคิดเห็น เราดึงส่วนหัวออกมาแล้วรวมกัน: พารามิเตอร์ 11,095 ล้านตัวกระจายอยู่ในเทนเซอร์ float32 จำนวน 1,626 ตัว ใช้พื้นที่ 44.38 GB ดังนั้นการ์ดที่แสดงผลจึงถูกต้อง และ overview.md ล้าสมัย — นี่คือโมเดล 11B และตัวเลข 12B เป็นของเหลือตกค้าง

แผนผังแบบจำลองของ Hugging Face อธิบายว่า 12B อาจแทรกเข้ามาได้อย่างไร สายเลือดที่มันวาดไว้นั้นเริ่มจาก Nemotron Nano 12B v2 Base จากนั้นเป็น Nemotron Nano 12B v2 แล้วตามด้วย Nemotron Nano 9B v2 และหลังจากนั้นจึงเป็นแบบจำลองนี้ ตระกูล backbone ข้อความของ NVIDIA เองมีทั้ง 12B และ 9B โดยที่ 9B เป็นทายาทที่ถูกตัดทอนมาจาก 12B และ VoiceChat สร้างขึ้นบน 9B การ์ดที่ร่างขึ้นก่อนหน้านั้นในสายโซ่ดังกล่าวย่อมต้องแสดงตัวเลขที่ใหญ่กว่าโดยธรรมชาติ

ส่วนหัวยังแบ่งออกอย่างชัดเจนตามสองส่วนของสถาปัตยกรรม:

• ด้านความเข้าใจ — 10.098B.ในจำนวนนั้น 7.714B เป็นสแตกทรานส์ฟอร์เมอร์ Nemotron Nano v2, 0.609B เป็นตัวเข้ารหัสคำพูด และเมทริกซ์แยกสามตัวขนาด 131,072 × 4,480 แต่ละตัวใช้ 0.587B.

• ด้านการพูด — 0.997B. โครงข่ายหลักข้อความเป็นเสียงพูด 28 ชั้น ความกว้าง 1,152 ที่ 0.595B หัวเอาต์พุตแบบผสมเกาส์เซียนขนาด 0.159B และตัวแปลงสัญญาณเสียงแบบนิวรัล ซึ่งตัวเข้ารหัสและตัวถอดรหัสมีขนาด 0.092B ต่อตัว

ผลที่ตามมาในทางปฏิบัติสองประการเกิดจาก dtype ประการแรก ไฟล์ดาวน์โหลดขนาด 44 GB ไม่ใช่โมเดลใหญ่ แต่เป็นโมเดลธรรมดาที่จัดส่งมาในรูปแบบ float32 หากแปลงเป็น bfloat16 น้ำหนักของโมเดลจะอยู่ที่ประมาณ 22 GB ประการที่สอง ข้อกำหนดขั้นต่ำของ NVIDIA ที่ระบุว่า GPU 80 GB เป็นผลสืบเนื่องมาจากตัวเลือกนั้น ไม่ใช่จากขนาดของโมเดล และผู้ที่มีการ์ด 48 GB ที่ยินดีแปลง checkpoint ด้วยตัวเองก็ไม่ได้ถูกกีดกันอย่างชัดเจน — แม้ว่าจะยังไม่มีใครเผยแพร่การรันที่ยืนยันแล้วที่ขนาดหน่วยความจำนั้น ดังนั้นควรถือว่ามันเป็นเพียงการคำนวณทางคณิตศาสตร์ ไม่ใช่คำมั่นสัญญา

วิธีที่มันฟังและพูดในเวลาเดียวกัน

"Full duplex" คือหัวใจสำคัญของการรีลีสครั้งนี้ และคอนฟิกก็แสดงให้เห็นว่ามันได้มาอย่างไร การเลือกออกแบบสามอย่างคือสิ่งที่ทำให้มันเกิดขึ้นจริง

• ตัวเข้ารหัสเสียงพูดไม่สามารถมองไปข้างหน้าได้. มันคือ Conformer แบบ 24 ชั้น 8 หัว ซึ่งบริบทความสนใจถูกตั้งไว้ที่ [70, 0] — เจ็ดสิบเฟรมของบริบททางซ้าย และ ศูนย์ เฟรมของบริบททางขวา ตัวรู้จำเสียงพูดแบบเดิมจะมองดูเสียงหลังจากช่วงเวลาปัจจุบันเพื่อแยกแยะสิ่งที่มันเพิ่งได้ยิน; ตัวนี้ถูกห้ามไม่ให้ทำเช่นนั้น ซึ่งทำให้ความแม่นยำลดลง แต่แลกมาด้วยความสามารถในการส่งผลการตัดสินใจทันทีที่เฟรมมาถึง

• ทุกอย่างถูกแบ่งเป็นช่วง 80 ms ความยาวเฟรมในคอนฟิกคือ 0.08 วินาที ซึ่งตรงกับขนาดชิ้น 80 ms ที่ NVIDIA อธิบายไว้ที่อื่นสำหรับงานสายนี้ โมเดลจะตัดสินใจทุกๆ 80 ms ว่าจะฟังต่อไปหรือเริ่มพูด จังหวะเช่นนี้เองที่ทำให้การพูดแทรกรู้สึกทันใจ ไม่ใช่แค่สุภาพ

• การเรียกใช้เครื่องมือหลุดออกมาจากปากของมันเองจำเมทริกซ์คำศัพท์ 131,072 ตัวที่มีรูปร่างเหมือนกันสามตัวได้ไหม ตัวหนึ่งคือ input embedding ตัวหนึ่งคือหัวโมเดลภาษาทั่วไป — และตัวที่สามชื่อว่า function_head. "ช่องสัญญาณเอาต์พุตแยกสำหรับสคริปต์เรียกใช้เครื่องมือ" ในข้อความบนการ์ดคือการฉายเอาต์พุตที่สามอย่างแท้จริง กว้าง 587 ล้านพารามิเตอร์ ทำงานคู่ขนานไปกับการสร้างเสียงพูด นั่นคือเหตุผลทางสถาปัตยกรรมที่โมเดลสามารถส่งการเรียกใช้เครื่องมือได้โดยไม่ต้องหยุดบทสนทนา และมันคือความมุ่งมั่นในการออกแบบจริง ไม่ใช่เพียงธรรมเนียมปฏิบัติของพรอมป์ต์

ในขั้นปลายน้ำ ตัวถอดรหัสข้อความเป็นเสียงพูดทำนายโค้ดสำหรับโคเดกแบบ residual-vector-quantized ที่มีควอนไทเซอร์ 31 ตัวและอัตราการดาวน์แซมปลิงที่ 7, 7 และ 9 ซึ่งลดขนาดลง 441 เท่า ทำให้อัตราโทเคนเสียงอยู่ที่ 50 เฟรมต่อวินาทีที่เอาต์พุต 22.05 กิโลเฮิรตซ์ อินพุตคือ 16 กิโลเฮิรตซ์ นอกจากนี้ ยังมี RNN-T decoder และ joint network อยู่ใน checkpoint ซึ่งเป็นเหตุผลที่เอาต์พุตที่ประกาศของโมเดลรวมถึงบทถอดความของผู้ใช้ควบคู่ไปกับข้อความและเสียงของโมเดลเอง: การถอดความเป็น recognition head จริง ไม่ใช่ผลพลอยได้ เสียงเริ่มต้นเรียกว่า Aria และคลิปอ้างอิงความยาวสามวินาทีใช้ปรับเงื่อนไขของผู้พูด

รายละเอียดอีกหนึ่งอย่างจาก config ที่ควรค่าแก่การชี้ให้เห็นก็คือ มันยืนยันข้อจำกัดที่ระบุไว้: training dataloader จำกัด utterances ไว้ที่ 142.39 วินาที คำเตือนบนการ์ดที่ว่าโมเดลรองรับบริบทเสียงได้ไม่เกินสองนาทีนั้นปรากฏให้เห็นใน data pipeline ที่สร้างมันขึ้นมา

คะแนน และใครเป็นคนวัดจริงๆ

ข้อกล่าวอ้างหลักของ NVIDIA คือความหน่วงและอันดับ บน Full-Duplex-Bench 1.0 รายงานว่าใช้เวลา 448 มิลลิวินาทีในการผลัดกันพูดอย่างราบรื่น และ 480 มิลลิวินาทีในการยอมหยุดพูดเมื่อถูกขัดจังหวะ โดยมีอัตราการแย่งพูด (takeover rate) 0.82 ในการผลัดกันพูดอย่างราบรื่น และ 1.0 เมื่อผู้ใช้ขัดจังหวะ และมีคะแนนการตัดสินของ GPT-4o ที่ 4.33 ในการจัดการการถูกขัดจังหวะ อ้างว่าเป็น #2 ในกลุ่มโมเดล full-duplex แบบเปิดบน VoiceBench และ #2 ในกลุ่มโมเดลแบบเปิดบน Full-Duplex-Bench ทั้งหมดนี้เป็นผลการรันของ NVIDIA เอง

จัดแนวพวกมันเทียบกับโลกภายนอก แล้วช่องว่างสองช่องก็เปิดออกมา

• ในเรื่องการให้เหตุผลด้านเสียงพูด ตัวเลขจากผู้จำหน่ายสูงไปประมาณแปดจุด ไฟล์ที่ยังไม่ได้เรนเดอร์ overview.md รายงานผล 37.0% บน Big Bench Audio โดย Artificial Analysis วัดสายนี้โดยอิสระได้ที่ 29.2%. เกณฑ์วัดเดียวกัน ตระกูลเดียวกัน ช่องว่างใหญ่พอที่จะเปลี่ยนอันดับของโมเดลในการจัดอันดับ

• บน VoiceBench ตัวเลขที่ผู้ขายให้ไว้นั้นต่ำเกินไป การ์ดระบุว่าอันดับที่ 2 ในบรรดาโมเดล open full-duplex; ลีดเดอร์บอร์ดสาธารณะของ VoiceBench แสดงโมเดลนี้ไว้ที่ 58.10 ซึ่งเป็นอันดับสูงสุดของกลุ่ม open full-duplex นำหน้า Freeze-Omni ที่ 55.20 และ Moshi ที่ 29.51 การ์ดร่างของ NVIDIA เองรายงานไว้ที่ 55.1 ซึ่งต่ำกว่าตัวเลขที่ลีดเดอร์บอร์ดแสดงอยู่ในขณะนี้

ยังมีความแปลกประหลาดเล็กน้อยอีกอย่างหนึ่ง: ตารางเปรียบเทียบของ NVIDIA เองให้คะแนนคู่แข่งสูงกว่าที่ Artificial Analysis ให้ ในการ์ดร่างระบุว่า Freeze-Omni ได้ 33.4% และ PersonaPlex 7B ได้ 19.1% ใน Big Bench Audio ในขณะที่ Artificial Analysis วัดได้ 33.9% และ 12.6% ลำดับของคู่แข่งยังคงเหมือนเดิมไม่ว่าด้วยวิธีใด ซึ่งน่าอุ่นใจ แต่ก็เป็นเครื่องเตือนใจว่าชุดทดสอบของผู้ขายกับชุดทดสอบอิสระนั้นให้ตัวเลขไม่ตรงกันแม้แต่สำหรับบุคคลที่สาม

กราฟนี้ทำให้พาดหัวที่ตรงไปตรงมาเลี่ยงไม่ได้ ในบรรดาโมเดลฟูลดูเพล็กซ์แบบเปิด นี่คือก้าวที่แท้จริง — มันทำคะแนนการให้เหตุผลจากเสียงพูดได้มากกว่าสองเท่าของ PersonaPlex และทำให้ Moshi ตกไปอยู่อีกหมวดหมู่โดยสิ้นเชิง เมื่อเทียบกับสิ่งที่ซื้อได้จริง มันยังห่างไกลมาก: Step-Audio R1.1 ที่ 96%, Voice Agent ของ Grok 4.5 และ Gemini 2.5 Flash (Thinking) ที่ 92%, Nova 2.0 Sonic ที่ 87% นั่นคือช่องว่างประมาณสามต่อหนึ่งในด้านการให้เหตุผลจากเสียงพูด

{{1}}วิธีที่ชัดเจนที่สุดในการดูว่าฟูลดูเพล็กซ์ในปัจจุบันมีต้นทุนเท่าใด คือการดูภายในแคตตาล็อกของ NVIDIA เอง{{/1}} {{2}}บน VoiceBench, NVIDIA Nemotron 3 Nano Omni 30B A3B — โมเดลที่ใหญ่กว่าซึ่งไม่ใช่ฟูลดูเพล็กซ์ — ได้คะแนน 89.39 ขณะที่ VoiceChat ได้ 58.10{{/2}} {{3}}คุณภาพผู้ช่วยที่เสียไปประมาณสามสิบจุดคือราคาของการจัดการการขัดจังหวะและการผลัดกันพูดที่ต่ำกว่า 500 มิลลิวินาที อย่างน้อยก็ในรุ่นนี้{{/3}} {{4}}หากผลิตภัณฑ์ของคุณไม่ต้องการโมเดลที่สามารถถูกขัดจังหวะกลางคำได้ คุณกำลังจ่ายเงินจำนวนมากเพื่อฟีเจอร์ที่คุณจะไม่ได้ใช้{{/4}}

การเรียกใช้เครื่องมือเป็นจุดเด่น และก็เป็นจุดอ่อนที่สุดด้วย

"โมเดล full-duplex ตัวแรกที่รองรับการเรียกใช้เครื่องมือ" คือคำกล่าวอ้างที่การเปิดตัวครั้งนี้ยึดถือ และตัวเลขที่อยู่ข้างใต้ก็ไม่สม่ำเสมอ ในการแปลงเสียงพูดของ BFCL-v3 NVIDIA รายงานค่าเฉลี่ย 56.1%: 58.5% แบบง่าย, 62.5% แบบหลายรายการ, 42.5% แบบขนาน, 27.5% แบบขนาน-หลายรายการ และ 89.6% สำหรับการปฏิเสธการเรียกที่ไม่เกี่ยวข้องอย่างถูกต้อง บน Full-Duplex-Bench v3 ความแตกต่างยิ่งชัดเจนขึ้นไปอีก

• การเลือกเครื่องมือ — 82.5%. การเลือกฟังก์ชันที่ถูกต้องจากรายการ, ซึ่ง NVIDIA อธิบายอย่างยุติธรรมว่าสามารถแข่งขันกับโมเดลระดับแนวหน้าได้.

• ความแม่นยำของอาร์กิวเมนต์ — 44.2%. การกรอกค่าพารามิเตอร์ของฟังก์ชันนั้นอย่างถูกต้องจากสิ่งที่ผู้ใช้กล่าว

• Pass@1 — 33%. การเรียกทั้งหมดถูกต้องตั้งแต่ครั้งแรก

โมเดลที่รู้ว่าเครื่องมือใดที่ต้องการด้วยความน่าเชื่อถือที่มากกว่าที่มันจะกรอกอาร์กิวเมนต์ของเครื่องมือได้ถึงสองในสาม คือโมเดลที่จะค้นหาสภาพอากาศของเมืองผิดอย่างมั่นใจ ในเอเจนต์แบบข้อความ คุณจะจับข้อผิดพลาดนั้นได้ด้วยเลเยอร์การตรวจสอบความถูกต้องและการลองใหม่ แต่ในการโทรด้วยเสียงสด การลองใหม่จะได้ยินได้ และการ์ดระบุว่าโมเดลไม่ควรลองเรียกซ้ำเมื่อการเรียกล้มเหลวเลย — โมเดลได้รับคำสั่งให้บอกผู้ใช้ว่า API มีปัญหา

ข้อจำกัดในการปฏิบัติงานรอบ ๆ สิ่งนี้เข้มงวด และ NVIDIA ระบุไว้โดยไม่มีการโฆษณาเกินจริง: เครื่องมือสูงสุดห้าตัวต่อเซสชันก่อนที่คุณภาพจะลดลง ไม่มีการเรียกใช้เครื่องมือหลายตัวพร้อมกันที่เชื่อถือได้ ผู้ใช้ไม่มีวิธีขัดจังหวะในขณะที่เครื่องมือกำลังทำงาน และแนวโน้มในการสนทนาแบบผสมที่จะตอบจากความรู้ของตัวเองแทนที่จะเรียกเครื่องมือที่ควรเรียก การตอบกลับของเครื่องมือที่ยาวนานทำให้เอเจนต์หยุดชะงัก ซึ่งเป็นสิ่งที่ฟีเจอร์ "ข้อความพักสาย" มีไว้เพื่อปกปิด — คุณเขียนวลีล่วงหน้าที่เอเจนต์จะพูดทันทีที่มีการเรียกใช้ เพื่อให้ความเงียบมีอะไรบางอย่างคั่นอยู่

ความแปลกประหลาดอย่างหนึ่งที่อาจทำให้ใครบางคนเสียเวลาทั้งบ่าย: พรอมต์ระบบและการตอบสนองของเครื่องมือต้องเป็นASCII เท่านั้น. ห้ามมีขีดอีแมช ห้ามมีเครื่องหมายคำพูดโค้ง ห้ามมีสัญลักษณ์องศา ห้ามมีอีโมจิ ผลลัพธ์จากเครื่องมือต้องถูกทำให้เป็นประโยค ASCII เรียบง่ายที่เหมาะกับการอ่านออกเสียงก่อนจะส่งถึงโมเดล ซึ่งหมายความว่าไม่สามารถส่งการตอบสนอง JSON API ในรูปแบบดิบๆ ได้

ค่าใช้จ่ายในการรัน และใบอนุญาตที่จำกัดคุณ

เริ่มต้นที่ฮาร์ดแวร์ เอกสาร branch ของ NVIDIA ระบุว่าต้องใช้ GPU ที่มีหน่วยความจำอย่างน้อย 80 GB ซึ่งชี้ไปที่ H100 หรือ H200 และการกำหนดค่าที่ทดสอบคือ H100 พร้อม vLLM ความจุ H100 แบบ on-demand มีราคาประมาณ $2–3 ต่อชั่วโมงบนคลาวด์ GPU ทั่วไป ดังนั้นอินสแตนซ์ที่ทำงานต่อเนื่องจึงมีค่าใช้จ่ายใกล้เคียง $1,500–2,200 ต่อเดือน ก่อนที่คุณจะเขียนโค้ดแอปพลิเคชัน จ้างใครมาดูแลมัน หรือให้บริการการสนทนาพร้อมกันครั้งที่สองด้วยซ้ำ

ทีนี้มาดูการเปรียบเทียบกัน Artificial Analysis ปรับมาตรฐานราคา speech-to-speech แบบโฮสต์ให้เป็นต้นทุนต่อชั่วโมงของเสียงอินพุต โดยช่วงราคาปัจจุบันอยู่ที่ประมาณ $1.42/ชั่วโมงสำหรับระดับถูกสุด ไปจนถึง $10.75/ชั่วโมงสำหรับระดับพรีเมียมที่แพงที่สุด และมีตัวเลือกตลาดกลางที่เป็นที่ยอมรับอย่าง Grok Voice Think Fast 2.0 อยู่ที่ $4.80/ชั่วโมง — ซึ่งคิดเป็น $0.08 ต่อนาทีเสียง

อ่านสองย่อหน้านั้นประกอบกัน แล้วข้อได้เปรียบของการโฮสต์ด้วยตัวเองจะดูอ่อนแอกว่าที่เห็น H100 แบบเฉพาะจะถูกกว่าเอนด์พอยต์แบบโฮสต์ราคากลางก็ต่อเมื่อคุณใช้งานมันอย่างเต็มที่จริงๆ และมันแพงกว่าตลาดโฮสต์ระดับราคาถูกเกือบไม่ว่าอัตราการใช้งานจะเป็นเท่าใด — ในขณะที่คุณยังต้องแบกรับงานวิศวกรรม งาน on-call และโมเดลที่ได้คะแนน 29.2% ในขณะที่ตัวเลือกแบบโฮสต์ได้คะแนน 87–96%

และแล้วก็มีกำแพงนั้น ใบอนุญาตก็คือ OpenMDW License Agreement v1.1 และการ์ดระบุในบล็อกโควตของตัวเองว่าโมเดล "พร้อมสำหรับวัตถุประสงค์การวิจัยเท่านั้น" โค้ดบนสาขา GitHub เป็น Apache-2.0; แต่เวตไม่ใช่ คุณสามารถดาวน์โหลด ศึกษา ปรับแต่งละเอียด ทดสอบวัดประสิทธิภาพ และเขียนเกี่ยวกับมันได้ คุณไม่สามารถนำมันไปวางต่อหน้าลูกค้าได้ ทุกข้อโต้แย้งทางเศรษฐกิจข้างต้นจึงเป็นเพียงเชิงวิชาการสำหรับบริษัทที่พยายามส่งมอบผลิตภัณฑ์เสียง — คำถามไม่เคยอยู่ว่าการคำนวณของ GPU ทำงานได้หรือไม่

ซึ่งเป็นเหตุผลที่เราจะพูดสิ่งที่ชัดเจนอย่างตรงไปตรงมา: NemotronLabs VoiceChat 11B ไม่สามารถเรียกใช้งานผ่าน OrcaRouter ได้ เพราะมันไม่สามารถเรียกใช้งานผ่านอะไรได้เลย สิ่งที่คีย์หนึ่งอันให้คุณคือเส้นฐานที่ควรนำมาเปรียบเทียบ — โมเดลเสียงพูดและเสียงที่โฮสต์อยู่จะอยู่เบื้องหลัง API เดียวที่มาร์กอัป 0% หมายความว่าเราส่งต่อราคารายการของผู้ให้บริการตรงๆ ดังนั้นเมื่อผู้ให้บริการลดอัตราค่าเสียง ตัวเลขที่ต่ำกว่าคือสิ่งที่คุณจ่ายในวันนั้น แทนที่จะเป็นหลังจากรอบสัญญา หากคุณกำลังกำหนดราคา voice agent ตัวเลขต่อนาทีนั้นคือจำนวนที่ GPU 80 GB ต้องเอาชนะให้ได้ และมันคุ้มค่าที่จะรู้อย่างแม่นยำก่อนที่คุณจะทุ่มเทกับแร็คหนึ่งตัว

ปัญหาชื่อ: 11B, 12B, NemotronLabs, Nemotron 3

นี่คือจุดที่การรายงานข่าวในช่วงแรกส่วนใหญ่ผิดพลาดไป ดังนั้นจึงควรระมัดระวังว่าสิ่งใดได้รับการยืนยันแล้วและสิ่งใดยังไม่

ช่องทางทั้งสี่ของ NVIDIA เองอธิบายงานนี้ภายใต้ชื่อเรียกที่แตกต่างกันสามแบบ Hugging Face เผยแพร่ "NVIDIA NemotronLabs VoiceChat 11B" พร้อมน้ำหนักแบบเปิดและใบอนุญาตสำหรับการวิจัยเท่านั้น บล็อกนักพัฒนาของ NVIDIA ในเดือนมีนาคม 2026 อธิบาย "Nemotron 3 VoiceChat" ว่าเป็นโมเดลฟูลดูเพล็กซ์ขนาด 12B พารามิเตอร์ที่อยู่ในช่วงการเข้าถึงก่อนใคร โดยตั้งเป้าให้ต่ำกว่า 300 มิลลิวินาที สำหรับเวลาแฝงแบบ end-to-end บนชิ้นข้อมูลขนาด 80 มิลลิวินาที พร้อมทั้งโปรแกรม early access ที่นำเสนอคอนเทนเนอร์อ้างอิง ผลการวัดประสิทธิภาพ และเส้นทางสำหรับการปรับแต่งละเอียด และยังสัญญาว่าจะมี "น้ำหนักที่เปิดเผยและตรวจสอบได้สำหรับการใช้งานในองค์กร" ลีดเดอร์บอร์ด VoiceBench ที่เปิดเผยต่อสาธารณะและ Artificial Analysis ต่างบันทึกรายการของตนเป็น "Nemotron 3 VoiceChat (V1)" ขนาด 12B

สิ่งที่ทราบได้: คำอธิบายสถาปัตยกรรมตรงกันในทุกส่วนประกอบ — ตัวเข้ารหัส Fast Conformer, แกนหลัก Nemotron Nano v2 9B, ตัวถอดรหัสข้อความเป็นคำพูดของ NVIDIA, ช่องทางเรียกใช้เครื่องมือแยกต่างหาก, เฟรม 80 มิลลิวินาที, สแต็กแบบรวมหนึ่งเดียว การ์ดที่ยังไม่แสดงผลในคลัง Hugging Face ใช้ตัวเลข 12B ที่พื้นผิวอื่นใช้ มันเป็นงานสายเดียวกัน และรายการจากบุคคลที่สามแทบจะแน่นอนว่าวัดผลตระกูลนี้

สิ่งที่ไม่ได้รับการยืนยัน: ว่า checkpoint ที่คุณดาวน์โหลดได้ในวันนี้ตรงกันทุกบิตกับสิ่งที่ Artificial Analysis และ VoiceBench ประเมิน หรือสิ่งที่โปรแกรม early-access มอบให้ มีสองรายละเอียดที่แย้งกับการสันนิษฐานเช่นนั้น จำนวนพารามิเตอร์ต่างกัน โดยวัดได้ 11.095B เทียบกับ 12B ตามที่ระบุไว้ และเป้าหมายด้านเวลาแฝงก็ต่างกันอย่างมาก — จุดขายระดับองค์กรของบล็อกคือต่ำกว่า 300 มิลลิวินาทีแบบ end-to-end ขณะที่การ์ดที่เผยแพร่ออกมาวัดได้ 448 มิลลิวินาทีและ 480 มิลลิวินาทีบน Full-Duplex-Bench สิ่งเหล่านี้อาจเป็นจุดวัดที่ต่างกันบนโมเดลเดียวกัน หรืออาจเป็นคนละโมเดลก็ได้ NVIDIA ไม่ได้ออกมาชี้แจง เพราะ NVIDIA ไม่ได้พูดถึงการเปิดตัวครั้งนี้เลยแม้แต่น้อย

ผลที่ได้ในทางปฏิบัติ: หากคุณอ้างอิงตัวเลขสำหรับโมเดลนี้ ให้ระบุว่าตัวเลขนั้นมาจากแหล่งใด การรายงานที่อ้างว่าค่า 29.2% ของ Artificial Analysis มาจากโมเดลการ์ดของ Hugging Face หรือค่า 37.0% ของ NVIDIA มาจากการทดสอบอิสระ นั้นเป็นการรวมสองสิ่งที่ NVIDIA เองแยกไว้ในเอกสารต่าง ๆ ที่มีจำนวนพารามิเตอร์ต่างกัน

จุดที่มันพัง

ส่วนข้อจำกัดของ draft card ตรงไปตรงมาอย่างผิดปกติ และ GitHub branch ก็เพิ่มเติมมากขึ้น รวบรวมไว้:

• ภาษาอังกฤษเท่านั้น และไม่มีแผนงานสำหรับหลายภาษาใน repository.

• ความจำสองนาที บทสนทนาที่เกินกรอบเสียงสองนาทีอาจไม่ถูกเก็บรักษาไว้ — เป็นเพดานที่ตายตัวสำหรับสายสนับสนุนหรือสิ่งใดก็ตามที่ต้องจดจำสิ่งที่ตกลงกันไว้เมื่อสี่นาทีก่อน

• โง่กว่าแกนหลักของตัวเอง. NVIDIA ระบุว่าอาจมีประสิทธิภาพต่ำกว่า Nemotron Nano 9B v2 ในด้านความรู้ การทำตามคำสั่ง และความปลอดภัย, เนื่องจากมันถูกปรับแต่งเพื่อความธรรมชาติในการสนทนา มันไม่ได้รับการฝึกอย่างชัดเจนสำหรับการให้เหตุผลหรือ alignment; การให้เหตุผลหลายขั้นตอนและเลขคณิตถูกระบุว่าอ่อนแอ.

• ไม่มีการส่งสัญญาณตอบกลับที่เชื่อถือได้ เสียง "mm-hm" ซึ่งบ่งบอกว่ามนุษย์ยังคงฟังอยู่ไม่ได้รับการจัดการอย่างเป็นระบบ

• มันจะตัดบทคุณกลางประโยค บันทึกของสาขาระบุถึงการขัดจังหวะผู้ใช้ในช่วงที่หยุดกลางประโยค และ "การพูดต่อเนื่องแบบควบคุมไม่ได้ / การพูดคนเดียว" ในบรรดาโหมดความล้มเหลวที่รู้จัก — ต้นทุนโดยตรงของเอ็นโค้ดเดอร์ที่ไม่มีบริบททางขวา

• เฉพาะห้องที่เงียบเท่านั้น ไม่เหมาะสมอย่างชัดเจนสำหรับสภาพแวดล้อมที่มีเสียงดังหรือเสียงก้องสะท้อน โดยเฉพาะอย่างยิ่งในที่ที่มีเสียงพูดคุยเป็นพื้นหลัง จึงไม่รวมถึงพื้นที่คอลล์เซ็นเตอร์ส่วนใหญ่และรถยนต์ส่วนใหญ่

ใครที่ควรจะดาวน์โหลดสิ่งนี้จริงๆ

นักวิจัยที่ทำงานด้านการสร้างแบบจำลองเสียงพูดแบบดูเพล็กซ์จะได้ประโยชน์สูงสุดจากสิ่งนี้ และควรเปลี่ยนมาใช้: checkpoint แบบเปิดขนาด 11B พร้อมช่องทางการเรียกใช้เครื่องมือที่ทำงานได้ ฝึกฝนด้วยเสียงจริงและเสียงสังเคราะห์แบบผสมผสานประมาณ 550,000 ชั่วโมง ถือเป็นจุดเริ่มต้นที่ดีกว่าการสร้างใหม่จากบทความ SALM-Duplex มาก ใบอนุญาตสำหรับการวิจัยไม่ได้เป็นข้อจำกัดต่องานดังกล่าว

{{1}}ทีมที่สร้าง voice agent ควรอ่านการ์ดและข้ามการดาวน์โหลดไป{{/1}} {{2}}สิ่งที่คุณเรียนรู้จาก checkpoint ขนาด 44 GB แบบ float32 ที่คุณไม่สามารถนำไปใช้งานจริงได้ จะไม่เปลี่ยนสถาปัตยกรรมของคุณ และบทเรียนที่ตรงไปตรงมาจาก benchmark คือ full duplex แบบ end-to-end ยังไม่สามารถแข่งขันกับ hosted model ที่ดีได้ในสิ่งที่ผู้ใช้ให้ความสำคัญมากที่สุด ซึ่งก็คือการที่ผู้ช่วยเข้าใจพวกเขาหรือไม่{{/2}} {{3}}ในระหว่างนี้ การตัดสินใจที่สมเหตุสมผลคือการสร้างระบบบน hosted endpoint และทำให้การสลับโมเดลมีต้นทุนต่ำ — คีย์เดียวที่ใช้กับโมเดลกว่า 200 รุ่นพร้อมระบบ failover อัตโนมัติ หมายความว่าเหตุการณ์ที่เกิดขึ้นกับผู้ให้บริการจะไม่ทำให้สายโทรศัพท์ของคุณหลุดกลางคอล และหมายความว่าการย้ายไปใช้โมเดล full-duplex แบบเปิดในภายหลังเป็นเพียงการเปลี่ยน config ไม่ใช่การเขียนใหม่ทั้งระบบ{{/3}}

องค์กรที่ให้ความสำคัญกับเรื่องนี้โดยเฉพาะควรสมัครเข้าร่วมโปรแกรม early access ของ Nemotron 3 VoiceChat มากกว่าที่จะสร้างต่อจากน้ำหนักโมเดลบน Hugging Face โปรแกรมนั้นคือที่ซึ่งมีใบอนุญาตที่นำไปใช้งานได้ คอนเทนเนอร์อ้างอิง และข้ออ้างเรื่องเวลาแฝงต่ำกว่า 300 มิลลิวินาทีอยู่ จุดตรวจสอบสาธารณะเป็นตัวอย่างวิจัยเบื้องต้นของแนวคิดเดียวกัน ซึ่งเผยแพร่โดยไม่มีเอกสารทางกฎหมายที่จะอนุญาตให้คุณนำไปใช้ได้

สามคำถามที่ repo นี้จะถูกถามอยู่เรื่อยๆ

ฉันสามารถใช้มันในเชิงพาณิชย์ได้หรือไม่ หากปรับแต่งมันอย่างหนัก? ไม่ OpenMDW v1.1 รวมถึงข้อความบนการ์ดที่ระบุว่า "เพื่อการวิจัยเท่านั้น" ควบคุมน้ำหนักและสิ่งใดก็ตามที่ได้มาจากน้ำหนักเหล่านั้น ใบอนุญาต Apache-2.0 บน branch ของ GitHub ครอบคลุมโค้ดสำหรับการอนุมานเท่านั้น ไม่ใช่ checkpoint การปรับแต่งไม่ได้ทำให้ใบอนุญาตเปลี่ยนไป หากคุณต้องการสิทธิ์เชิงพาณิชย์ โปรแกรม early-access คือเส้นทางที่ NVIDIA จัดเตรียมไว้สำหรับเรื่องนั้นจริง ๆ

อันนี้เป็นรุ่นเดียวกับที่อยู่บนลีดเดอร์บอร์ดหรือไม่?ตระกูลเดียวกันเกือบแน่นอน แต่ยังไม่ได้รับการยืนยันว่าเป็นไฟล์เดียวกัน รายการในลีดเดอร์บอร์ดและ Artificial Analysis ระบุเป็น "Nemotron 3 VoiceChat (V1)" ขนาด 12B แต่ checkpoint ที่ดาวน์โหลดได้มีขนาด 11.095B และ NVIDIA ยังไม่ได้เผยแพร่ข้อมูลใดๆ เพื่ออธิบายความแตกต่างนี้ ใช้ตัวเลขจากลีดเดอร์บอร์ดเป็นแหล่งข้อมูลอิสระที่ดีที่สุดสำหรับสายเลือดนี้ ไม่ใช่ค่าที่ตรวจสอบแล้วของไฟล์บน Hugging Face

มันจะรันบนการ์ดที่ความจุน้อยกว่า 80 GB ได้ไหม? น่าจะเป็นไปได้ หากลงมือทำ และยังไม่มีใครเผยแพร่หลักฐานยืนยัน น้ำหนักเป็น float32 ดังนั้นการแปลงเป็น bfloat16 น่าจะลดพารามิเตอร์จากประมาณ 44 GB ลงเหลือประมาณ 22 GB ซึ่งทำให้มีพื้นที่เหลือเฟือจริง ๆ บนการ์ด 48 GB ก่อนที่จะคิดรวม KV cache, codec และบัฟเฟอร์สตรีมมิง แต่เส้นทางที่รองรับคือ vLLM บน H100 ที่ 80 GB คอนเทนเนอร์สำหรับการปรับใช้งานถูกสร้างมาสำหรับสิ่งนั้น และการกำหนดค่าเดียวที่ NVIDIA รายงานว่าผ่านการทดสอบคือแบบนั้น ต้องเผื่อเวลา ไม่ใช่แค่ VRAM

ดูอะไรดี

สามสิ่งจะเปลี่ยนการอ่านรีลีสนี้ไปคนละทิศ รายงานทางเทคนิค หรือแม้แต่การ์ดที่หยุดขัดแย้งกับตัวเอง จะบอกเราได้ว่า checkpoint 11B คืออาร์ติแฟกต์ที่ลีดเดอร์บอร์ดใช้วัดหรือไม่ การทำซ้ำผลด้านเลเทนซีโดยอิสระ — มีคนนอก NVIDIA ยืนยันการผลัดกันพูดที่ 448 มิลลิวินาทีบนฮาร์ดแวร์ของตนเอง — จะเปลี่ยนคำกล่าวอ้างที่น่าดึงดูดที่สุดของรีลีสจากคำโฆษณาให้เป็นข้อเท็จจริง และไลเซนส์เชิงพาณิชย์ หรือเอนด์พอยต์แบบโฮสต์จากใครก็ได้ จะยกระดับสิ่งนี้จากความน่าสนใจเฉพาะในเชิงเอกสารวิชาการไปสู่ทางเลือกที่ใช้งานได้จริงสำหรับหลายทีมที่ยินดีแลกคุณภาพด้านการให้เหตุผลบางส่วนกับเอเจนต์เสียงที่ขัดจังหวะได้

จนกว่าหนึ่งในนั้นจะเกิดขึ้นจริง คำอธิบายที่แม่นยำคือแคบแต่โดดเด่นอย่างแท้จริง: NVIDIA ได้เผยแพร่ checkpoint เสียงแบบ full-duplex แบบเปิดที่แข็งแกร่งที่สุดเท่าที่เคยวัดได้ มอบช่องทาง tool-calling ที่ใช้งานได้เป็นครั้งแรกในหมวดหมู่นั้น ออกใบอนุญาตที่ทำให้ไม่มีใครสามารถจัดส่งมันได้ และไม่เอ่ยถึงว่าเรื่องทั้งหมดนี้เกิดขึ้นเลย