Nemotron 3.5 Transcribe แทนที่ไปป์ไลน์ห้าโมเดล แต่บิลด์โอเพนยังมีช่องโหว่เหลืออยู่

การประชุมคณะกรรมการทางเสียงความยาว 45 นาทีที่มีผู้พูดหกคนเคยต้องใช้ส่วนประกอบที่ทำงานร่วมกันห้าส่วน ได้แก่ การตรวจจับกิจกรรมเสียง โมเดล ASR ตัวแยกผู้พูด ตัวจัดแนวแบบบังคับ และโมเดลภาษาเพื่อจัดระเบียบเอาต์พุตดิบให้เป็นสิ่งที่มนุษย์อ่านได้ NVIDIA Nemotron 3.5 Transcribe ซึ่งเปิดตัวเมื่อวันที่ 28 ตุลาคม 2026 ภายใต้สัญญาอนุญาต OpenMDW-1.1 เป็นความพยายามของ NVIDIA ที่จะยุบสแตกดังกล่าวให้เหลือเพียงฟอร์เวิร์ดพาสเดียว สิ่งที่ทำให้การเปิดตัวนี้น่าอ่านอีกรอบไม่ใช่ตัวการยุบสแตกเอง แต่เป็นรายการสิ่งที่เส้นทางการให้บริการแบบโอเพนซอร์สยังทำไม่ได้ในตอนนี้

เช็กพอยต์นี้เป็นโมเดลภาษาที่เสริมความสามารถด้านเสียงพูด ไม่ใช่โมเดล ASR ที่มีส่วนเสริมแปะเพิ่มเข้าไป พารามิเตอร์ 34 พันล้านตัวของมันส่วนใหญ่เป็น Nemotron 3.5 Lightning 30B-A3B โครงข่ายแกนหลักแบบไฮบริด Mamba–Transformer แบบ mixture-of-experts; มีประมาณ 4.3 พันล้านตัวที่ทำงานต่อโทเคน รวมถึงเอนโคเดอร์เสียงประมาณ 800 ล้านตัว ชื่อรีโพซิทอรียังคงเขียนว่า 30B-A4B ซึ่งนับเฉพาะเดคโคเดอร์ ไม่ได้นับระบบที่ประกอบเสร็จแล้ว เมทริกซ์การสนับสนุนของ NVIDIA เอง ตารางเบนช์มาร์ก และสัญญาอนุญาต ล้วนอยู่บนโมเดลการ์ด และการ์ดนั้นเป็นเอกสารที่มีประโยชน์ที่สุดในรีลีสนี้

ห้างาน จุดตรวจเดียว

ข้อเสนอคือ prompt เป็นตัวกำหนดข้อความถอดเสียง NVIDIA ฝึกสไตล์เอาต์พุตห้าแบบไว้ในน้ำหนักชุดเดียวกัน และผู้เรียกใช้งานจะเลือกสไตล์หนึ่งด้วยคำสั่งภาษาธรรมชาติ แทนที่จะใช้โมเดลแยกต่างหากหรือสคริปต์ประมวลผลหลัง:

• คำต่อคำ — เก็บความติดขัดในการพูด การเริ่มพูดแล้วหยุด และการพูดซ้ำไว้ตามเดิม สำหรับบันทึกทางกฎหมายและการปฏิบัติตามข้อกำหนด

• แบบเขียน — ปรับเครื่องหมายวรรคตอนและการใช้ตัวพิมพ์ให้เรียบร้อยแล้ว สำหรับคำบรรยายใต้ภาพและรายงานการประชุมที่อ่านง่าย

• ตามบริบท — รายการเอนทิตีที่ให้ไว้ในพรอมต์จะชี้นำการสะกดชื่อ ผลิตภัณฑ์ และศัพท์เฉพาะ

• ระบุผู้พูด — แต่ละเซกเมนต์มีแท็กผู้พูด ซึ่งสร้างขึ้นภายในขั้นตอน ASR

• Rich — รูปแบบที่ครบทุกอย่างซึ่งรวมป้ายชื่อผู้พูด เครื่องหมายวรรคตอน การใช้ตัวพิมพ์ใหญ่-เล็ก และการจัดรูปแบบไว้ด้วยกัน

นอกเหนือจากการถอดเสียงแล้ว เช็กพอยต์เดียวกันยังทำการแปลคำพูดแบบสองทิศทางระหว่างภาษาอังกฤษกับ 31 ภาษา การระบุภาษาที่พูด และการเข้าใจเสียง — ทั้งการตอบคำถามและการทำตามคำสั่งด้วยเสียงจากไฟล์บันทึก โดยรองรับไฟล์บันทึกยาวสูงสุดหนึ่งชั่วโมงภายในบริบทขนาด 65,536 โทเคน และใช้ชังก์ถอดรหัสภายในขนาด 30 วินาที ซึ่งเป็นรายละเอียดทางวิศวกรรมมากกว่าจะเป็นข้อจำกัดของความยาวไฟล์บันทึก ส่วนการประทับเวลาแบบระดับคำได้มาจากอะแดปเตอร์ CTC ขนาดเล็กหลังการถอดรหัส

ป้ายกำกับผู้พูดนั้นมาจากไหนกันแน่

ข้อกล่าวอ้างที่ว่า "โมเดลเดียวทำได้ทุกอย่าง" ส่วนใหญ่พังทลายลงเมื่อเจอการแยกแยะผู้พูด (diarization) เพราะอัตลักษณ์ของผู้พูดเป็นปัญหาการจัดกลุ่ม (clustering) ขณะที่การถอดเสียง (transcription) เป็นปัญหาลำดับ (sequence) และทั้งสองมักถูกแก้ไขแยกจากกัน คำตอบของ NVIDIA คือเอนโคเดอร์ผู้เชี่ยวชาญแบบขนาน (parallel expert encoder): โมเดล Nemotron 3 Diarization ที่ถูกแช่แข็งจะสร้างตัวแทนกิจกรรมของผู้พูด (speaker-activity representations) ซึ่งถูกฉีดเข้าไปในเอาต์พุตของเอนโคเดอร์เสียง (speech encoder) ทำให้แกนหลักทางภาษา (language backbone) มองเห็นว่าใครกำลังพูดอยู่ในขณะที่มันกำลังตัดสินใจว่าพูดอะไร ตัว LLM เองไม่ได้ถูกฝึกใหม่สำหรับงานนี้

การออกแบบนั้นคือเหตุผลที่บริษัทสามารถอ้างได้ว่าประมวลผลเพียงครั้งเดียวแทนที่จะเป็นแบบคาสเคด NVIDIA รายงานอัตราความผิดพลาดระดับคำแบบ minimum-permutation ต่อเนื่องเฉลี่ยที่ 15.80 บนชุดประเมินผู้พูดหลายคนของบริษัท เทียบกับ 16.83 สำหรับคาสเคด ASR-plus-diarizer เฉพาะทางที่ดีที่สุด และอธิบายผลลัพธ์นี้ว่าเป็น speech LLM ตัวแรกที่เอาชนะระบบประเภทนั้นในการถอดเสียงพร้อมระบุผู้พูดที่มีเสียงพูดทับซ้อนกัน ตัวเลขเหล่านี้เป็นตัวเลขของผู้ขายจากชุดประเมินที่ผู้ขายสร้างขึ้นเอง และยังไม่มีห้องปฏิบัติการที่เป็นกลางใดทำซ้ำได้ ให้ถือว่าทิศทางดังกล่าวเป็นไปได้ และส่วนต่างดังกล่าวยังเป็นเพียงข้อสรุปชั่วคราว

ตัวเลขพร้อมป้ายกำกับที่แนบไว้

การ์ดของ NVIDIA รายงานอัตราความผิดพลาดระดับคำเฉลี่ยที่ 4.71% จากชุดทดสอบทั้งหมดเก้าชุดใน Open ASR Leaderboard ภาษาอังกฤษแบบสาธารณะ การกระจายตัวภายใต้ค่าเฉลี่ยนั้นกว้างและควรรู้ก่อนที่คุณจะอ้างอิง: LibriSpeech test-clean อยู่ที่ 1.09% และ SPGISpeech ที่ 1.91% ขณะที่ AMI อยู่ที่ 7.81% และ URGENT24 ที่ 11.00% บอร์ดหลายภาษาเฉลี่ย 4.62% จากเจ็ดภาษา โดยภาษาเยอรมันอยู่ที่ 2.81% และภาษาฮินดีที่ 9.15% ตามตัวชี้วัดคำนอกคลังศัพท์ของตัวเอง

การรายงานข่าวเกี่ยวกับการเปิดตัวยังได้อ้างถึง 5.33% สำหรับบอร์ดภาษาอังกฤษด้วย นั่นเป็นค่าสรุปรวมที่แตกต่างกันซึ่งคำนวณจากองค์ประกอบของชุดข้อมูลที่แตกต่างกัน ไม่ใช่การแก้ไข และไม่ควรนำค่าทั้งสองไปไว้ในแถวเดียวกันเลย 4.71% ของการ์ดคือตัวเลขที่ควรอ้างอิงหากคุณกำลังอ้างอิงถึงการ์ด

ข้อกล่าวอ้างเรื่องการพรอมป์ตามบริบทเป็นสิ่งที่เป็นรูปธรรมที่สุดในการเปิดตัวครั้งนี้ บน ContextASR-Bench ค่า WER โดยรวมลดจาก 3.33% เมื่อไม่มีรายการเอนทิตี เหลือ 1.71% เมื่อมีรายการแบบละเอียด ส่วน WER ของชื่อเฉพาะลดจาก 12.21% เหลือ 2.20% และอัตราผลลบเท็จของชื่อเฉพาะลดจาก 14.99% เหลือ 1.32% นี่คือกลไกจริงที่ตรวจสอบได้ — เพียงให้ชื่อผลิตภัณฑ์ของคุณกับโมเดล แล้วมันจะเลิกเดาเกี่ยวกับชื่อเหล่านั้น — แม้ว่าคะแนนสัมบูรณ์จะมาจากฮาร์เนสของ NVIDIA ก็ตาม

ภาพจากแหล่งอิสระไม่ค่อยน่าชมนักและมีประโยชน์กว่า Artificial Analysis ระบุ Nemotron 3.5 Transcribe ไว้ที่ 3.4% ในตาราง AA-WER v2 แบบไม่สตรีมมิ่ง โดยอยู่ร่วมอันดับประมาณ 20 ถึง 23 ขณะที่ FAQ ของบริษัทเองระบุว่าโมเดลนี้อยู่ที่ 2.8% ตัวเลขทั้งสองอยู่บนตารางเดียวกันในหน้าเดียวกัน ช่องว่างนี้เป็นความแตกต่างของเป้าหมายการวัด ได้แก่ เอนด์พอยต์ การควอนไทซ์ หรือส่วนย่อยที่ใช้ประเมิน และมีขนาดประมาณเท่ากับความกว้างของสัญญาณรบกวนที่ดัชนีนี้แสดงให้เห็นในการกำหนดค่าการให้บริการต่างๆ ณ เวลาที่เขียน ตารางนี้ยังระบุราคาแบบโฮสต์ที่ $2.00 ต่อ 1,000 นาทีของเสียง ซึ่งคิดออกมาได้ประมาณ $0.12 ต่อชั่วโมง

ข้อกล่าวอ้างเรื่องอัตราทรูพุตคือสิ่งที่ทีมปฏิบัติการจะให้ความสำคัญ: ประมวลผลเสียงได้ 2,238 วินาทีต่อวินาทีบน GPU เดียวรุ่น RTX PRO 6000 Blackwell โดยใช้เช็กพอยต์ NVFP4 และโมเดลฉบับร่าง DFlash2 ข้อแม้ของ NVIDIA เองคือสแตกการให้บริการที่ปรับแต่งแล้วไม่ได้อยู่ในรีลีสโอเพนซอร์ส และการผสานรวมสำหรับการพัฒนาที่จัดส่งมานั้นคาดว่าจะทำงานช้ากว่าประมาณสองเท่า ให้ลดตัวเลขนั้นลงครึ่งหนึ่งก่อนวางแผนขีดความสามารถ

จุดที่บิลด์แบบเปิดหยุดลง

นี่คือส่วนที่การรายงานข่าวการเปิดตัวมักมองข้ามไป เช็กพอยต์มีความสามารถ แต่การผสานรวมรอบ ๆ ตัวมันยังไม่สม่ำเสมอ และการ์ดโมเดลก็บอกไว้ตรง ๆ อย่างนั้น

• ไม่มีการสตรีมมิง — "นี่คือโมเดลแบบออฟไลน์" การ์ดระบุ พร้อมเสริมว่าการแบ่งข้อมูลเสียงออกเป็นชิ้นภายในไม่ได้ทำให้มันกลายเป็นบริการสตรีมมิงแบบเรียลไทม์ ทุกวินาทีของการบันทึกจะต้องมีอยู่ก่อนที่การถอดรหัสจะเริ่มต้น

• การผสานรวม SGLang-Omni รองรับเฉพาะการถอดเสียงเท่านั้น — ให้บริการถอดเสียงทั้งไฟล์ แต่ตามที่ระบุใน card จะไม่มี word timestamps, เอาต์พุตที่ระบุผู้พูด, การแปล หรือ speculative decoding ส่วนเส้นทาง vLLM รองรับการบันทึก timestamp คุณเลือกรันไทม์ใดก็จะได้ฟีเจอร์ตามนั้น

• Timestamps และ DFlash2 ใช้ร่วมกันไม่ได้ — Timestamps จะไม่พร้อมใช้งานเมื่อกำลังใช้โมเดลฉบับร่างสำหรับ speculative decoding อยู่ จะเร็วหรือตรงกันอย่างใดอย่างหนึ่งเท่านั้น ไม่ใช่ทั้งสองอย่าง ในการกำหนดค่าที่จัดส่งจริง

• การเข้าใจเสียงใช้ได้เฉพาะภาษาอังกฤษเท่านั้น — การให้เหตุผล การปฏิบัติตามคำสั่งด้วยเสียง และการตอบคำถามจากเสียง “อาจทำงานได้ไม่น่าเชื่อถือในภาษาอื่น” การ์ดเตือน แม้ว่าการถอดเสียงจะครอบคลุมถึง 40 ภาษา

• มันอาจล้มเหลวในการหยุด — การ์ดแนะนำมาตรการป้องกันสำหรับการล้างข้อมูล เนื่องจากโมเดลอาจวนซ้ำโดยไม่สิ้นสุดในบางครั้ง นั่นเป็นข้อกำหนดด้านการปฏิบัติงาน ไม่ใช่เชิงอรรถ

• หนึ่งชั่วโมงคือขีดจำกัดเชิงปฏิบัติที่เข้มงวด — ประสิทธิภาพเมื่อเกิน 65,536 โทเคน หรือไฟล์บันทึกหนึ่งชั่วโมง "ไม่รับประกันว่าจะใช้ได้ทั่วไป" สำหรับดีโพซิชันที่ใช้เวลาทั้งวัน คุณต้องแบ่งไฟล์และจับคู่ผู้พูดให้ตรงกันด้วยตนเอง

การระบุผู้พูดยังมีขอบเขตแคบกว่าตัวเลข 40 ภาษาที่เป็นพาดหัวอีกด้วย: ในเมทริกซ์ของ NVIDIA มี 13 จาก 40 ภาษาที่ถูกทำเครื่องหมายสำหรับเอาต์พุตแบบหลายผู้พูด และส่วนผสมที่ใช้ในการฝึกครอบคลุมผู้พูดได้สูงสุดแปดคน หากการประชุมของคุณเป็นภาษาตุรกีหรือเวียดนาม คุณอาจถอดข้อความได้ดีแต่ยังไม่ได้ป้ายกำกับผู้พูด

การปรับใช้และค่าใช้จ่ายที่ตามมา

น้ำหนักโมเดลใช้งานได้ฟรีทั้งเชิงพาณิชย์และไม่เชิงพาณิชย์ภายใต้ OpenMDW-1.1 เผยแพร่ในรูปแบบ BF16, FP8, NVFP4 และ GGUF พร้อมการกำหนดค่าอ้างอิงบน H100 80 GB หนึ่งเครื่อง และรองรับอุปกรณ์ตระกูล Ampere, Hopper, Blackwell และ Lovelace นอกจากนี้ยังมีคอนเทนเนอร์ NIM สำหรับทีมที่ไม่ต้องการประกอบสแต็กการให้บริการเอง และ NeMo Speech สำหรับการปรับแต่งละเอียด — NVIDIA รายงานว่าการปรับโมเดลให้เข้ากับ 17 งานใช้เวลา 0.5 ถึง 2.3 ชั่วโมง GPU ต่องานบน GPU หนึ่งตัว ซึ่งเป็นตัวเลขแบบที่ทำให้การปรับให้เข้ากับโดเมนเป็นไปได้จริงมากกว่าที่จะเป็นเพียงทฤษฎี

เศรษฐศาสตร์แยกออกจากกันอย่างชัดเจน ในแบบโฮสต์ ราคาที่ระบุในรายการของ Artificial Analysis ที่ $2.00 ต่อ 1,000 นาที คิดเป็นประมาณ $0.12 ต่อชั่วโมงเสียง — ถูกกว่าบริการถอดเสียงแบบบริหารจัดการส่วนใหญ่ และประมาณหนึ่งในสามของค่าใช้จ่าย STT บนคลาวด์ทั่วไป ในแบบโฮสต์เอง ต้นทุนส่วนเพิ่มคือเวลา GPU: ที่อัตราส่งผ่าน 2,238 ต่อ 1 ของผู้ขาย เสียงหนึ่งพันชั่วโมงใช้การประมวลผลไม่ถึงครึ่งชั่วโมงบนการ์ดที่เหมาะสม ดังนั้นคำถามจึงไม่ใช่ราคาอีกต่อไป แต่กลายเป็นว่าคุณเป็นเจ้าของหรือเช่าฮาร์ดแวร์ และเสียงนั้นได้รับอนุญาตให้ออกจากเครือข่ายของคุณหรือไม่ ทั้งสองเส้นทางล้วนสมเหตุสมผล แต่บนสเปรดชีตแล้วตัวเลขของทั้งสองไม่ได้ใกล้กันเลย

ครึ่งหนึ่งของงานที่ checkpoint ไม่ได้ทำ

การถอดเสียงสร้างข้อความ และข้อความคือจุดที่ต้นทุนปลายน้ำส่วนใหญ่อยู่: การสรุปการสนทนา การดึงรายการสิ่งที่ต้องดำเนินการ การปกปิดข้อมูลส่วนบุคคล การแปลผลลัพธ์ภาษาอังกฤษสำหรับสำนักงานภูมิภาค และการตรวจสอบว่าป้ายกำกับผู้พูดยังคงอยู่หลังการส่งต่อ สิ่งเหล่านี้เป็นงานทั่วไปของโมเดลข้อความ และไม่จำเป็นต้องทำงานบนเครื่องเดียวกันกับ ASR

นั่นคือจุดที่เราเตอร์พิสูจน์คุณค่าของมัน OrcaRouter รวมการเรียกไปยังผู้ให้บริการปลายทางเหล่านั้นไว้หลังคีย์เดียวโดยบวกกำไร 0% — ราคาตามที่ผู้ให้บริการระบุไว้ถูกส่งผ่านตรง ๆ ดังนั้นเมื่อผู้ให้บริการเปลี่ยนราคา การเปลี่ยนแปลงก็มีผลภายในวันเดียวกัน — พร้อมการสลับสำรองอัตโนมัติเมื่อผู้ให้บริการรายหนึ่งมีประสิทธิภาพลดลง และDSL สำหรับการกำหนดเส้นทางที่สามารถส่งงานสรุป การปกปิดข้อมูล และการแปลไปยังโมเดลที่แตกต่างกันภายในเวิร์กโฟลว์เดียว พูดให้ชัดเจนว่า NVIDIA Nemotron 3.5 Transcribe ไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter และไม่มีสิ่งใดในที่นี้ที่สื่อเป็นนัยเช่นนั้น สิ่งที่เรากำหนดเส้นทางคือเลเยอร์ข้อความหลังจากที่มีบทถอดเสียงแล้ว ซึ่งเป็นเลเยอร์ที่หลายทีมประเมินต่ำเกินไปเมื่อจัดงบประมาณสำหรับไปป์ไลน์การถอดเสียง

หากคุณกำลังประเมินตัวโมเดลเอง เส้นทางที่ซื่อตรงคือเริ่มจาก hosted endpoint ก่อน แล้วจึงใช้ฮาร์ดแวร์ของคุณเองเป็นลำดับถัดไป ตัวเลขบนการ์ดเองนั้นแตกต่างกันมากกว่าหนึ่งจุดระหว่างผู้จำหน่ายกับการวัดโดยอิสระ และเสียงเดียวที่ชี้ชัดได้ก็คือเสียงของคุณเอง

อะไรจะทำให้คำแนะนำเปลี่ยนไป

สามสิ่งที่น่าจับตามองในไตรมาสหน้า ประการแรก คือดูว่าโครงสร้างการให้บริการแบบโอเพนซอร์สจะตามทันเส้นทาง NIM ที่ผ่านการปรับแต่งจนเหมาะสมหรือไม่ — ตราบใดที่ยังตามไม่ทัน ตัวเลขทรูพุตที่โฆษณาไว้ก็เป็นตัวเลขเฉพาะการโฮสต์เท่านั้น และเวอร์ชันโอเพนที่ปล่อยออกมาจะได้ราวครึ่งหนึ่งของตัวเลขนั้น ประการที่สอง คือดูว่ามีใครนอก NVIDIA ที่ทำซ้ำผล 15.80 cpWER และการปรับปรุงด้าน named entity ที่ดีขึ้นถึงหกเท่าได้หรือไม่ ทั้งสองข้อเป็นข้ออ้างที่หนักแน่นซึ่งปัจจุบันพึ่งพาเพียงชุดทดสอบของห้องแล็บเดียว ประการที่สาม คือดูว่าความเข้าใจเสียงจะขยายออกไปเกินกว่าภาษาอังกฤษหรือไม่ เพราะความสามารถนั้น — การตั้งคำถามกับไฟล์บันทึกเสียงแทนที่จะเพียงถอดความ — คือส่วนที่ไม่มีเช็กพอยต์โอเพนซอร์สตัวใดที่แข่งขันกันในขนาดนี้เสนอให้

ตอนนี้ข้อสรุปในทางปฏิบัติยังจำกัดและไม่หวือหวา หากคุณต้องการถอดเสียงหลายภาษาความยาวหนึ่งชั่วโมงที่มีป้ายกำกับผู้พูด และยอมรับเวิร์กโฟลว์แบบแบตช์ได้ เช็กพอยต์นี้คือตัวเลือกแบบเปิดที่แข็งแกร่งที่สุดเท่าที่มีอยู่ และกลไก contextual prompting สร้างความแตกต่างได้จริง หากคุณต้องการคำบรรยายสด เอเจนต์แบบสตรีมมิ่ง หรือการจัดแนวระดับคำพร้อมกับการถอดรหัสที่เร็วที่สุดเท่าที่จะเป็นไปได้ รีลีสนี้ยังไม่ครอบคลุมความต้องการของคุณ และผลิตภัณฑ์ที่ทำสิ่งเหล่านั้นได้ยังคงเป็นตัวเลือกที่คุณควรติดต่อ