Nemotron 3.5 Transcribe: LLM สำหรับเสียงพูดของ NVIDIA เอาชนะระบบ Diarization แบบ Cascade — ใน 13 ภาษา

NVIDIA เปิดตัว Nemotron 3.5 Transcribe เมื่อวันที่ 28 ตุลาคม 2026 ภายใต้สัญญาอนุญาตแบบเปิด และตัวเลขในทุกพาดหัวข่าวเกี่ยวกับโมเดลนี้คือ 40: สี่สิบภาษา เช็กพอยต์เดียว พร้อมป้ายกำกับผู้พูด แต่ตัวเลขที่เปลี่ยนวิธีที่คุณสร้างสแตกการถอดเสียงจริง ๆ คือ 15.80 นั่นคือ cpWER เฉลี่ยของโมเดลบนชุดทดสอบมาตรฐานผู้พูดหลายคนของ NVIDIA เอง เทียบกับ 16.83 สำหรับคาสเคดเฉพาะทางที่ดีที่สุดที่บริษัทนำมาเปรียบเทียบ — ตัวรู้จำเสียงพูดบวกไปป์ไลน์แยกผู้พูดแยกต่างหาก เชื่อมต่อกันในแบบที่ระบบถอดเสียงการประชุมสำหรับใช้งานจริงส่วนใหญ่ยังคงเป็นอยู่ NVIDIA อ้างว่านี่เป็น LLM ด้านเสียงพูดตัวแรกที่เอาชนะการจัดวางแบบนั้น และเป็นคำกล่าวอ้างที่ควรค่าแก่การทดสอบ เพราะเป็นคำกล่าวอ้างที่ตัดองค์ประกอบหนึ่งออกจากสถาปัตยกรรมของคุณ แทนที่จะเพิ่มภาษาเข้าไปในรายการ

ตัวเลข 40 ภาษานั้นเป็นความจริง แต่ขอบเขตแคบกว่าที่ตัวเลขสื่อ การระบุผู้พูด — ส่วนที่เข้ามาแทนที่แคสเคด — ถูกฝึกสำหรับสิบสามภาษา ไม่ใช่สี่สิบภาษา โมเดลอ่านเฉพาะไฟล์ที่บันทึกไว้ ครั้งละไม่เกินหนึ่งชั่วโมง โดยไม่มีเส้นทางการสตรีมมิ่ง และมันไม่ใช่ไฟล์ดาวน์โหลดขนาดเล็ก: มีพารามิเตอร์ทั้งหมด 34B โดยมีประมาณ 4.3B ที่ใช้งานต่อโทเคน และมี H100 80GB เป็นฐานอ้างอิงที่ระบุไว้สำหรับการให้บริการแบบ BF16 ข้อจำกัดสามข้อนี้กำหนดว่าผลลัพธ์การแยกผู้พูด (diarisation) เป็นสิ่งที่คุณใช้ได้ในไตรมาสนี้ หรือเป็นสิ่งที่คุณจดไว้สำหรับไตรมาสหน้า

สิ่งที่ NVIDIA ส่งมอบจริง ๆ

เช็กพอยต์นี้เผยแพร่ภายใต้ชื่อ NVIDIA-Nemotron-3.5-Transcribe-30B-A4B และช่องว่างระหว่างชื่อนั้นกับจำนวนพารามิเตอร์ที่เผยแพร่คือสิ่งแรกที่ต้องทำให้กระจ่าง โมเดลนี้สร้างบน Nemotron 3.5 Lightning 30B-A3B ซึ่งเป็นโมเดลภาษาแบบ mixture-of-experts ที่ผสมระหว่าง Mamba-2 และ Transformer การ์ดโมเดลของ NVIDIA ระบุว่ามีพารามิเตอร์ทั้งหมด 34B โดยมีพารามิเตอร์ที่ใช้งานอยู่ราว 4.3B รวมถึงชุดส่วนประกอบด้านเสียง น้ำหนักส่วนเกินเมื่อเทียบกับ 30B ในชื่อคือเอนโคเดอร์ ได้แก่ประมาณ 600M สำหรับ ASR transformer และประมาณ 99M สำหรับ speaker encoder รวมกันราว 800M ทำให้แกนภาษาหลักเหลือพารามิเตอร์ที่ใช้งานอยู่ราว 3.5B บทความหลายฉบับรายงานว่านี่เป็นความไม่สอดคล้องกัน แต่ไม่ใช่เลย มันเป็นชื่อที่นับเฉพาะ LLM และการ์ดที่นับทั้งระบบ

ในเชิงสถาปัตยกรรม สิ่งที่ควรทำความเข้าใจคือ parallel expert encoder โมเดล Nemotron 3 Diarization ที่ถูก freeze ไว้จะสร้าง representation ของ speaker activity และ representation เหล่านั้นถูก inject เข้าไปใน output ของ ASR encoder ดังนั้น language model จึงเห็นทั้งคำและผู้ที่มีแนวโน้มจะพูดคำเหล่านั้นในครั้งเดียว จากนั้น CTC adapter น้ำหนักเบาจะ align ข้อความที่สร้างขึ้นกลับไปยังเสียงเพื่อสร้าง timestamp ของคำที่ระบุผู้พูด ไม่มีขั้นตอน alignment ที่สอง และไม่มีการเรียก pyannote ในระหว่างกลาง การทำนายหลายโทเคนแบบ native ยังทำหน้าที่เป็น draft สำหรับ speculative decoding ภายใน vLLM และ NVIDIA ยังมี draft model DFlash2 ที่ฝึกแยกต่างหากอีกด้วย

• พารามิเตอร์ทั้งหมดและพารามิเตอร์ที่ใช้งาน — ทั้งหมด 34B, ใช้งานประมาณ 4.3B ต่อโทเคน ซึ่งประมาณ 3.5B เป็นแกนหลักด้านภาษา

• บริบทและเสียง — 65,536 โทเค็น, ไฟล์บันทึกยาวสูงสุด 1 ชั่วโมงที่ 16 kHz โมโน, ถอดรหัสเป็นชิ้นส่วนภายในขนาด 30 วินาที

• ความครอบคลุมภาษา — 40 ภาษาสำหรับการถอดเสียง, 32 ภาษาสำหรับการแปลไปและกลับจากภาษาอังกฤษ, 13 ภาษาสำหรับการถอดเสียงพร้อมระบุผู้พูด

• สัญญาอนุญาต — OpenMDW-1.1 อนุญาตให้ใช้เพื่อการพาณิชย์และไม่ใช่เพื่อการพาณิชย์

• baseline สำหรับการให้บริการ — H100 80GB หนึ่งตัวที่ BF16; มีการเผยแพร่บิลด์ BF16, FP8 และ NVFP4 แล้ว

• การสตรีม — ไม่มี; นี่คือโมเดลแบบรับไฟล์เข้าและส่งทรานสคริปต์ออก

การเผยแพร่นี้เป็นอาร์ติแฟกต์สองชิ้น และควรแยกทั้งสองออกจากกัน เพราะการรายงานข่าวส่วนใหญ่ทำให้ทั้งสองดูกลมกลืนเป็นสิ่งเดียวกัน ควบคู่ไปกับโมเดล NVIDIA ได้เผยแพร่ Granary v2 ซึ่งเป็นการเผยแพร่ไปป์ไลน์ข้อมูลเสียงพูด ไม่ใช่ checkpoint: 463,062 ชั่วโมง ครอบคลุม 48 ภาษาและ 16 คลังข้อมูลต้นทาง เพิ่มขึ้นจาก 25 ภาษาใน Granary v1 สร้างด้วย NeMo Curator และเผยแพร่พร้อม manifest สาธารณะ แต่ละระเบียนมีรูปแบบถอดความสามแบบ ได้แก่ ข้อความปกติแบบคำต่อคำ แบบ inverse-normalised ที่มีลักษณะการพูดไม่ต่อเนื่อง และแบบ inverse-normalised ที่ไม่มีลักษณะดังกล่าว พร้อมด้วยป้ายกำกับงาน คู่คำถาม-คำตอบที่อ้างอิงเสียงพูด คำศัพท์สำหรับ contextual biasing และธงคุณภาพต่อระเบียน นี่คือข้อมูลที่สูตรการ fine-tuning คาดหวัง ไม่ใช่ค่าน้ำหนักที่คุณนำไปรันได้ ยังต้องดาวน์โหลดเสียงต้นทางภายใต้ใบอนุญาตของแต่ละคลังข้อมูล ดังนั้น Granary v2 จึงเปิดในความหมายที่ manifest และไปป์ไลน์เปิด ไม่ใช่ในความหมายที่เสียงสามารถแจกจ่ายซ้ำได้อย่างเสรี

ใบอนุญาตมีความสำคัญไม่แพ้ค่าน้ำหนักโมเดล OpenMDW-1.1 อนุญาตให้ใช้เชิงพาณิชย์ ซึ่งทำให้อยู่ในกลุ่มเดียวกับสาย Voxtral ของ Mistral มากกว่าจะอยู่ปลายฝั่งที่ใช้เพื่อการวิจัยเท่านั้นของกลุ่มโมเดลเปิดน้ำหนัก การรองรับรันไทม์เมื่อเปิดตัวนั้นกว้างกว่าการเปิดตัว LLM สำหรับเสียงพูดส่วนใหญ่: vLLM 0.32.0 เป็นเส้นทางหลักและเป็นเส้นทางเดียวที่ให้ชุดฟีเจอร์ครบถ้วน โดยการประทับเวลาแบบรายคำต้องใช้ V1 runner และ timestamp middleware และไม่มี DFlash2 ส่วน SGLang-Omni 0.2.0 บน SGLang 0.5.22 รองรับการถอดเสียงทั้งไฟล์ผ่าน audio endpoint ที่เข้ากันได้กับ OpenAI แต่ไม่รองรับการประทับเวลาแบบรายคำ เอาต์พุตที่ระบุผู้พูด การแปล หรือ speculative decoding NeMo Speech มาพร้อมชุดเครื่องมือ fine-tuning, Transformers รองรับการใช้งานภายในโปรเซสจากการติดตั้งจากซอร์ส และบิลด์ GGML ครอบคลุมชิป Blackwell บางรุ่น รวมถึง RTX 5090 และ RTX PRO 6000

ผลลัพธ์การแยกผู้พูดคือเรื่องราว

ตารางผู้พูดหลายคนของ NVIDIA คือส่วนที่มีการเปรียบเทียบแบบคาสเคด และถือว่าละเอียดผิดปกติสำหรับโพสต์เปิดตัว cpWER เฉลี่ยทั้งชุดอยู่ที่ 15.80 เทียบกับ 16.83 สำหรับ DiCoW v3.3 เมื่อรวมกับ DiariZen ตัวเลขแยกตามเงื่อนไขแสดงให้เห็นว่าส่วนได้เปรียบมาจากไหนและไม่ได้มาจากไหน: AMI ในสภาวะพูดใกล้ไมโครโฟนอยู่ที่ 10.29, AMI แบบไมโครโฟนระยะไกลตัวเดียว 17.34, CALLHOME CH109 11.50, Mixer 6 ช่องสัญญาณ 4 14.80, NOTSOFAR-1 แบบพูดใกล้ไมโครโฟน 14.94 และแบบช่องสัญญาณเดียว 25.91 โดย AISHELL-4 อยู่ที่ 32.91 cpCER และ AliMeeting อยู่ที่ 34.95 กรณีการประชุมแบบไวด์แบนด์หลายช่องสัญญาณทำได้ดี ส่วนไมโครโฟนเดี่ยวระยะไกลและเสียงการประชุมภาษาจีนอ่อนแอกว่ามาก ซึ่งเป็นคำอธิบายที่ตรงไปตรงมาว่าระบบไดอาไรเซชันทุกระบบต้องเผชิญความยากลำบากตรงไหน

หลักฐานสนับสนุนที่ดูเป็นอิสระซึ่ง NVIDIA พึ่งพาคือ Diarization-Bench ของ VoiceArena โดยโมเดลรายงาน cpWER 32.4% ในเซสชันภาษาอังกฤษแบบเต็ม และเป็นอันดับหนึ่งจาก 14 ระบบ ระบบที่ได้อันดับรองลงมาคือ Multitalker Parakeet ที่จับคู่กับ Nemotron 3 Diarization อยู่ที่ 34.2% และระบบอื่น ๆ ในกลุ่มอยู่ระหว่าง 34.7% ถึง 71.9% NVIDIA ยังรายงานการตัดคำที่ 8.32% ของคำอ้างอิง เทียบกับค่ามัธยฐานของกลุ่มที่ประมาณ 31% ตัวเลขที่สองนั้นมีประโยชน์มากกว่าสำหรับใครก็ตามที่เคยส่งทรานสคริปต์ออกไปใช้งาน: cpWER สามารถถูกเล่นเกมได้ด้วยการทิ้งคำที่คุณไม่แน่ใจ และระบบที่เก็บคำอ้างอิงไว้ได้ 92% พร้อมกับชนะเมตริกนั้นกำลังทำสิ่งที่ยากกว่า ทั้งสองตัวเลขเป็นตัวเลขที่ผู้ขายรายงานบนเบนช์มาร์กของบุคคลที่สาม ไม่ใช่การประเมินโมเดลอย่างอิสระ

ขีดจำกัดคือจำนวนภาษา การระบุผู้พูดได้รับการฝึกสำหรับสิบสามภาษา — อังกฤษ ฝรั่งเศส เยอรมัน ฮินดี อิตาลี เกาหลี โปรตุเกส รัสเซีย สเปน ญี่ปุ่น ไทย อาหรับ และจีน — และรองรับผู้พูดสูงสุดแปดคน หากไฟล์บันทึกของคุณเป็นประชุมภาษาอังกฤษหรือภาษาใดภาษาหนึ่งในอีกสิบสองภาษาเหล่านั้น ข้อโต้แย้งเรื่องการแทนที่แบบคาสเคดยังใช้ได้จริง หากเสียงของคุณเป็นภาษาโปแลนด์ ตุรกี หรือเวียดนาม คุณจะได้รับการถอดเสียงโดยไม่มีการแยกผู้พูด และคุณยังต้องใช้องค์ประกอบที่สอง

อันดับจริง ๆ ของมันอยู่ตรงไหน: ลีดเดอร์บอร์ดสามชุด คำตอบที่แตกต่างกันสามแบบ

ตัวเลขสำหรับภาษาอังกฤษขึ้นอยู่กับว่าคุณอ่านหน้าใดของ NVIDIA และควรให้ความสำคัญกับความแม่นยำในเรื่องนี้ มากกว่าการเลือกตัวเลขที่ดีกว่า ค่าเฉลี่ย word error rate จากเก้าชุดทดสอบในการ์ดโมเดลคือ 4.71% โดย Qwen3-ASR-1.7B ตามมาเป็นอันดับถัดไปที่ 4.94% บทความของ NVIDIA บน Hugging Face จากวันเดียวกันระบุว่า 5.33% เป็นค่าเฉลี่ย WER บน Hugging Face Open ASR Leaderboard ที่ RTFx 462.09 โดย Qwen3-ASR-1.7B อยู่ที่ 5.4% ทั้งสองเป็นตัวเลขของผู้จำหน่ายเอง ซึ่งเผยแพร่ห่างกันเพียงไม่กี่ชั่วโมง และความแตกต่างอยู่ที่ชุดทดสอบใดบ้างที่ถูกรวมอยู่ในค่าเฉลี่ย อย่าเฉลี่ยรวมกัน อย่าลบตัวหนึ่งออกจากอีกตัว และอย่าถือว่าค่าทศนิยมนั้นเป็นข้อยุติ สิ่งที่ยังคงอยู่ภายใต้ทั้งสองกรอบการนำเสนอคืออันดับ: เป็นที่หนึ่งในบรรดาโมเดล open-weight บนกระดานนั้น

ส่วนที่เหลือของชุดที่ผู้จำหน่ายรายงานมีลักษณะสอดคล้องกัน ค่า WER เฉลี่ยแบบหลายภาษาคือ 4.62% ในเจ็ดภาษา เทียบกับ 6.49% สำหรับ Qwen3-ASR-1.7B ค่าเฉลี่ยสำหรับรูปแบบยาวคือ 10.98% เทียบกับ 13.37% สำหรับ Parakeet-TDT-0.6B-v3 การควบคุมสไตล์ได้ 7.56% ในโหมดค่าเริ่มต้น และ 6.16% เมื่อมีคำสั่ง เทียบกับ Canary-Qwen ที่ 8.16% และ 8.36% การพรอมป์ต์ตามบริบททำให้ ContextASR-Bench เปลี่ยนจาก 3.33% เมื่อไม่มีบริบทเป็น 1.71% เมื่อมีบริบทแบบละเอียด และการถอดเสียงการประชุมรายงานผลประกอบการจาก 12.54% เป็น 9.58% เมื่อมีการให้บริบทเฉพาะถิ่น

การตรวจสอบโดยอิสระให้ภาพที่ไม่น่าชื่นชมเท่า และเป็นภาพที่คุณควรอ่านหากกำลังเลือกระหว่างโมเดลในสัปดาห์นี้ บนดัชนี word-error แบบ non-streaming ของ Artificial Analysis ซึ่งตรวจเมื่อวันที่ 29 ตุลาคม Nemotron 3.5 Transcribe อยู่ที่ 2.8% ส่วน Voxtral Small Transcribe 3 อยู่ที่ 2.1% และ MAI-Transcribe-2 อยู่ที่ 2.0% ในการดูเดียวกัน ขณะที่ Gemini 3.5 Transcribe อยู่ที่ 2.6% การวางกรอบของ NVIDIA ที่ว่า "เสมอกันในอันดับหนึ่งamongโมเดล open-weight" นั้นปกป้องได้เมื่อเทียบกับโมเดลเฉพาะที่มันระบุชื่อ — Voxtral Small ซึ่งดัชนีเดียวกันก็แสดงไว้ที่ 2.8% เช่นกัน และซึ่ง NVIDIA อธิบายว่าเป็นโมเดล 24B เมื่อเทียบกับโมเดลนี้ที่มีพารามิเตอร์ที่ใช้งานจริงราว 4B — แต่กระดานจัดอันดับได้ก้าวข้ามการจับคู่นั้นไปแล้วก่อนที่โมเดลนี้จะเปิดตัว Voxtral Small Transcribe 3 ซึ่งเป็นรุ่นพี่ใหม่กว่าจาก Mistral มีอัตราความผิดพลาดต่ำกว่าโดยประมาณหนึ่งในสี่ในการดูเดียวกัน นั่นไม่ได้ทำให้ผลลัพธ์ด้านการแยกผู้พูด (diarisation) ผิด เพราะ Voxtral ไม่ได้ทำการระบุผู้พูดในครั้งเดียว แต่หมายความว่าประโยคที่ถูกต้องคือ "โมเดล open-weight ที่ดีที่สุดสำหรับ ASR ที่ระบุผู้พูด" ไม่ใช่ "ตัวถอดเสียง open-weight ที่ดีที่สุด"

ส่วนท้ายรายภาษาคือจุดที่การดีพลอยล้มเหลว

ความครอบคลุมและความเท่าเทียมเป็นข้อกล่าวอ้างที่แตกต่างกัน และการ์ดโมเดลของ NVIDIA เผยแพร่รายละเอียดรายภาษามากพอที่จะเห็นช่องว่างระหว่างสองสิ่งนี้ เมทริกซ์ภาษามี 41 แถว ภาษานอร์เวย์ปรากฏอยู่ในนั้นโดยไม่มีเครื่องหมายถูกตามงาน ทำให้เหลือ 40 ภาษาที่ถูกทำเครื่องหมายสำหรับ ASR จริง ๆ เมื่อพิจารณา FLEURS อัตราความผิดพลาดอยู่ในช่วง 1.41% ถึง 63.76% — และ 63.76% คือภาษานอร์เวย์ ภาษาอิตาลีอยู่ที่ 1.41 สเปน 2.20 เยอรมัน 2.73 ฝรั่งเศส 3.16 อังกฤษ 3.35 อาหรับ 6.35 และฮินดี 7.47 ญี่ปุ่นอยู่ที่ 4.42 CER เกาหลี 2.78 CER และจีน 8.62 CER ในค่าเฉลี่ยรายภาษาของกระดานผู้นำหลายภาษา ฮินดีอยู่ที่ 9.15 OIWER เทียบกับดัตช์ที่ 5.96 และเยอรมันที่ 2.81

การสลับรหัสภาษา ซึ่งการ์ดอ้างว่าครอบคลุมทั้ง 40 ภาษา ก็ไม่สม่ำเสมอในลักษณะเดียวกัน: ASCEND Mandarin-English มีข้อผิดพลาดแบบผสมสูงถึง 18.74%, MUCS Hindi-English อยู่ที่ 19.28% และ MUCS Bengali-English อยู่ที่ 35.46% โดย Monsoon Hindi มี OIWER 9.40% คุณภาพการแปลก็ครอบคลุมช่วงที่กว้างเช่นกัน — BLEU ของ FLEURS-to-English อยู่ที่ 6.40 ถึง 44.33, English-to-FLEURS อยู่ที่ 8.70 ถึง 42.65 และ CoVoST2-to-English อยู่ที่ 6.95 ถึง 54.46 ความทนทานบนชุด HALAS อยู่ที่ WER 31.50% ซึ่งเป็นตัวเลขที่ควรทำให้แผนใด ๆ ที่อิงกับการบันทึกภาคสนามที่มีสำเนียงหรือเสียงรบกวนต้องระมัดระวัง

ข้อสรุปในทางปฏิบัติคือ "40 ภาษา" เป็นคำกล่าวอ้างเรื่องความครอบคลุมซึ่งคุณใช้วางแผนกำลังการผลิตได้ ไม่ใช่คำกล่าวอ้างเรื่องคุณภาพซึ่งคุณใช้วางแผนผลิตภัณฑ์ได้ จงทดสอบภาษาที่เฉพาะเจาะจงและสภาวะการบันทึกที่เฉพาะเจาะจงที่คุณให้ความสำคัญ กับคลิปของคุณเองสักสองสามร้อยคลิปก่อนตัดสินใจ กรณีศึกษาการปรับแต่งโมเดล (fine-tuning) ของการ์ดโมเดลเองคือแม่แบบ: บนเกณฑ์มาตรฐานการพูดทางการแพทย์ของอินเดีย ค่าความผิดพลาดแบบใช้ทันทีคือ 30.8% การใส่พรอมป์ที่ระบุภาษาอังกฤษและอักษรละตินลดเหลือ 23.8% และการปรับตัว (adaptation) บนข้อมูลราว 245 ชั่วโมงลดเหลือ 11.8% — ลดความผิดพลาดลงราว 62% โดยใช้ GPU เพียง 14 ชั่วโมงของ GB300 หนึ่งตัว ผู้พูดที่แยกไว้สำหรับทดสอบเปลี่ยนจาก 22.44% เป็น 12.17% ซึ่งเป็นการลดลงแบบสัมพัทธ์ 45.8% ขณะที่ LibriSpeech test-clean ลดลงจาก 1.54% เป็น 1.69% ซึ่งเป็นสัญญาณตามปกติของการปรับตัวที่แคบเกินไป

ค่าใช้จ่ายในการรัน และตำแหน่งที่ routing เข้ามาเกี่ยวข้อง

NVIDIA ยังไม่ประกาศราคาของโมเดลนี้ ไม่มีอัตราค่าบริการต่อนาทีบนหน้างานวิจัยหรือการ์ดโมเดล เวตของโมเดลเปิดให้ใช้ฟรีภายใต้ OpenMDW-1.1 และการเข้าถึงแบบโฮสต์ในช่วงเปิดตัวดำเนินการผ่านเอ็นด์พอยต์ NIM ของ NVIDIA เอง พร้อมกับแพลตฟอร์มบุคคลที่สามหลายแห่งที่กำหนดอัตราของตนเอง ดังนั้นคำถามเรื่องค่าใช้จ่ายจึงเป็นคำถามเรื่อง GPU และตัวเลขที่เกี่ยวข้องก็ครบถ้วนอย่างผิดปกติ

บน RTX PRO 6000 Blackwell Server Edition หนึ่งเครื่อง เมื่อใช้บิลด์ NVFP4 ร่วมกับดราฟต์ DFlash2 จะประมวลผลเสียงได้มากถึง 2,238 วินาทีของเสียงต่อหนึ่งวินาที — ไฟล์บันทึกเสียงความยาว 30 วินาทีจะได้ผลลัพธ์กลับมาใน 0.13 วินาที — ซึ่งหมายความว่าเสียง 100 ชั่วโมงจะใช้เวลาไม่ถึงสามนาที นั่นคือเส้นทาง NIM ที่ปรับแต่งแล้ว และ NVIDIA ระบุว่าการผสานรวม vLLM แบบโอเพนซอร์สนั้นช้ากว่าประมาณสองเท่า บน H100 ที่ BF16 ตัวเลข RTFx ของการ์ดนี้อยู่ที่ 410 เมื่อใช้การคาดเดาแบบสองโทเคน, 270 เมื่อใช้แปดโทเคน, 340 เมื่อใช้ DFlash2 ที่ K=7 และ 260 ที่ K=15 เมื่ออยู่ที่ขอบบนของช่วงนี้ H100 หนึ่งชั่วโมงครอบคลุมเสียงได้ประมาณ 410 ชั่วโมง ดังนั้นการถอดเสียงหนึ่งพันชั่วโมงจึงใช้พลังประมวลผลราวสองชั่วโมงครึ่งของ GPU ว่าสิ่งนั้นจะคุ้มกว่าอัตราค่าบริการแบบคิดตามนาทีหรือไม่นั้น ขึ้นอยู่กับว่าคุณทำให้การ์ดทำงานเต็มที่ได้มากเพียงใดทั้งหมด: ที่ระดับไม่กี่ร้อยชั่วโมงต่อเดือน GPU 80GB ที่ปล่อยให้ว่างคือตัวเลือกที่แพงกว่า และตัวเลขจะพลิกก็ต่อเมื่อคิวงานเต็มอยู่ตลอดเวลาเท่านั้น

การปรับให้เข้ากับบริบทมีต้นทุนต่ำเมื่อเทียบกับมาตรฐานของงานประเภทนี้ NVIDIA รายงานว่าใช้เวลา 0.5 ถึง 2.3 GPU-hours ต่อหนึ่งงานบน GPU เพียงตัวเดียว สำหรับภาษา โดเมน หรือรูปแบบเอาต์พุตใหม่ ๆ โดยประเมินจาก 17 งาน ด้วย LoRA บนโมเดลภาษาและการฝึกบน encoder และ projection ตัวเลขนี้เล็กพอที่การปรับให้เข้ากับโดเมนควรถูกมองว่าเป็นส่วนหนึ่งของการนำไปใช้งานมากกว่าเป็นโครงการวิจัย — กรณีทางการแพทย์ข้างต้นใช้เวลา 14 GPU-hours ตลอดกระบวนการตั้งแต่ต้นจนจบ

หมายเหตุเชิงสถาปัตยกรรมหนึ่งข้อที่สำคัญต่อสิ่งที่จะตามมา: โมเดลนี้สร้างข้อความ และการสรุป การสกัดเอนทิตี และการติดแท็กด้านการปฏิบัติตามข้อกำหนดที่ตามมาหลังทรานสคริปต์ถือเป็นงาน LLM ทั่วไป ขั้นปลายน้ำนั้นคือส่วนที่ OrcaRouter ครอบคลุม — API เดียวสำหรับ 200+ โมเดล โดยคิดมาร์กอัป 0% เหนือราคาตามรายการของผู้ให้บริการ การสลับไปใช้ระบบสำรองอัตโนมัติเมื่อผู้ให้บริการมีประสิทธิภาพลดลงระหว่างไปป์ไลน์ และ DSL สำหรับกำหนดเส้นทางเพื่อส่งทรานสคริปต์ยาวและข้อความสั้นไปยังโมเดลต่างๆ โดยไม่ต้องผสานรวมเพิ่มอีกครั้งในทุกครั้ง เราไม่ได้โฮสต์ Nemotron 3.5 Transcribe; มันเป็นโมเดลเสียงที่คุณรันบนฮาร์ดแวร์ของคุณเองหรือผ่าน endpoint ของ NVIDIA ชั้นการกำหนดเส้นทางจะเริ่มต้นตรงจุดที่ทรานสคริปต์สิ้นสุด

มีสองรุ่นที่ใช้ชื่อเดียวกัน และมีเพียงรุ่นเดียวเท่านั้นที่เป็นรุ่นนี้

ส่วนหนึ่งของสิ่งที่เขียนเกี่ยวกับการเปิดตัวนี้ในช่วงหนึ่งวันที่ผ่านมาเป็นเรื่องเกี่ยวกับเช็กพอยต์อีกตัวหนึ่ง NVIDIA ยังเผยแพร่ nemotron-3.5-asr-streaming-0.6b ซึ่งเป็นเช็กพอยต์ ASR แบบสตรีมมิ่งขนาดเล็กที่สร้างขึ้นสำหรับรันไทม์บนอุปกรณ์และที่เน้น CPU โดยบิลด์ที่ควอนไทซ์แล้วมีขนาดเล็กพอที่จะจัดส่งไปพร้อมในแอปพลิเคชันได้ มันไม่ใช่โมเดลนี้ มันไม่ได้ทำการระบุผู้พูด และตัวเลขความเร็วและความแม่นยำของมันไม่สามารถนำมาใช้แทนกันได้ 30B-A4B speech LLM คือตัวที่ประกาศเมื่อวันที่ 28 ตุลาคม ส่วนโมเดลสตรีมมิ่ง 0.6B คือตัวที่รันบนแล็ปท็อป หากการเปรียบเทียบที่คุณอ่านอยู่ยกค่าความหน่วงต่ำกว่าหนึ่งวินาทีหรือไฟล์ดาวน์โหลดหนึ่งกิกะไบต์มาควบคู่กับข้อกล่าวอ้างเรื่อง 40 ภาษา แสดงว่ามันได้รวมสองตัวนี้เข้าด้วยกัน

ใครควรลงมือตอนนี้ และใครควรรอ

ลงมือได้เลยตอนนี้ หากคุณจัดการประชุม การโทร หรือการสัมภาษณ์ที่บันทึกไว้เป็นภาษาอังกฤษ หรือภาษาสำหรับการแยกแยะผู้พูด (diarisation) อีกสิบสองภาษา โดยไฟล์มีความยาวไม่เกินหนึ่งชั่วโมง และคุณมี GPU ระดับ 80GB หรือปลายทางที่โฮสต์ไว้ (hosted endpoint) ที่ยินดีจ่ายอยู่แล้ว กรณีนี้จะชัดเจนที่สุดเมื่อคุณกำลังดูแลระบบแบบสองโมเดลต่อกัน (two-model cascade) อยู่: checkpoint เดียว ผ่านเพียงครั้งเดียว มีทั้งป้ายกำกับผู้พูดและเวลาของคำ ภายใต้สัญญาอนุญาตที่อนุญาตให้ใช้เชิงพาณิชย์ได้ ประเมินมันกับเสียงของคุณเองก่อนที่คุณจะเลิกใช้ pyannote — ตัวเลขสำหรับเสียงระยะไกลและเสียงที่มีสำเนียงข้างต้น คือตัวเลขที่มักจะทำให้ผิดหวังมากที่สุด

รอก่อนหากคุณต้องการสตรีมแบบเรียลไทม์ เพราะไม่มีเส้นทางการสตรีม; หากภาษาของคุณอยู่ในช่วงปลายของช่วง FLEURS นั้น; หากไฟล์บันทึกยาวเกินหนึ่งชั่วโมง; หรือหากคุณไม่มี GPU และไม่ต้องการจ่ายค่าบริการโฮสต์แบบคิดรายนาที ควรรอเช่นกันหากสแต็กของคุณใช้ตัวถอดเสียงรุ่นใหม่กว่าซึ่งมีค่าความผิดพลาดต่ำกว่าบน Artificial Analysis และไม่จำเป็นต้องทำ diarisation — การระบุผู้พูดในรอบเดียวคือเหตุผลที่ควรย้าย และเป็นเหตุผลเดียวเท่านั้น

คำถามเปิดที่น่าจับตามองนั้นแคบและตรวจสอบได้ การประเมินแบบ full-precision โดยอิสระยังมีน้อย รายงานเบื้องต้นจากผู้ที่รัน quantization 4-bit ของชุมชนระบุถึงความช้าลงและความแม่นยำที่ลดลงตามปกติ ซึ่งบอกอะไรเกี่ยวกับ quantization มากกว่าตัวโมเดล SGLang-Omni ต้องไปถึงความเท่าเทียมทางฟีเจอร์ก่อนที่เส้นทางที่ไม่ใช้ vLLM จะเป็นทางเลือกจริง และสิบสามภาษาของ diarisation คือตัวเลขที่มีแนวโน้มจะขยับก่อน เพราะนั่นคือจุดที่ข้ออ้างเชิงสถาปัตยกรรมกระจุกตัวอยู่