Nemotron 3.5 Transcribe กับ Voxtral 3: ช่องว่างสองจุดที่ยังไม่อาจชี้ขาด

หนึ่งโมเดล สามอัตราความผิดพลาดของคำ Artificial Analysis ระบุNVIDIA Nemotron 3.5 Transcribeไว้ที่ 3.4% บนตารางอันดับแบบไม่สตรีมมิ่งของตน ขณะที่ส่วนคำถามที่พบบ่อยในหน้าเดียวกันบรรยายไว้ว่า 2.8% ส่วนMistral Voxtral 3 — ตระกูลที่วางจำหน่ายในชื่อVoxtral Small Transcribe 3 — อยู่ที่ 2.1% เป็นอันดับสามของตารางนั้น และทิ้งห่างจากตัวเลขที่ดีที่สุดที่ NVIDIA เผยแพร่ราวครึ่งจุดเปอร์เซ็นต์ หากใช้ตัวเลข 3.4% ช่องว่างดูจะชี้ขาด แต่ถ้าใช้ 2.8% มันก็อยู่ในช่วงความคลาดเคลื่อนที่ดัชนีนี้แสดงให้เห็นข้ามปลายทางให้บริการต่าง ๆ และหากดูคะแนนย่อยที่ครอบคลุมเสียงสนทนา อันดับกลับพลิกผัน

ตัวเลขสองตัวสำหรับโมเดลเดียว และไม่มีตัวเลขใดเป็นการโกหก

3.4% และ 2.8% มาจากกระดานจัดอันดับเดียวกันในวันเดียวกัน ทั้งสองแตกต่างกันเพราะ AA-WER v2 คำนวณเทียบกับชุดข้อมูลประเมินเฉพาะผ่านปลายทางการให้บริการเฉพาะ และในอดีตดัชนีนี้เคยเคลื่อนไปเกือบหนึ่งจุดเต็มระหว่างผู้ให้บริการที่รัน checkpoint เดียวกัน 2.8% ของ NVIDIA คือตัวเลขที่บริษัทอ้างในสื่อเปิดตัว ส่วน 3.4% คือสิ่งที่กระดานแสดงสำหรับปลายทางที่ทดสอบจริง ไม่มีตัวเลขใดถูกกุขึ้น และไม่ควรนำตัวเลขใดไปลบออกจาก 2.1% ของ Mistral ราวกับว่าทั้งสองถูกวัดบนฮาร์ดแวร์เดียวกัน ที่ระดับความละเอียดเดียวกัน และกับเสียงเดียวกัน

นั่นไม่ได้ทำให้ช่องว่างนั้นไร้ความหมาย แต่ทำให้มันกลายเป็นช่วงหนึ่ง คือประมาณ 0.6 ถึง 1.3 คะแนนที่ Voxtral ได้เปรียบในดัชนีแบบแบตช์ โดยค่าจริงขึ้นอยู่กับว่าคุณใช้เอนด์พอยต์ของใคร สำหรับการติดตั้งใช้งานด้านบริการลูกค้า ซึ่งทุกหนึ่งคะแนนของ WER ต้องแลกมาด้วยเวลาตรวจทานโดยมนุษย์เป็นนาที นั่นมีมูลค่าเป็นเงิน แต่สำหรับผลิตภัณฑ์จดบันทึกการประชุมที่มนุษย์อ่านผลลัพธ์ผ่านๆ อยู่แล้ว มันไม่คุ้มค่าเช่นนั้น

ความแตกต่างนั้นมาจากไหนกันแน่

ดัชนี AA เป็นค่าเฉลี่ยจากสามองค์ประกอบ ได้แก่ VoxPopuli, Earnings-22 และ AgentTalk สองตัวแรกเป็นคำพูดแบบอ่านออกเสียงและการประชุมผลประกอบการ ซึ่งสะอาด มีผู้พูดคนเดียว และบันทึกเสียงได้ดี เป็นประเภทเสียงที่ทั้งสองโมเดลจัดการได้ดี ส่วน AgentTalk เป็นบทสนทนาและมีเสียงรบกวนมากกว่า ในส่วนย่อยนั้น มีรายงานว่าโมเดลของ NVIDIA ได้ 1.8% เทียบกับ Voxtral Small ที่ 2.3% ซึ่งเป็นการพลิกกลับจริง ๆ และเป็นตัวเลขที่น่าสนใจที่สุดในการเปรียบเทียบ

• VoxPopuli และ Earnings-22 — Voxtral Small นำอยู่; ชุดข้อมูลเหล่านี้ให้ผลดีกับโมเดลที่ปรับแต่งมาบนคำพูดยาวที่ชัดเจน

• AgentTalk — Nemotron นำหน้า ด้วย 1.8% เทียบกับ 2.3% บนเสียงสนทนาที่คล้ายกับการโทรขอความช่วยเหลือจริงหรือการประชุมที่มีเสียงพูดสอดแทรกกัน

• ดัชนีโดยรวม — Voxtral Small อยู่ที่ 2.1% ส่วน Nemotron อยู่ระหว่าง 2.8% ถึง 3.4% องค์ประกอบด้านเสียงพูดที่สะอาดมีน้ำหนักมากพอที่จะทำให้เกิดลำดับดังกล่าว

รูปแบบนั้นสอดคล้องกับสถาปัตยกรรมทั้งสองแบบ Voxtral Small เป็นโมเดลถอดเสียงที่ได้รับการฝึกให้เก่งเป็นพิเศษในการถอดเสียง ส่วนเช็กพอยต์ของ NVIDIA เป็นโมเดลภาษาที่มีตัวเข้ารหัสเสียงต่อพ่วงไว้ด้านหน้า และโมเดลภาษามักทำได้ดีกว่าเมื่อเสียงยุ่งเหยิงและบริบทเป็นการสนทนา นอกจากนี้ยังอธิบายได้ว่าทำไมชัยชนะที่ NVIDIA อ้างว่าใหญ่ที่สุดจึงไม่ได้อยู่ที่ WER บนเสียงสะอาดเลย: ค่าเฉลี่ย cpWER 15.80 สำหรับเสียงพูดทับซ้อนที่ระบุผู้พูด และ WER ของชื่อเฉพาะที่ลดลงจาก 12.21% เป็น 2.20% เมื่อคุณให้รายการชื่อเฉพาะ

ตารางของผู้ขายก็ไม่ทับซ้อนกันเช่นกัน

Mistral เผยแพร่ค่า WER เฉลี่ยแบบมาโครของ FLEURS-45 ไว้ที่ 4.1% สำหรับแบบกำหนดภาษา และ 4.0% สำหรับแบบอนุมานภาษา ของ Voxtral Small Transcribe 3 เทียบกับ 4.6% ของรุ่นพี่น้อง 4B Mini และ 16.0% ของ Whisper large-v3 NVIDIA เผยแพร่ Open ASR Leaderboard โดยมีค่าเฉลี่ย 4.71% จากชุดข้อมูลภาษาอังกฤษเก้าชุด และ 4.62% จากชุดข้อมูลหลายภาษาที่เจ็ดชุด ทั้งสองเป็นชุดทดสอบที่ผู้ขายเป็นผู้ดำเนินการ บนคลังข้อมูลที่ต่างกันและมีการปรับมาตรฐานที่ต่างกัน และค่าที่เกือบเหมือนกันนั้นเป็นความบังเอิญ ไม่ใช่การเทียบแบบตัวต่อตัว ใครก็ตามที่นำ 4.0 มาเทียบกับ 4.62 แล้วนำเสนอว่าเป็นชัยชนะ 0.6 คะแนน กำลังเปรียบเทียบคะแนน FLEURS กับคะแนน Open ASR

ตัวเลขการแยกผู้พูดมีปัญหาเดียวกันในทางกลับกัน Mistral รายงาน WER แบบ concatenated minimum-permutation ที่ 18.4% บน AMI, Switchboard, CallHome และ AISHELL-4 NVIDIA รายงาน cpWER เฉลี่ย 15.80 บนชุดข้อมูลหลายผู้พูดของตนเอง ตัวเลขของ NVIDIA ต่ำกว่าและชุดข้อมูลของบริษัทก็แตกต่างกัน หากไม่มีคลังข้อมูลร่วมกัน ข้อความเดียวที่พอจะยืนยันได้คือทั้งสองบริษัทเชื่อว่าตนเอาชนะระบบ cascade เฉพาะทางที่ใช้ทดสอบได้ และไม่มีบริษัทใดเผยแพร่ผลการรันบนข้อมูลของอีกฝ่าย

Voxtral 3 ทำอะไรได้ที่ Nemotron ทำไม่ได้

การเปิดตัวของ Mistral คือตระกูลโมเดล ไม่ใช่เช็กพอยต์เดียว และตระกูลนี้ครอบคลุมขอบเขตที่โมเดลออฟไลน์เพียงตัวเดียวของ NVIDIA ไม่สามารถครอบคลุมได้

• ความกว้างของภาษา — Voxtral Small Transcribe 3 รองรับมากกว่า 50 ภาษา รวมถึงภาษาทางการทั้ง 24 ภาษาของสหภาพยุโรป; NVIDIA รองรับ 40 ภาษา โดยมีการระบุผู้พูดใน 13 ภาษา

• เรียลไทม์ — Voxtral Mini Transcribe Realtime 3 สตรีมที่ความหน่วงต่ำกว่า 500 มิลลิวินาที ในราคา 0.008 ดอลลาร์ต่อนาที โดยมี WER 7.4% ที่ความหน่วง 240 มิลลิวินาที และ 5.7% ที่ 2,400 มิลลิวินาที NVIDIA ไม่มีโหมดสตรีมมิ่งสำหรับเช็กพอยต์นี้ไม่ว่าจะในราคาเท่าใด

• วอยซ์เอเจนต์ — การเปิดตัว Voxtral 3 ได้ส่งมอบ Voice Agent SDK ที่สร้างบน LiveKit ซึ่งเชื่อมโยงการถอดเสียง โมเดลการให้เหตุผลพร้อมการเรียกใช้เครื่องมือ และการสร้างเสียงพูดเข้าด้วยกัน พร้อมรองรับการแทรกแซงระหว่างพูด (barge-in) และโทรศัพท์ผ่าน SIP นั่นคือผลิตภัณฑ์อีกหมวดหมู่หนึ่งทั้งหมวดซึ่งเช็กพอยต์ของ NVIDIA ไม่ได้ครอบคลุม

• ความเรียบง่ายในการดำเนินงาน — การคิดราคาตามนาที ไม่ต้องใช้ GPU ไม่ต้องมี serving stack และมีปลายทางใน EU สหรัฐฯ และทั่วโลก สำหรับทีมที่ไม่มีโครงสร้างพื้นฐาน นี่คือความแตกต่างระหว่างการเชื่อมต่อที่ใช้เวลาสองวันกับสองเดือน

• การไบแอสตามบริบท — การเรียกคืนวลีสำคัญได้ 94.6% เมื่อมีบริบท เทียบกับ 81.4% เมื่อไม่มี บน Earnings-22 เทียบเคียงได้ในแนวคิดกับกลไก entity-list ของ NVIDIA โดยวัดบนคลังข้อมูลที่แตกต่างกัน

สิ่งที่ Nemotron ทำได้ซึ่ง Voxtral 3 ทำไม่ได้

รายการแบบย้อนกลับสั้นกว่า แต่หนักกว่าสำหรับผู้ซื้อที่ใช่

• น้ำหนักโมเดลแบบเปิด — OpenMDW-1.1 อนุญาตให้ใช้งานเชิงพาณิชย์ เผยแพร่ในรูปแบบ BF16, FP8, NVFP4 และ GGUF หน้าเพจของ Mistral มีการเข้าถึง API และ "การติดตั้งใช้งานด้วยตนเองบนโครงสร้างพื้นฐานของคุณเอง" ผ่าน Mistral และ ณ เวลาที่เผยแพร่ ไม่มีการเผยแพร่น้ำหนักโมเดล ไม่มีไลเซนส์ และไม่มี checkpoint หากทีมคอมพลายแอนซ์ของคุณจำเป็นต้องตรวจสอบอาร์ติแฟกต์ มีเพียงหนึ่งเดียวในสิ่งเหล่านี้ที่มีอยู่ให้ตรวจสอบ

• ประมวลผลรอบเดียวได้นานถึงหนึ่งชั่วโมง — คอนเท็กซ์ 65,536 โทเค็น และไฟล์บันทึกเสียงความยาวสูงสุดหนึ่งชั่วโมง Mistral ไม่ได้ประกาศความยาวไฟล์บันทึกเสียงสูงสุดหรือขนาดหน้าต่างคอนเท็กซ์สำหรับ Voxtral 3 ซึ่งนั่นเองก็เป็นเหตุผลหนึ่งที่ควรทดสอบก่อนตัดสินใจใช้งานเวิร์กโฟลว์แบบยาว

• การแปล — 31 ภาษา ทั้งสองทิศทางไปและกลับจากภาษาอังกฤษ หน้าเปิดตัวของ Voxtral 3 ระบุถึงการถอดเสียง การแยกผู้พูด และการไบแอสตามบริบท แต่ไม่ได้ระบุถึงงานแปลเสียงในลักษณะที่เช็กพอยต์ของ NVIDIA ระบุไว้

• เอาต์พุตที่สั่งงานได้ด้วยพรอมต์ — เลือกสไตล์ทรานสคริปต์ได้ห้าแบบตามคำสั่ง แทนที่จะใช้รูปแบบเดียวแล้วประมวลผลภายหลัง

• ความเข้าใจเสียง — การตอบคำถามและการปฏิบัติตามคำสั่งที่พูดจากไฟล์บันทึก รองรับเฉพาะภาษาอังกฤษในเช็กพอยต์นี้ และไม่มีการอธิบายไว้ที่ใดในสื่อเปิดตัว Voxtral 3

การเปรียบเทียบต้นทุนไม่ได้ใกล้เคียงกันเลย และนั่นคือประเด็นสำคัญ

Voxtral Small Transcribe 3 ราคา $0.0040 ต่อนาที หรือ $0.24 ต่อชั่วโมงเสียง ส่วน 4B Mini ราคา $0.0035 หรือ $0.21 ต่อชั่วโมง รายการที่โฮสต์โดย NVIDIA ราคา $2.00 ต่อ 1,000 นาที หรือ $0.12 ต่อชั่วโมง การโฮสต์เองเป็นการคำนวณที่ต่างออกไปโดยสิ้นเชิง: ด้วยอัตราที่ NVIDIA อ้างว่า 2,238 วินาทีของเสียงต่อวินาทีบน RTX PRO 6000 Blackwell หนึ่งการ์ด เสียงหนึ่งพันชั่วโมง — 3.6 ล้านวินาที — ใช้เวลาประมาณ 27 นาทีของเวลา GPU แม้ที่ครึ่งหนึ่งของอัตรานั้น ซึ่งเป็นสิ่งที่ NVIDIA กล่าวว่าการผสานแบบโอเพนซอร์สให้มา ก็ยังใช้เวลาไม่ถึงหนึ่งชั่วโมง

• 1,000 ชั่วโมงต่อเดือน — Voxtral Small $240, Voxtral Mini $210, Nemotron แบบโฮสต์ $120, Nemotron แบบโฮสต์เองประมาณ $2 ของเวลา GPU ในอัตราค่าเช่า $2/ชั่วโมง บวกกับค่าดำเนินงาน

• 10,000 ชั่วโมงต่อเดือน — $2,400, $2,100, $1,200 และประมาณ $20 ของเวลา GPU ตามลำดับ

• ข้อควรระวัง — แนวทางแบบโฮสต์เองตั้งสมมติฐานว่าคุณมี GPU สแตกสำหรับให้บริการ และคนที่ดูแลให้ระบบทำงานอยู่แล้ว เครื่อง RTX PRO 6000 เพียงเครื่องเดียวคือการลงทุนซื้อสินทรัพย์มูลค่าห้าหลัก ที่การใช้งาน 1,000 ชั่วโมงต่อเดือน คุณจะยังตัดค่าเสื่อมไม่หมดก่อนรุ่นถัดไปเปิดตัว ที่ 10,000 ชั่วโมงจะคืนทุนได้ภายในไม่กี่เดือน

• ข้อควรระวังอีกประการ — ตัวเลข throughput เหล่านั้นขึ้นอยู่กับ NVFP4 ร่วมกับโมเดลดราฟต์ DFlash2 และการผสมผสานนั้นจะปิดใช้งานการประทับเวลาแบบรายคำ หากคุณต้องการการจัดแนว คุณกำลังใช้งานการกำหนดค่าที่ช้ากว่าตัวที่อยู่ในตารางทางการตลาด

ดังนั้นข้อโต้แย้งเรื่องราคาจึงแยกตามปริมาณการใช้งานและตามว่าเสียงสามารถออกนอกเครือข่ายของคุณได้หรือไม่ อัตราคิดค่าบริการต่อนาทีของ Mistral ถูกพอที่ทีมส่วนใหญ่ที่ใช้งานต่ำกว่าสองสามร้อยชั่วโมงต่อเดือนไม่จำเป็นต้องคิดเรื่อง GPU เลย เมื่อเกินหนึ่งหมื่นชั่วโมง การโฮสต์เช็กพอยต์แบบโอเพนซอร์สด้วยตนเองจะกลายเป็นตัวเลือกที่ถูกกว่าอย่างมาก และภาระด้านการดำเนินงานเป็นคำถามเดียวที่มีนัยสำคัญจริง ๆ

การทดสอบห้าสิบชั่วโมง

ตัวเลขทุกตัวข้างต้นล้วนเป็นเสียงของคนอื่น ก่อนจะตัดสินใจเดินหน้าโมเดลใดโมเดลหนึ่งไปสู่เส้นทางการใช้งานจริง จงถอดเสียงจากไฟล์บันทึกของคุณเองเป็นเวลาห้าสิบชั่วโมงด้วยโมเดลทั้งสองตัว แล้วให้คะแนนในแบบที่ผู้ใช้ของคุณจะให้ นั่นคือชื่อเฉพาะถูกต้อง การสลับผู้พูดถูกต้อง ตัวเลขและจำนวนเงินถูกต้อง และสำเนียงเฉพาะที่ลูกค้าของคุณมี ดัชนี AA จะไม่บอกคุณว่าโมเดลไหนรับมือกับศูนย์ติดต่อในกลาสโกว์ได้ดีกว่า และเครื่องมือทดสอบของผู้ขายทั้งสองรายก็ไม่บอกเช่นกัน

การทดสอบนั้นยังเป็นจุดที่เราเตอร์มีประโยชน์ในเรื่องอื่นนอกเหนือจากต้นทุนด้วย OrcaRouter นำการเรียกข้อความในชั้นปลายทาง เช่น การสรุปเนื้อหา การสกัดเอนทิตี การปิดข้อมูลอ่อนไหว และการแปลบทถอดเสียงที่เสร็จสมบูรณ์แล้ว มาไว้หลังคีย์เดียวโดยบวกเพิ่ม 0%โดยส่งผ่านราคาตามรายการของผู้ให้บริการตรง ๆ พร้อมการสลับไปยังผู้ให้บริการรายอื่นโดยอัตโนมัติเมื่อเกิดปัญหาและมี DSL สำหรับกำหนดเส้นทางที่สามารถส่งแต่ละขั้นตอนไปยังโมเดลต่าง ๆ ภายในเวิร์กโฟลว์เดียวได้ ทั้ง Nemotron 3.5 Transcribe และ Voxtral 3 ต่างก็ไม่มีอยู่ในแค็ตตาล็อกของ OrcaRouter เราเตอร์จึงไม่ได้ช่วยคุณในการเรียกใช้งานทั้งสองตัวนั้น แต่ช่วยคุณประมวลผลสิ่งที่ทั้งสองส่งกลับมา โดยไม่ต้องไปสร้างความสัมพันธ์กับผู้ขายอีกรายสำหรับชั้นข้อความ

คำตัดสินขึ้นอยู่กับว่าประโยคใดอธิบายปัญหาของคุณ หากเป็นประโยคที่ว่า “เราต้องการการถอดเสียงที่แม่นยำในห้าสิบภาษา เราไม่อยากเป็นเจ้าของ GPU และความหน่วงเป็นเรื่องสำคัญ” แล้ว Voxtral Small Transcribe 3 คือผลิตภัณฑ์ที่ดีกว่า และตัวเลข 2.1% ก็เป็นเหตุผลที่แท้จริง หากเป็นประโยคที่ว่า “เราต้องการทรานสคริปต์การประชุมยาวหนึ่งชั่วโมงที่ระบุผู้พูด การแปล และอาร์ติแฟกต์ที่ทีมกำกับดูแลของเราตรวจสอบได้” แล้ว Nemotron 3.5 Transcribe คือตัวเลือกเดียวในรายการนี้ที่ตอบโจทย์ทั้งสามข้อ และ WER ที่เพิ่มขึ้นหนึ่งจุดบนคำพูดอ่านออกเสียงที่ชัดเจนคือราคาที่ต้องจ่ายสำหรับสิ่งนั้น หากเป็นประโยคที่ว่า “เราต้องการทั้งสองอย่าง” คำตอบที่ตรงไปตรงมาคือทั้งสองสิ่งนี้ไม่ใช่สิ่งทดแทนกัน และทีมที่ได้ประโยชน์สูงสุดจากเจเนอเรชันนี้กำลังใช้ตัวหนึ่งสำหรับเสียงสดและอีกตัวสำหรับคลังเก็บถาวร