Nemotron 3.5 Transcribe เทียบกับ Whisper Large v3 Turbo: ขนาดใหญ่กว่า 40 เท่า เพื่อแลกกับ WER ที่ดีขึ้นเพียงหนึ่งจุด

ถ้างานถอดเสียงของคุณคือโฟลเดอร์คลิปสัมภาษณ์โมโนความยาวสามนาที และเครื่องที่คุณมีคือการ์ดเวิร์กสเตชัน 24GB การเปรียบเทียบระหว่าง Nemotron 3.5 Transcribe กับ Whisper Large v3 Turbo ก็ได้ข้อสรุปก่อนที่ความแม่นยำจะเข้ามาเกี่ยวข้องเสียอีก โมเดลใหม่ของ NVIDIA เป็นระบบเสียงขนาด 34 พันล้านพารามิเตอร์ที่ผ่านการตรวจสอบบนตัวเร่ง 80GB ส่วนรุ่นเทอร์โบของ OpenAI เป็นโมเดล 809 ล้านพารามิเตอร์ที่บรรจุอยู่ในน้ำหนัก int8 เพียง 0.8GB และทำงานบน CPU ทั้งสองถูกนำมาเปรียบเทียบกันในสัปดาห์นี้ เพราะอัตราความผิดพลาดของทั้งคู่อยู่ห่างกันประมาณหนึ่งจุดเท่านั้น และนั่นคือข้อเท็จจริงที่มีประโยชน์น้อยที่สุดเกี่ยวกับการจับคู่นี้

Nemotron 3.5 Transcribe เปิดตัวเมื่อวันที่ 28 ตุลาคม 2026 ในรูปแบบน้ำหนักเปิดภายใต้สัญญาอนุญาต OpenMDW-1.1 ซึ่งอนุญาตให้ใช้เชิงพาณิชย์ได้ Whisper Large v3 Turbo มีมาตั้งแต่วันที่ 1 ตุลาคม 2024 และใช้สัญญาอนุญาต MIT; มันไม่ใช่ข่าวใหม่ แต่เป็นบรรทัดฐานที่โมเดลเสียงพูดใหม่ทุกรุ่นถูกนำมาเปรียบเทียบด้วย คำถามที่บทความนี้ตอบไม่ใช่ว่ารุ่นไหนได้คะแนนดีกว่า — ผู้ขายทั้งสองรายคงอยากให้คุณอ่านแบบนั้น — แต่คือรุ่นไหนที่คุณรันได้จริง ด้วยต้นทุนเท่าไร กับเสียงที่คุณมี

แต่ละโมเดลจริงๆ แล้วคืออะไร

ความแตกต่างทางสถาปัตยกรรมไม่ใช่ช่องว่างระหว่างรุ่น แต่เป็นความแตกต่างเชิงหมวดหมู่ และมันอธิบายการแลกเปลี่ยนที่ตามมาแทบทุกอย่างได้

• สถาปัตยกรรม — LLM แบบ mixture-of-experts ที่เป็นไฮบริด Mamba–Transformer พร้อม speech encoder และ diarization encoder แบบ frozen ขนาด 99M ที่ติดตั้งเพิ่มเข้ามา โดยรวมประมาณ 34B และมี 4.3B ที่ active ต่อโทเคน เทียบกับ encoder–decoder ที่กลั่นมาจาก large-v3 โดยตัด decoder จาก 32 เลเยอร์เหลือ 4 เลเยอร์

• หน้าต่างเสียง — การบันทึกเสียงที่มีความยาวสูงสุดหนึ่งชั่วโมงจะถูกประมวลผลในครั้งเดียว เทียบกับหน้าต่างคงที่ 30 วินาทีซึ่งใช้การถอดรหัสแบบลองฟอร์มที่แบ่งเป็นส่วนเมื่อเสียงยาวกว่านั้น

• ป้ายกำกับผู้พูด — ฝังอยู่ในเอาต์พุต รองรับสูงสุด 8 ผู้พูด ใน 13 ภาษา เทียบกับไม่มีเลย; Whisper ไม่มีโทเค็นผู้พูดในคำศัพท์ จึงจำเป็นต้องมีตัวแยกผู้พูดแบบแยกต่างหาก

• การจับเวลาในระดับคำ — อะแดปเตอร์ CTC แบบน้ำหนักเบาจะจัดแนวทรานสคริปต์ที่เสร็จสมบูรณ์ให้ตรงกับเสียง เทียบกับการใช้โทเค็นประทับเวลาระดับเซกเมนต์เท่านั้น โดยการจับเวลาในระดับคำต้องใช้การจัดแนวแบบบังคับ

• ความครอบคลุมด้านภาษา — ถอดเสียง 40 ภาษา, แปลเป็นหรือจากภาษาอังกฤษ 31 ภาษา, ระบุผู้พูดได้ 13 ภาษา เทียบกับ 99 ภาษาที่ถอดเสียงได้และไม่มีการแปล

• น้ำหนักโมเดลบนดิสก์ — ประมาณ 68GB ใน BF16 ภายใต้สัญญาอนุญาต OpenMDW-1.1 เทียบกับ 1.6GB ที่ fp16 และ 0.81GB ที่ int8 ภายใต้สัญญาอนุญาต MIT

ตัวเลขความแม่นยำไม่ตรงกัน และนั่นแหละคือประเด็น

Artificial Analysis เป็นเจ้าของดัชนีสาธารณะเพียงแห่งเดียวที่ทั้งสองโมเดลปรากฏบนมาตรวัดเดียวกัน และตัวเลขของดัชนีนี้ควรอ่านอย่างรอบคอบเพราะตัวเลขเหล่านั้นขัดแย้งกันเอง ในตารางลีดเดอร์บอร์ด Whisper Large v3 Turbo ถูกระบุไว้ที่ 4.6% AA-WER บนเอนด์พอยต์ fast-inference หนึ่งแห่ง และ 5.5% บนอีกแห่งหนึ่ง Nemotron 3.5 Transcribe ถูกระบุไว้ที่ 3.4% สำหรับเอนด์พอยต์แบบโฮสต์ ประกาศของ NVIDIA เองอ้างอิง 2.80% AA-WER ซึ่งได้อันดับหนึ่งร่วมในกลุ่มโมเดล open-weight และส่วนข้อความบรรยายของลีดเดอร์บอร์ดเดียวกันก็ย้ำ 2.8% ขณะที่ตารางของมันระบุ 3.4% — ความคลาดเคลื่อนภายในหน้าเดียว ก่อนที่ใครจะเริ่มเปรียบเทียบผู้ให้บริการ

ถ้ามองตารางตามที่แสดงไว้ Nemotron 3.5 Transcribe จะดีกว่าประมาณ 1.2 จุด ตอนนี้ให้สังเกตว่าสองรายการของ Whisper Large v3 Turbo เองแตกต่างกัน 0.9 จุดบนโมเดลเดียวกัน ช่องว่างที่ดูเหมือนมีอยู่ระหว่างสองระบบนี้ส่วนใหญ่มาจากการกำหนดค่า endpoint — การแบตช์ การตั้งค่าการถอดรหัส การประมวลผลเสียงล่วงหน้า — ไม่ใช่สถาปัตยกรรม ใครก็ตามที่ยกส่วนต่างของ WER เพียงตัวเลขเดียวมาเป็นคำตัดสิน กำลังอ้างตัวเลขที่เปลี่ยนไปเกือบเท่ากันเมื่อคุณเปลี่ยนโฮสต์

The Open ASR Leaderboard บอกเล่าเรื่องที่ฟังดูใหญ่โตกว่า ค่าเฉลี่ยรูปแบบสั้นภาษาอังกฤษของ Whisper Large v3 Turbo อยู่ที่ราว 7.8% ในนั้น ขณะที่ NVIDIA รายงานว่าโมเดลของตนได้ 4.71% จากชุดทดสอบเก้าชุดบนหน้างานวิจัย และมีค่าเฉลี่ย English WER 5.33% ในโพสต์ Hugging Face ที่แนบมาเหล่านั้นเป็นส่วนผสมของชุดทดสอบที่ต่างกันพร้อมการปรับมาตรฐานที่ต่างกัน ดังนั้นช่องว่างสามจุดเปอร์เซ็นต์จึงเป็นเพียงทิศทางเท่านั้น สิ่งที่สำคัญกว่าคือสิ่งที่ไม่มีอยู่: การเปรียบเทียบแบบตัวต่อตัวจากผู้จำหน่ายกับ Whisper Large v3 Turbo NVIDIA เปรียบเทียบโมเดลของตนกับระบบ diarization แบบ cascaded และกับโมเดลเสียงแบบ open-weight อื่น ๆ ไม่ใช่กับ checkpoint turbo ที่ทีมส่วนใหญ่ใช้งานอยู่ในปัจจุบัน ตัวเลข "เอาชนะ Whisper" ทุกตัวที่แพร่หลายอยู่เป็นการอนุมานข้าม benchmark รวมถึงของเราด้วย

ช่องว่างด้านความสามารถที่ Whisper ไม่สามารถปิดได้

หากไม่นับเอาต์พุตที่ขับเคลื่อนด้วยพรอมป์ ความแตกต่างที่สำคัญคือ Nemotron 3.5 Transcribe สร้างทรานสคริปต์ที่ระบุผู้พูดได้ในการประมวลผลรอบเดียว แท็กผู้พูดมาจากเอนโคเดอร์ไดอาไรเซชันแบบคงที่ (frozen) ที่หลอมรวมเข้ากับคุณลักษณะเสียง การตอบสนองมีเซกเมนต์ผู้พูดดิบ ๆ มาพร้อมกับทรานสคริปต์ที่ติดแท็กแล้ว และโมเดลติดป้ายกำกับ tym เป็น <spk:0> ถึง <spk:7> สำหรับพอดแคสต์ที่มีผู้พูดสองคน นี่เป็นเพียงความสะดวก แต่สำหรับการไต่สวนทางวินัยที่ยาว 60 นาที การเข้าพบแพทย์ หรือการโทรขายแบบหลายฝ่าย นี่คือตัวผลิตภัณฑ์เอง

Whisper Large v3 Turbo ไม่สามารถระบุผู้พูดได้เลย ทรานสคริปต์ที่ใช้ฝึกของมันไม่เคยมีป้ายกำกับผู้พูด และอินพุตของมันถูกดาวน์มิกซ์เป็นโมโน 16kHz ซึ่งทำลายสัญญาณทางกายภาพเพียงอย่างเดียวที่อาจยังหลงเหลืออยู่ การขอให้มันสร้างป้ายกำกับจะได้ข้อความที่ดูเหมือนถูกต้องแต่ไม่มีรากฐานจากเสียงเลย วิธีเลี่ยงแบบมาตรฐานคือ WhisperX: การจัดแนวแบบบังคับสำหรับเวลาของคำ บวกกับโมเดลแยกผู้พูดที่โฮสต์แยกต่างหาก ซึ่งเชื่อมต่อกันที่ขอบเขตเซกเมนต์ มันใช้งานได้ ถูกนำไปใช้งานอย่างแพร่หลาย และเป็นสามชิ้นส่วนที่ต้องทำงานร่วมกัน ในขณะที่ Nemotron 3.5 Transcribe เป็นเพียงหนึ่งเดียว

ข้อได้เปรียบเชิงโครงสร้างแบบเดียวกันนี้ใช้กับเสียงยาวด้วย การประมวลผลหนึ่งชั่วโมงในรอบเดียวดีกว่าการต่อหน้าต่าง 30 วินาทีเข้าด้วยกัน และการต่อหน้าต่างมีโหมดล้มเหลวที่ทราบกันดี: การถอดรหัสโดยไม่มีโทเค็นการประทับเวลาจะทำให้คำหล่นหายที่เกือบทุกขอบเขต — งานบรรยายความยาว 20 นาทีหนึ่งงานที่วัดผลแล้วสูญเสียคำไปราว 3% ด้วยวิธีนั้น อะแดปเตอร์ CTC ของ Nemotron 3.5 Transcribe มีอยู่เพื่อหลีกเลี่ยงข้อผิดพลาดประเภทนั้นโดยเฉพาะ อย่างไรก็ตาม โปรดทราบว่าการประทับเวลาเป็นรายคำไม่ได้เป็นส่วนหนึ่งของการรองรับ vLLM ในช่วงแรก

ในงานที่โมเดลนี้ถูกสร้างขึ้นมาเพื่อทำ ตัวเลขที่ NVIDIA รายงานไว้ถือว่าแข็งแกร่งและเป็นการรายงานโดยผู้ผลิตเอง: DER 18.26% ครอบคลุม 21 ภาษา บนเบนช์มาร์กการแยกผู้พูดของ David AI ซึ่งระบุว่าดีที่สุดในบรรดา 14 ระบบ; cpWER 32.4% บน VoiceArena ซึ่งก็ดีที่สุดใน 14 ระบบเช่นกัน รายการเอนทิตีตามบริบทที่จัดหาให้ในพรอมต์ถูกกล่าวถึงว่าช่วยลดข้อผิดพลาดเกี่ยวกับ named entity ได้ถึงหกเท่าบน ContextASR-Bench ทั้งหมดนี้ยังไม่มีการทำซ้ำอย่างอิสระ และทั้งหมดเป็นข้อกล่าวอ้างเกี่ยวกับโมเดลที่เพิ่งมีอายุได้หนึ่งวัน

จุดที่ Whisper Large v3 Turbo ยังคงชนะแบบขาดลอย

ความกว้างของภาษาคือคำตอบแรก และมันไม่น่าเบื่ออย่างที่ฟังดู Whisper Large v3 Turbo รองรับ 99 ภาษา Nemotron 3.5 Transcribe รองรับ 40 ภาษาสำหรับการถอดความ 31 ภาษาสำหรับการแปล และ 13 ภาษาสำหรับการระบุผู้พูด หากคิวของคุณมีภาษาคาซัค ทมิฬ สวาฮิลี หรือเวลส์ การเปรียบเทียบก็จบเพียงเท่านี้: โมเดล turbo ถอดความภาษาเหล่านี้ได้ ส่วนโมเดลที่ใหม่กว่าและใหญ่กว่าไม่ได้อ้างว่าทำได้

คำตอบที่สองคือความยุ่งยากในการติดตั้งใช้งาน Whisper Large v3 Turbo ทำงานภายใต้ whisper.cpp, faster-whisper และ MLX บน CPU บนแล็ปท็อป บน Jetson ส่วน Nemotron 3.5 Transcribe ต้องใช้ vLLM 0.32.0 พร้อมปลั๊กอิน NeMo Speech หรือ SGLang-Omni 0.2.0 บน H100 ขนาด 80GB ใน BF16, L40S ใน FP8 หรือ RTX 5090 ใน NVFP4 สิ่งเหล่านี้ไม่ใช่ข้อผูกพันด้านการดำเนินงานที่เทียบเคียงกันได้

ประการที่สามคือ ราคาของ Turbo เป็นอัตราต่อชั่วโมงที่เปิดเผยและเรียบง่าย ปลายทางแบบโฮสต์คิดค่าบริการประมาณ $0.04 ต่อชั่วโมงเสียง โดยมีขั้นต่ำ 10 วินาที และทำงานเร็วกว่าเวลาจริงประมาณ 250 เท่าบนปลายทางที่เร็ว เสียงหนึ่งพันชั่วโมงมีค่าใช้จ่ายประมาณ $40 ส่วน Nemotron 3.5 Transcribe ไม่มีราคาตามรายการที่เปิดเผยสำหรับเช็กพอยต์แบบเต็ม และปลายทางแบบโฮสต์ที่ให้บริการมันอยู่ก็ไม่เผยแพร่ราคาต่อ Minuten

ตรวจสอบว่าคุณกำลังทดสอบประสิทธิภาพ Nemotron 3.5 รุ่นใดอยู่

ข้อผิดพลาดที่พบบ่อยที่สุดในการรายงานข่าวสัปดาห์นี้คือการเปรียบเทียบกับโมเดลผิดตัว สัดส่วนมากของงานเผยแพร่ที่เปรียบเทียบ "Nemotron 3.5" จริง ๆ แล้วประเมิน nvidia/nemotron-3.5-asr-streaming-0.6b ซึ่งเป็นโมเดลสตรีมมิ่งขนาด 0.6B ที่คำนึงถึงแคชจากรุ่นก่อนหน้า มีตัวเลขและจุดอ่อนของตัวเอง หากตารางใดกล่าวถึงชังก์ 80ms ถึง 1120ms ตารางนั้นไม่ได้ทดสอบ Nemotron 3.5 Transcribe เรื่องนี้สำคัญเพราะโมเดลสตรีมมิ่งแพ้ Whisper Large v3 Turbo ในด้านความแม่นยำดิบในการเปรียบเทียบในโลกจริง (3.35% เทียบกับ 2.55% บนกระดานผู้นำหลายภาษาหนึ่งแห่ง) และแพ้อย่างหนักในด้านการจัดแนวคำ ในขณะที่โมเดลที่กล่าวถึงในที่นี้เป็นระบบขนาด 34B ที่ไม่ใช่สตรีมมิ่งและเป็นคนละตัวกัน

กับดักที่สองคือการเสิร์ฟโมเดล เส้นทางง่ายอย่าง SGLang-Omni 0.2.0 ให้ endpoint ที่ใช้งานได้โดยไม่ต้องใช้ NeMo — แต่ก็ไม่มีการประทับเวลา ป้ายกำกับผู้พูด หรือการแปล เส้นทางเต็มอย่าง vLLM 0.32.0 พร้อมปลั๊กอิน NeMo Speech ให้ทั้งสามอย่าง แต่การประทับเวลาในระดับคำมาเป็นส่วนเสริมภายหลัง ไม่ใช่ใน PR แรก ดังนั้นสูตรการติดตั้งใช้งานสามสูตรที่ชื่อ "Nemotron 3.5 Transcribe" จึงอาจมีพฤติกรรมเหมือนเป็นผลิตภัณฑ์ที่แตกต่างกันสามแบบ หากการระบุผู้พูดคือเหตุผลที่คุณกำลังเปลี่ยน ให้ตรวจสอบเส้นทางนั้นก่อนที่คุณจะทุ่มเวลาเชิงวิศวกรรมให้กับมัน

ค่าใช้จ่ายในการดำเนินการ พูดกันตามตรง

การเปรียบเทียบแบบโฮสต์นั้นแทบจะง่ายมาก: Whisper Large v3 Turbo ในราคาประมาณ $0.04 ต่อชั่วโมงเสียง เท่ากับ ~$40 ต่อหนึ่งพันชั่วโมง โดยไม่ต้องเป็นเจ้าของฮาร์ดแวร์ ส่วน Nemotron 3.5 Transcribe ยังไม่ถูกขายในรูปแบบนั้น ดังนั้นทีมที่ต้องการใช้มันจึงกำลังคิดต้นทุนเป็น GPU ไม่ใช่ใบเรียกเก็บเงิน

คำกล่าวอ้างด้านทรูพุตของ NVIDIA เองคือขีดจำกัดล่างเชิงคอมพิวต์: เสียง 2,238 วินาทีต่อเวลาจีพียูหนึ่งวินาที โดยใช้ NVFP4 กับ DFlash2 drafter บน RTX PRO 6000 Blackwell ซึ่งคิดออกมาได้ประมาณเสียง 100 ชั่วโมงในเวลาไม่ถึงสามนาที ที่ราคาประมาณ $2 ต่อชั่วโมงจีพียูแบบออนดีมานด์ นั่นสื่อถึงขีดจำกัดล่างที่ต่ำกว่าหนึ่งเซนต์ต่อชั่วโมงเสียงมาก — เมื่อทำ full batching ซึ่งไม่ใช่ลักษณะการทำงานของคิวในโปรดักชัน ให้ถือเป็นเพดานของสิ่งที่ฮาร์ดแวร์ทำได้ ไม่ใช่อัตราที่คุณจะทำได้จริง

ซึ่งหมายความว่าการเปรียบเทียบที่แท้จริงไม่ใช่ Whisper Large v3 Turbo กับ Nemotron 3.5 Transcribe แต่เป็น Nemotron 3.5 Transcribe กับ Whisper Large v3 Turbo บวกกับโมเดลจำแนกผู้พูด ตัวจัดแนวแบบบังคับ โค้ดรวมเซ็กเมนต์ และการปรับแต่งเฉพาะภาษาที่โค้ดเชื่อมต่อเหล่านั้นต้องใช้ หากคุณใช้งาน WhisperX ในโปรดักชันอยู่แล้ว คุณได้จ่ายต้นทุนส่วนใหญ่นั้นไปแล้ว และเหตุผลในการเปลี่ยนจึงอ่อนแอกว่าที่ช่องว่าง WER บ่งชี้ หากคุณยังไม่ได้สร้างมันขึ้นมา โมเดล 30B กำลังแข่งขันกับไปป์ไลน์ที่คุณจะต้องจัดหาบุคลากรมาดูแลหากไม่มีมัน

ข้อสังเกตเชิงปฏิบัติข้อหนึ่งสำหรับใครก็ตามที่ใช้งานทั้งสองระบบระหว่างการย้ายระบบ: การเก็บแบ็กเอนด์ถอดเสียงสองตัวไว้ด้านหลังปลายทางเดียวที่เข้ากันได้กับ OpenAIจะทำให้การสลับเปลี่ยนเป็นการแก้ไขการตั้งค่า แทนที่จะเป็นสัญญาผู้ขายรายที่สอง นั่นคือเลเยอร์ที่ OrcaRouter มีอยู่เพื่อมอบให้ — คีย์เดียวและปลายทางเดียวครอบคลุมผู้ให้บริการที่มันจัดเส้นทางให้ โดยราคาตามรายการของผู้ให้บริการที่ส่งต่อโดยไม่มีการบวกเพิ่ม 0% พร้อมการสลับไปยังระบบสำรองอัตโนมัติระหว่างกัน มันไม่ได้เปลี่ยนว่าโมเดลไหนดีกว่า มันเปลี่ยนว่าต้องเสียค่าใช้จ่ายเท่าไรในการค้นหาคำตอบ และต้องเสียค่าใช้จ่ายเท่าไรหากคิดผิด

ใครควรเลือกอันไหน

• การประชุม การบันทึกทางกฎหมาย ทางคลินิก หรือของศูนย์ติดต่อที่มีผู้พูดหลายคนและมีร่องรอยการตรวจสอบ — Nemotron 3.5 Transcribe การระบุผู้พูดและการประทับเวลาเป็นรายคำในรอบเดียวคือความสามารถที่คุณต้องประกอบขึ้นเองหากไม่มี และหน้าต่างเวลาหนึ่งชั่วโมงช่วยขจัดตรรกะการแบ่งส่วนออกไปทั้งหมด

• ออดิโอโมโนปริมาณสูง ครอบคลุมภาษากว้าง การติดตั้งใช้งานบนแล็ปท็อปหรือ CPU และการคิดค่าบริการรายชั่วโมงที่คาดการณ์ได้ — Whisper Large v3 Turbo ด้วยพารามิเตอร์ 809M และราคา $0.04 ต่อชั่วโมง ถือเป็นคำตอบที่ถูกต้องและราคาถูกที่สุดสำหรับทราฟฟิกจริงจำนวนมาก และผ่านการใช้งานจริงมาแล้วสองปี

• ภาระงานแบบผสม — รัน turbo กับทุกอย่าง และส่งเฉพาะเสียงที่จำเป็นต้องแยกผู้พูด ต้องใช้รายการศัพท์เฉพาะ หรือต้องแปล ไปยังโมเดลที่ใหญ่กว่า กฎการเลือกพิจารณาจากคุณสมบัติของเสียง ไม่ใช่ชื่อเสียงของโมเดล: จำนวนผู้พูด การมีอภิธานศัพท์เฉพาะโดเมน และความยาวของการบันทึก

คำถามที่ควรถามก่อนคุณย้ายระบบ

Nemotron 3.5 Transcribe สามารถทำงานบน GPU 24GB เพียงตัวเดียวได้หรือไม่

ไม่สบายใจนัก NVIDIA รับรอง BF16 บน H100 ขนาด 80GB, FP8 บน L40S และเช็กพอยต์ NVFP4 บน RTX 5090 ซึ่งเป็นการ์ดขนาด 32GB อุปกรณ์ขนาด 24GB ต่ำกว่าทุกการกำหนดค่าที่ได้รับการรับรอง และ audio tower ถูกคัดลอกไปยังทุกแรงก์แบบ tensor-parallel ดังนั้นการแบ่งชาร์ดแบบหลาย GPU จึงไม่ได้ช่วยกู้การ์ดเดี่ยวขนาดเล็ก

Whisper Large v3 Turbo รองรับการระบุผู้พูด (speaker labels) หรือการแปลภาษาหรือไม่

ไม่ใช่ทั้งคู่ โมเดลเวอร์ชัน turbo ถูกฝึกมาเพื่อการถอดเสียงเท่านั้น ดังนั้นเมื่อป้อนงานแปลเข้าไปจึงได้ผลลัพธ์ที่ใช้งานไม่ได้ การแปลต้องใช้เช็กพอยต์ large-v3 ฉบับเต็ม ส่วนการติดป้ายชื่อผู้พูดต้องใช้ไดอาไรเซอร์แยกต่างหาก เช่น pyannote และการเชื่อมช่วงการพูดของมันเข้ากับเวลาของเซกเมนต์แบบหยาบของ Whisper นั้นคือส่วนของไปป์ไลน์ที่ต้องใช้เวลานานที่สุดกว่าจะทำให้ถูกต้อง

ช่องว่างของพารามิเตอร์ปรากฏเป็นความหน่วงหรือไม่

ไม่ใช่ต่อนาทีของเสียงครับ Whisper Large v3 Turbo คืนผลลัพธ์หน้าต่าง 30 วินาทีได้ในเวลาไม่ถึงหนึ่งวินาทีอย่างมากบน hosted endpoint ที่เร็ว และ Nemotron 3.5 Transcribe ประมวลผลไฟล์หนึ่งชั่วโมงได้ในรอบเดียวด้วยอัตราการประมวลผลที่ NVIDIA อธิบายว่าเป็นหลักพัน audio-second ต่อ GPU-second ความแตกต่างที่เห็นได้ชัดอยู่ที่อื่น: turbo ไม่มีโหมดสตรีมมิ่ง และ Nemotron 3.5 Transcribe ก็ไม่มีเช่นกัน ดังนั้นการทำคำบรรยายสดจึงอยู่นอกขอบเขตสำหรับทั้งสองตัว

อันไหนดีกว่าสำหรับเสียงที่ไม่ใช่ภาษาอังกฤษ

ไม่มีคำตอบใดปลอดภัย Whisper Large v3 Turbo รองรับ 99 ภาษา โดยคุณภาพแตกต่างกันมากตามภาษา และ Nemotron 3.5 Transcribe รองรับ 40 ภาษา พร้อมผลลัพธ์หลายภาษาที่ผู้จำหน่ายรายงานเองและสูตรการปรับให้เข้ากับงาน — NVIDIA รายงานว่าโดเมนการแพทย์แบบ held-out ดีขึ้นจาก WER 22.44% เป็น 12.17% หลัง fine-tuning บน GPU ตัวเดียวเพียงไม่กี่ชั่วโมง ยังไม่มีการเปรียบเทียบหลายภาษาแบบตัวต่อตัวที่เป็นอิสระ ดังนั้นสำหรับภาษาใดก็ตามที่ไม่ใช่ภาษาอังกฤษ สิ่งที่รับผิดชอบคือการทดสอบแบบ blind test กับเสียงของคุณเอง

อะไรจะทำให้คำตัดสินนี้เปลี่ยนไปได้

สามสิ่ง ตามลำดับความน่าจะเป็น การที่ word-level timestamps มาลงใน transcription API ของ vLLM จะทำให้เส้นทางการให้บริการแบบเต็มกลายเป็นค่าเริ่มต้น และลดช่องว่างระหว่างสูตรการปรับใช้ทั้งสาม การที่ quantized checkpoints ถูกเผยแพร่อย่างกว้างขวางจะเลื่อนเกณฑ์ฮาร์ดแวร์ขั้นต่ำลงจากการ์ด 80GB ไปสู่อุปกรณ์สำหรับผู้บริโภค และการเปรียบเทียบแบบตัวต่อตัวหลายภาษาที่เป็นอิสระอย่างแท้จริงกับ Whisper Large v3 Turbo จะแทนที่การอนุมานด้วยการวัดผล

จนกว่าหนึ่งในนั้นจะเปิดตัว การตัดสินใจยังไม่ใกล้เคียงกับหนึ่งในสิบของคะแนน WER เลย มันเป็นคำถามเกี่ยวกับเสียงของคุณ: หากเสียงของคุณมีมากกว่าหนึ่งเสียง และคุณจำเป็นต้องรู้ว่าเสียงไหนพูดอะไร Nemotron 3.5 Transcribe คือโมเดลแบบเปิดรุ่นแรกที่ทำสิ่งนั้นได้ในการผ่านครั้งเดียวโดยไม่มีไปป์ไลน์อยู่เบื้องหลัง หากไม่เป็นเช่นนั้น โมเดล 809M ที่เปิดตัวเมื่อปีที่แล้วยังทำงานนี้ได้ในราคาสี่สิบดอลลาร์ต่อหนึ่งพันชั่วโมง และโมเดล 34B ก็ต้องซื้อฮาร์ดแวร์จำนวนมาก เพื่อแลกกับตัวเลขที่เปลี่ยนไปเมื่อคุณเปลี่ยนโฮสต์