Ming-3.0-audio-tiny vs VibeVoice-ASR-Streaming 1.5B: ห้าขีดต่อกรกับสตรีมที่ระบุผู้พูด

เปิดภาพการรู้จำเสียงภายใน Ming-3.0-audio-tinyบนคลัง Hugging Face แล้วเลื่อนลงไปด้านล่างสุด มีห้าแถว — speaker diarization และค่า concatenated minimum-permutation error สำหรับ AISHELL-4, AliMeeting และ AMI — ที่มีเครื่องหมายขีดในคอลัมน์ tiny ไม่ใช่ตัวเลขที่แย่ แต่เป็นช่องว่าง ผู้ขายวัดรุ่นพี่ที่ใหญ่กว่าครบทั้งห้าแถว แต่ปฏิเสธที่จะวัดรุ่นเล็ก ตอนนี้เปิดการ์ดโมเดลของ VibeVoice-ASR-Streaming 1.5B และอ่านหัวข้อแรก: มันถอดความว่าใครพูดอะไรอย่างต่อเนื่องเมื่อเสียงมาถึง นั่นคือห้าแถวเดียวกันในมุมกลับกัน โมเดลหนึ่งเผยแพร่เกือบทุกอย่างยกเว้นการระบุผู้พูด ส่วนอีกโมเดลมีอยู่เพื่อเผยแพร่สิ่งนั้นเป็นหลัก ความล้มเหลวของ AI และเหตุการณ์ของเอเจนต์ที่มีการบันทึกไว้เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive ซึ่งแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง เกรดความเชื่อมั่น และธงข้อโต้แย้งของตนเอง

ทั้งสองยังไม่ได้รับการให้คะแนนอย่างอิสระ เรื่องนี้สำคัญที่นี่น้อยกว่าปกติ เพราะการจับคู่นี้ตัดสินด้วยการตัดสินใจเชิงออกแบบมากกว่าตัวเลข นั่นคือสิ่งที่เกิดขึ้นเมื่อเสียงยังคงไหลเข้ามาไม่หยุด Ming-3.0-audio-tiny เป็นโมเดลไฟล์ที่มีหน้าต่างขนาดใหญ่และมีเอาต์พุตเสียงพูดแบบเลือกได้ VibeVoice-ASR-Streaming 1.5B เป็นโมเดลสตรีมที่ส่งข้อความออกมาประมาณทุกสามวินาที และติดป้ายกำกับแต่ละส่วนด้วยผู้พูด ถ้าภาระงานของคุณคือไฟล์บันทึกเสียง ทั้งสองจะแข่งขันกัน ถ้าภาระงานของคุณคือห้องหนึ่งห้อง มีเพียงหนึ่งในนั้นเท่านั้นที่กำลังพยายามอยู่

ค่าใช้จ่ายของ "streaming" ในคอนฟิกเป็นเท่าไร

รีโพซิทอรีของ Microsoft มีความชัดเจนผิดปกติเกี่ยวกับงบประมาณความหน่วงของตัวเอง ซึ่งทำให้การแลกเปลี่ยนนี้ตรวจสอบได้จริง ไม่ใช่แค่คำโฆษณาการตลาด tokenizer เชิงเสียงและเชิงความหมายเป็นแบบ causal และทำงานที่การบีบอัด 3,200 เท่าเมื่อเทียบกับอินพุต 24 kHz ดังนั้นสตรีมโทเค็นจึงมีประมาณ 7.5 โทเค็นต่อเสียง 1 วินาที ตัวห่อแบบสตรีมมิ่งจัดกลุ่มเฟรมโทเค็น 22 เฟรมต่อชังก์ โดยมี lookahead 4 เฟรม: 22 หารด้วย 7.5 ได้ประมาณ 2.9 วินาทีต่อการปล่อยหนึ่งครั้ง และ 4 หารด้วย 7.5 ได้ประมาณครึ่งวินาทีของเสียงในอนาคตที่โมเดลได้รับอนุญาตให้เห็นก่อนตัดสินใจ

• จังหวะการปล่อย — ประมาณ 2.9 วินาที; lookahead คือส่วนที่แลกมาซึ่งความแม่นยำโดยมีต้นทุนคือ latency

• โครงข่ายหลัก — ตัวถอดรหัสตระกูล Qwen2 จำนวน 28 ชั้น ขนาดซ่อน 1,536 หัว 12 หัว โดยมีหัวคีย์-แวลู 2 หัว หน้าต่าง 64,000 โทเคน

• ขนาด — ไฟล์ safetensors สามชาร์ดรวมกัน 5.63 GB นั่นไม่ใช่พารามิเตอร์ 1.5B; 5.63 GB ที่ bf16 คำนวณออกมาได้ใกล้เคียง 2.8 พันล้านมากกว่า และ 1.5B ในชื่อควรตีความว่าเป็นแกนหลักด้านภาษามากกว่าทั้งสแต็ก

• ภาษา — สิบภาษา: จีน อังกฤษ ฝรั่งเศส เยอรมัน อิตาลี ญี่ปุ่น เกาหลี โปรตุเกส รัสเซีย สเปน

• ส่วนเสริม — ฮอตเวิร์ดที่ปรับแต่งซึ่งส่งไปเป็นบริบท และป้ายชื่อผู้พูดที่แนบกับแต่ละเซกเมนต์ที่ส่งออก

• การระบุวันที่ — สร้าง repository เมื่อวันที่ 2 กันยายน 2026 เวลา 15:51 UTC และแก้ไขล่าสุดในเช้าวันรุ่งขึ้น ประกาศเพียงผ่านบรรทัดข่าวใน README ของ VibeVoice บน GitHub ซึ่งกล่าวได้ว่าแทบไม่ใช่การประกาศเลย

หน้าต่าง 64K นั้นคือตัวเลขที่ต้องเอาไปเทียบกับ 131,072 ของ Ming ฟังดูเหมือนเป็นความจุแค่ครึ่งเดียว แต่ก็ไม่ใช่ความจุชนิดเดียวกัน โมเดลแบบสตรีมมิงไม่จำเป็นต้องเก็บข้อมูลทั้งชั่วโมง เพราะมันบันทึกห้าสิบเก้านาทีหลังสุดไว้แล้ว หน้าต่างนี้คือหน่วยความจำใช้งานสำหรับชังก์ปัจจุบัน บวกกับบริบทบทสนทนาที่โมเดลพาไปข้างหน้าเท่าใดก็ตาม 131K ของ Ming คือการเดิมพันแบบตรงกันข้าม: เก็บทุกอย่างให้พร้อมใช้งานตลอดและใช้เหตุผลครอบคลุมข้อมูลทั้งหมด

เดิมพันของหมิง และสิ่งที่ได้มา

จุดขายของโมเดลจิ๋วนี้ไม่ใช่ความแม่นยำในการรู้จำ — ในตารางของ inclusionAI เอง มันตามหลังรุ่นพี่ที่ใหญ่กว่า 0.34 พอยต์ในภาษาจีน (อัตราความผิดพลาดระดับตัวอักษร 3.79 เทียบกับ 3.45) และตามหลัง 0.89 พอยต์ในภาษาถิ่น (10.29 เทียบกับ 9.40) จุดขายคือเช็กพอยต์เดียวทำการรู้จำ การทำความเข้าใจ การใช้เหตุผล และเสียงพูดในการส่งผ่านไปข้างหน้าครั้งเดียวกัน ครอบหน้าต่างที่ยาวพอจนคำถามอย่าง “ในช่วงสิบนาทีแรกเธอพูดอะไร” เป็นคำถามที่ถามได้

ตัวเลขด้านความสามารถทางเสียงของมันน่านับถือเมื่อเทียบกับขนาด และเป็นเหตุผลที่ควรเลือกใช้มันแทนเครื่องถอดเสียงล้วน: MMAU 75.90, MMAR 67.70, MMSU 73.06, BigBenchAudio 99.20, MuchoMusic 58.07 สำหรับดนตรี ทั้งหมดนี้เป็นการทดสอบที่ผู้ขายเป็นผู้ดำเนินการ โดยมีเครื่องหมายดอกจันกำกับในแถวที่ประเมินเอง และการ์ดระบุว่าโมเดลเปรียบเทียบถูกทำซ้ำภายใต้พรอมป์และการถอดรหัสของ inclusionAI เอง จงอ่านตัวเลขเหล่านี้ในฐานะบรีฟการออกแบบ

สิ่งที่ตารางจะไม่บอกคุณคือใครเป็นคนพูด นั่นคือช่องว่างที่ขีดทั้งห้าระบุไว้ และมันเป็นเรื่องเชิงโครงสร้างมากกว่าจะเป็นเรื่องบังเอิญ โมเดลที่ตอบคำถามเกี่ยวกับไฟล์บันทึกเสียงไม่จำเป็นต้องแบ่งส่วนตามผู้พูดเพื่อตอบคำถามเหล่านั้น ส่วนโมเดลที่สร้างถอดความสำหรับการประชุมจำเป็นต้องมี Ming น่าจะถูกกระตุ้นให้ทำอะไรทำนองการติดป้ายผู้พูดได้ และไฮไลต์บนการ์ดเกี่ยวกับ "multi-speaker recordings" ชี้ว่ามันถูกฝึกมาใกล้กับปัญหานี้ แต่คำว่า "น่าจะ" กำลังทำหน้าที่แทนแถวที่ไม่ได้เผยแพร่ห้าแถว

สองไปป์ไลน์ที่วาดอย่างตรงไปตรงมา

ลองจินตนาการถึงไฟล์บันทึกเสียงความยาวเก้าสิบนาทีเดียวกันที่ถูกส่งผ่านแต่ละตัว

ด้วย VibeVoice-ASR-Streaming 1.5B เสียงจะเข้ามาเป็นชังก์ละประมาณสามวินาที และข้อความจะออกมาในจังหวะเดียวกัน โดยแต่ละส่วนมีผู้พูดกำกับอยู่ คุณสามารถแสดงผลแบบเรียลไทม์ได้ ข้อแลกเปลี่ยนคือทุกการตัดสินใจค่อนข้างเป็นแบบเฉพาะที่: โมเดลมองล่วงหน้าได้ครึ่งวินาทีและมีบริบทเท่าที่มันเก็บไว้ ดังนั้นผู้พูดที่หยุดไปสี่วินาทีอาจกลับมาพร้อมป้ายชื่อที่แตกต่างออกไป และชื่อที่ถูกกล่าวถึงในนาทีที่สองจะกู้คืนได้ผ่านกลไก hotwords ที่คุณต้องจัดหาเองเท่านั้น ความสอดคล้องข้ามชังก์คือสิ่งที่ต้องทดสอบ และเป็นสิ่งที่การ์ดไม่ได้ระบุเป็นตัวเลข

ด้วย Ming-3.0-audio-tiny ไฟล์จะถูกนำเข้ามา ทั้งหมดจะอยู่ในบริบท และคำตอบจะมาถึงเมื่อมันมาถึง ความสอดคล้องข้ามชังก์ไม่ใช่ความเสี่ยง เพราะไม่มีชังก์ — จนถึงขอบหน้าต่าง ข้อเสียคือจะไม่มีอะไรพร้อมใช้จนกว่าโมเดลจะประมวลผลเสร็จ และการจองหน่วยความจำถูกกำหนดขนาดไว้สำหรับหน้าต่างเต็ม: โปรไฟล์ ASR อ้างอิงใช้พื้นที่ 0.92 ของการ์ดด้วยแบตช์ขนาด 32,768 โทเค็น คุณสามารถลด max_model_lenได้; คุณไม่สามารถทำให้มันสตรีมได้ เพราะไม่มีเส้นทางสำหรับสตรีมในรีโพซิทอรี

• รูปแบบความหน่วง — VibeVoice: ต่อเนื่อง ช้ากว่าประมาณ 3 วินาที Ming: ตอบครั้งเดียวตอนท้าย

• การให้เครดิต — VibeVoice: แยกตามแต่ละเซกเมนต์ ตามการออกแบบ. Ming: ยังไม่เผยแพร่.

• บริบท — VibeVoice: หน้าต่างการทำงาน 64K พร้อมทรานสคริปต์ของตัวเอง Ming: 131,072 ตำแหน่ง ซึ่งคิดคร่าว ๆ แล้วประมาณสามชั่วโมงของเสียงจากการคำนวณบนเอนโคเดอร์ หากตัวประมวลผลป้อนสตรีมต่อเนื่องเพียงสตรีมเดียว

• เอาต์พุต — VibeVoice: ข้อความ Ming: ข้อความ หรือข้อความพร้อมเสียงพูดสังเคราะห์ผ่าน Talker แบบเลือกใช้ได้บน GPU ตัวที่สอง

• ฮาร์ดแวร์ — VibeVoice: เช็กพอยต์ขนาด 5.63 GB จึงใช้การ์ดทั่วไปเพียงใบเดียว Ming: Thinker ขนาด 17.74 GB ใช้การ์ดหนึ่งใบสำหรับข้อความ และสองใบสำหรับเสียงพูด

ใบอนุญาตกับเอกสารเป็นสิ่งเดียวกัน และนั่นก็เป็นเรื่องผิดปกติ

ทั้งสองเป็น MIT ทั้งสองเป็นการเปิดตัวแบบเงียบ ๆ ทั้งสองปล่อยน้ำหนักโมเดลออกมาก่อนที่เอกสารจะตามทัน และทั้งสองพึ่งพารีโพซิทอรี GitHub ที่ไม่ได้ตั้งชื่อตามเช็กพอยต์: โปรไฟล์การปรับใช้ของ Ming อยู่ใน inclusionAI/Ming-3.0-audio-flash และคำแนะนำการใช้งานของ VibeVoice อยู่ใน microsoft/VibeVoice ควบคู่ไปกับรุ่นพี่ 7B

ความแตกต่างอยู่ที่สิ่งที่แต่ละรีพอซิทอรีบอกคุณ Microsoft ส่งรายงานทางเทคนิคมา — arXiv 2609.02812 — พร้อมรูปผลลัพธ์ในบัตร ซึ่งเป็นภาพไม่ใช่ตาราง ตัวเลขจึงไม่สามารถดึงออกมาได้ และไม่มีอัตราความผิดพลาดรายภาษาใดระบุไว้ในข้อความ ส่วน inclusionAI ส่งภาพผลการทดสอบมา 3 ภาพ ซึ่งก็เป็นภาพเช่นกัน บวกกับบัตรที่ระบุจุดอ่อนของตัวเองเพียงโดยอ้อม ด้วยการเว้นช่องว่างไว้ ทั้งสองผู้ขายไม่ได้ให้ตัวเลขที่คุณสามารถคัดลอกวางลงในสเปรดชีตได้โดยไม่ต้องพิมพ์ถ่ายเองด้วยมือ

ความไม่สมมาตรประการหนึ่งเป็นสิ่งที่ควรชี้ให้เห็นสำหรับผู้ที่ทำงานด้านการจัดซื้อจัดจ้าง: ที่เก็บ Hugging Face ของ Ming ไม่มีไฟล์ LICENSE มีเพียงลิงก์ในเมทาดาทาของการ์ดที่ชี้ไปยังสัญญาอนุญาตในอีกที่เก็บหนึ่ง การ์ดของ VibeVoice ระบุ MIT ในเมทาดาทา และที่เก็บดังกล่าวมีไฟล์สัญญาอนุญาตอยู่ ข้อกล่าวอ้างทั้งสองเป็นความจริง มีเพียงข้อเดียวเท่านั้นที่อยู่ภายในอาร์ติแฟกต์

อะไรคือเราเตอร์และอะไรที่ไม่ใช่สำหรับที่นี่

OrcaRouter ไม่ได้ให้บริการโมเดลทั้งสองนี้ Ming-3.0-audio-tiny เป็นเช็กพอยต์ และ VibeVoice-ASR-Streaming 1.5B ก็เป็นเช็กพอยต์ ทั้งสองไม่อยู่ในแคตตาล็อกของเรา และไม่มีสิ่งใดในบทความนี้เป็นการเสนอให้โฮสต์โมเดลเหล่านี้ ตำแหน่งของเราเตอร์ในไปป์ไลน์แบบนี้คือปลายน้ำของการถอดเสียงและต้นน้ำของการตัดสินใจ: สรุปสายสนทนา ดึงข้อผูกมัด จัดประเภทว่าช่วงนั้นต้องการคนหรือไม่ แปลส่วนที่ไม่ได้อยู่ในภาษาทำงาน การเรียกเหล่านั้นเป็นข้อความ และปลายทางเดียวสำหรับ โมเดลมากกว่า 200 รายการโดยคิดมาร์กอัป 0% — ราคาตามรายการของผู้ให้บริการถูกส่งผ่านโดยตรง ดังนั้นการเปลี่ยนแปลงราคาจากผู้ขายจะมาถึงฝั่งเราในวันเดียวกัน — ช่วยตัดสัญญาต่อผู้ขายหนึ่งฉบับออกจากการสร้างระบบ การสลับระบบสำรองอัตโนมัติ คือฟีเจอร์เฉพาะที่สำคัญเมื่องานถอดเสียงสองชั่วโมงต้องส่งผลลัพธ์ไปยังที่ที่เชื่อถือได้ตอนตี 2

สิ่งที่เราเตอร์จะไม่ทำคือการประสานป้ายกำกับผู้พูดสองป้ายที่ขัดแย้งกัน หรือตัดสินว่าแถวการแยกผู้พูดที่หายไปของ Ming เป็นจุดอ่อนจริงหรือเป็นเพียงสิ่งที่ยังไม่ได้วัด นั่นเป็นงานที่ต้องใช้เสียงของคุณเอง

การทดสอบที่แยกพวกเขาออกจากกันได้ในบ่ายเดียว

อัดเสียงเป็นเวลายี่สิบนาทีโดยมีสามคน โดยหนึ่งในนั้นพูดแทรกคนอื่นสองครั้ง และอีกคนหนึ่งใช้ไมโครโฟนของแล็ปท็อป นำไฟล์ไปประมวลผลผ่าน VibeVoice-ASR-Streaming 1.5B โดยใส่รายการ hotword ด้วยชื่อทั้งสามคน เพราะนั่นคือกลไกที่โมเดลมีไว้เพื่อการนี้โดยเฉพาะ นำไฟล์เดียวกันไปประมวลผลผ่าน Ming-3.0-audio-tiny โดยใช้พรอมต์ที่ผ่านการตรวจสอบแล้วซึ่งขอให้ระบุป้ายชื่อภาษา ตามด้วยแท็บ แล้วจึงตามด้วยข้อความถอดเสียง — จากนั้นในเทิร์นที่สอง ให้ถามมันเพื่อระบุผู้พูดของแต่ละประโยค

ให้คะแนนสี่อย่าง: โมเดลแรกระบุการเปลี่ยนผู้พูดได้ถูกต้องกี่ครั้ง, มีป้ายกำกับผู้พูดสลับกันกลางไฟล์เสียงหรือไม่, การระบุผู้พูดของโมเดลที่สองมีความสม่ำเสมอตลอดไฟล์หรือไม่ และเอาต์พุตใดที่คุณแก้ไขด้วยมือได้เร็วกว่า ข้อสุดท้ายไม่ใช่ benchmark และจะทำนายประสบการณ์การใช้งานจริงของคุณได้ดีกว่าตัวเลขจากผู้ขายทั้งสองราย

และโปรดคำนึงถึงเครื่องหมายขีดไว้ด้วยขณะทำสิ่งนี้ ผู้ขายที่เผยแพร่ตารางภาษาถิ่นถึงทศนิยมสองตำแหน่ง แต่ปล่อยช่องการแยกผู้พูดไว้ว่างห้าช่อง ได้บอกอะไรบางอย่างที่เจาะจงแก่คุณเกี่ยวกับจุดที่ความมั่นใจของตนสิ้นสุดลง ฝ่ายไมโครซอฟต์นั้นได้เผยแพร่ตัวเลขแทนตาราง และปล่อยให้คุณตีความภาพเอง ทั้งสองฝ่ายไม่ได้ให้ตัวเลขที่คนนอกตรวจสอบแล้วแก่คุณ

ที่ซึ่งแต่ละสิ่งควรอยู่จริง ๆ

คำบรรยายแบบสด การเฝ้าติดตามศูนย์รับสาย ผู้ช่วยประชุมที่ต้องมีชื่อกำกับแต่ละบรรทัด: VibeVoice-ASR-Streaming 1.5B ถูกสร้างมาเพื่อรูปแบบนั้น และด้วยขนาด 5.63 GB มันทำงานบนฮาร์ดแวร์ที่คุณอาจมีอยู่แล้ว การตรวจสอบด้านการปฏิบัติตามข้อกำหนดของคลังเก็บข้อมูล “ค้นหาทุกการกล่าวถึงข้อตกลงยุติคดีในบันทึกทั้งสี่สิบรายการนี้” อะไรก็ตามที่คำถามมาหลังเสียงมากกว่าระหว่างเสียง: หน้าต่างขนาดใหญ่เพียงหน้าต่างเดียวและคะแนนความเข้าใจของ Ming-3.0-audio-tiny คือตัวเลือกที่เหมาะสมกว่า และแถว diarization ที่หายไปก็ไม่สำคัญอีกต่อไปหากไม่มีใครถามว่าใครเป็นคนพูด

การผิดพลาดคือการเลือก Ming สำหรับงานสตรีมมิ่งเพราะ 131,072 เป็นสองเท่าของ 64,000 หรือเลือก VibeVoice สำหรับงานด้านการให้เหตุผลเพราะ 1.5B ฟังดูถูกกว่ากว่า 9.3B ตัวเลขทั้งสองอธิบายสิ่งอื่นที่ไม่ใช่สิ่งที่ประโยคสมมติไว้ ซึ่งเป็นสิ่งที่การเปรียบเทียบนี้ยืนยันได้อย่างน่าเชื่อถือที่สุด