Ming-3.0-audio-tiny vs Voxtral 4B TTS: ตัวหนึ่งเป็นผู้ฟังที่มีเสียงแนบมาด้วย อีกตัวไม่ได้ขายอย่างอื่นเลย

หากคุณต้องการสร้างเสียงพูดและไม่มีอย่างอื่น การจับคู่นี้ควรใช้เวลาประมาณสามสิบวินาที Voxtral 4B T​TSเป็นโมเดลแปลงข้อความเป็นเสียงพูด: ใส่ข้อความเข้า ได้เสียง 24 kHz ออกมา มีเสียงพรีเซ็ตยี่สิบเสียง เก้าภาษา ตารางเวลาแฝงที่เผยแพร่แล้ว และข้อกำหนดสัญญาอนุญาตที่ห้ามคุณขายผลลัพธ์ Ming-3.0-audio-tinyเป็นโมเดลภาษา-เสียงที่บังเอิญมีตัวสร้างเสียงพูดรวมอยู่ด้วย — Talker ขนาด 1.4 GB ที่ถูกประกอบเข้ากับ Thinker ขนาด 17.74 GB พร้อมเสียงที่มีชื่อสามเสียงและเส้นทางการโคลนเสียง อยู่ในรีโพซิทอรีที่ส่วนการประเมินไม่เคยวัดการสังเคราะห์เสียงเลยแม้แต่ครั้งเดียว หากเสียงพูดคือผลิตภัณฑ์ การเปรียบเทียบนี้ก็จบตั้งแต่ยังไม่เริ่ม ความล้มเหลวของ AI และเหตุการณ์ของเอเจนต์ที่มีการบันทึกไว้เบื้องหลังการเปิดตัวลักษณะนี้ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และธงข้อโต้แย้งของตัวเอง

คำถามเวอร์ชันที่น่าสนใจคืออีกข้อหนึ่ง: คุณกำลังสร้างบางสิ่งบางอย่างที่ต้องเข้าใจเสียงและพูดตอบกลับ และคุณกำลังตัดสินใจว่าจะซื้อโมเดลเดียวที่ทำได้ทั้งสองอย่าง หรือจะต่อตัวรับฟังเข้ากับเสียงเฉพาะทาง นั่นคือจุดที่สามสิบวินาทีกลายเป็นเวลาบ่ายทั้งบ่าย เพราะสองตัวเลือกนั้นล้มเหลวคนละจุด และมีเพียงตัวเลือกเดียวเท่านั้นที่มีตัวเลขให้คุณวางแผนรับมือได้

ใบอนุญาตเป็นตัวชี้ขาดมากกว่าค่าเบนช์มาร์ก

เริ่มจากสิ่งที่ไม่ว่าการประเมินมากแค่ไหนก็แก้ไม่ได้ Voxtral 4B TTS เป็น CC BY-NC 4.0 — ไม่ใช่เชิงพาณิชย์ — ซึ่งสืบทอดมาจากชุดข้อมูลเสียงอ้างอิงที่โมเดลถูกสร้างขึ้นมาด้วย: EARS, CML-TTS, IndicVoices-R และชุดเสียงธรรมชาติภาษาอาหรับ Mistral ระบุไว้อย่างชัดเจนบนการ์ด และชี้ให้ผู้ใช้เชิงพาณิชย์ไปที่ API ของตน ดังนั้นน้ำหนักโมเดลจึงเปิดให้ใช้สำหรับการวิจัยและการใช้งานส่วนบุคคล ส่วนเส้นทางเชิงพาณิชย์เป็นการคิดอัตราค่าบริการมากกว่าการดาวน์โหลด

Ming-3.0-audio-tiny ระบุว่าเป็น MIT ใน metadata ของการ์ด และใน LICENSE ของ repository GitHub ที่การ์ดนั้นชี้ไป ควรทราบไว้ว่า repository บน Hugging Face เองไม่มีไฟล์ LICENSE และเสียงอ้างอิงสองเสียงที่มาพร้อมกันก็ไม่มีข้อกำหนดแยกต่างหากของตัวเอง MIT เป็นข้ออ้างเชิงอนุญาตที่ผ่อนปรนจริงในกรณีนี้ แต่เป็นข้ออ้างใน metadata มากกว่าเป็นไฟล์ในอาร์ติแฟกต์ และฝ่ายจัดซื้อจะสังเกตเห็น

• การใช้งานเชิงพาณิชย์ — Ming: ได้ ภายใต้ MIT ทั้งน้ำหนักโมเดลและโค้ด Voxtral: ใช้ไม่ได้จากน้ำหนักโมเดล โดย API ของผู้ให้บริการเป็นช่องทางที่ได้รับอนุญาต

• เสียงที่รวมอยู่ — Ming: มีสามเสียงที่ตั้งชื่อไว้ โดยสองเสียงจัดส่งเป็นไฟล์ WAV อ้างอิงพร้อมข้อความถอดเสียง Voxtral: มีพรีเซ็ต 20 แบบ

• ภาษา — Ming: จีนและอังกฤษสำหรับโมเดลโดยรวม โดยไม่มีรายการภาษาของ Talker แยกต่างหาก Voxtral: อังกฤษ ฝรั่งเศส สเปน เยอรมัน อิตาลี โปรตุเกส ดัตช์ อาหรับ และฮินดี

• เอาต์พุต — Ming: สิ่งใดก็ตามที่ Talker สร้างขึ้น; การ์ดไม่ได้ระบุทั้งอัตราการสุ่มตัวอย่างและคอนเทนเนอร์ Voxtral: 24 kHz, WAV, PCM, FLAC, MP3, AAC หรือ Opus

• สิ่งที่คุณรัน — Ming: Thinker ขนาด 17.74 GB พร้อม Talker ขนาด 1.4 GB และ VAE ขนาด 1.6 GB บนอุปกรณ์ที่สอง ส่วน Voxtral: checkpoint แบบ BF16 หนึ่งรายการบน GPU เดียวที่มีอย่างน้อย 16 GB

• คุณภาพเสียงพูดที่เผยแพร่ — Ming: ไม่มี Voxtral: ก็ไม่มีเช่นกัน แต่มีตารางเวลาแฝงและทรูพุตแทน ซึ่งดีกว่าการไม่มีอะไรเลย

แถวสุดท้ายนั้นเป็นบทสรุปที่ตรงไปตรงมาของฐานหลักฐานของการเปรียบเทียบนี้ ผู้จำหน่ายทั้งสองรายยังไม่ได้เผยแพร่คะแนนความเป็นธรรมชาติ ตัวเลขความคล้ายคลึงของผู้พูด หรืออัตราความผิดพลาดระดับคำบนคำพูดสังเคราะห์ Mistral เผยแพร่แล้วว่าเร็วเพียงใด ส่วน inclusionAI เผยแพร่แล้วว่าโมเดลฟังได้ดีเพียงใด ยังไม่มีใครเผยแพร่ว่าทั้งสองนั้นฟังดูดีเพียงใด

สิ่งที่ตัวเลขของ Mistral บอกได้จริง ๆ

ตาราง Voxtral เป็นเบนช์มาร์กด้านการให้บริการ (serving benchmark) และการอ่านตารางนี้อย่างถูกต้องเป็นสิ่งสำคัญ วัดผลบน NVIDIA H200 เครื่องเดียวด้วย vLLM-Omni 0.18.0 โดยใช้อินพุตความยาว 500 อักขระและคลิปอ้างอิงความยาวสิบวินาที:

• การทำงานพร้อมกัน 1 — ความหน่วง 70 มิลลิวินาที, ค่าปัจจัยเรียลไทม์ 0.103, ประมาณ 119 ตัวอักษรต่อวินาทีต่อ GPU

• การทำงานพร้อมกัน 16 — 331 มิลลิวินาที, RTF 0.237, ประมาณ 879 ตัวอักษรต่อวินาที

{{1}}การทำงานพร้อมกัน 32{{/1}} — 552 มิลลิวินาที, RTF 0.302, ประมาณ 1,431 ตัวอักษรต่อวินาที

มีสองประเด็นตามมา ประการแรก RTF เพิ่มขึ้นตามระดับการทำงานพร้อมกัน — จาก 0.103 เป็น 0.302 — ดังนั้นผลตอบแทนด้านทรูพุตจากการประมวลผลเป็นชุดจึงมีจริงแต่ไม่เป็นเชิงเส้น; คุณได้อักขระประมาณสิบสองเท่าโดยแลกกับปัจจัยเวลาจริงราวแปดเท่า ประการที่สอง 70 มิลลิวินาทีถึงเสียงแรกที่ระดับการทำงานพร้อมกัน 1 คือตัวเลขที่ชี้ขาดว่าเอเจนต์เสียงจะรู้สึกมีชีวิตหรือไม่ และเป็นตัวเลขที่ Ming-3.0-audio-tiny ไม่มี ไม่ใช่ตัวเลขที่แย่กว่า แต่ไม่มีเลย

Mistral ระบุว่าทั้งหมดนี้ยังไม่ได้ถูกทำซ้ำและดำเนินการโดยผู้ขาย ซึ่งก็เป็นเช่นนั้น แต่อย่างน้อยมันก็เป็นข้อกล่าวอ้างที่มีวิธีการแนบมาด้วย: ระบุฮาร์ดแวร์ ระบุเวอร์ชันรันไทม์ ระบุความยาวอินพุต ระบุความยาวอ้างอิง คุณสามารถสร้างฮาร์เนสขึ้นมาใหม่ได้

สิ่งที่เส้นทางการพูดของหมิงไม่สามารถตอบได้

เอาต์พุตเสียงพูดของโมเดลขนาดเล็กถูกอธิบายไว้ในโมเดลการ์ดด้วยสามประโยค: เสียงที่มีมาในตัวหรือเสียงอ้างอิง, เสียงที่มีชื่อสามเสียง, และการโคลนจากคลิปอ้างอิงพร้อมข้อความถอดเสียงที่ตรงกันทุกตัวอักษร คู่มือการดีพลอยเพิ่มรายละเอียดด้านการปฏิบัติงาน — Talker ทำงานเป็นสเตจที่สองที่ 0.18 ของวินาทีในการ์ด ถูกจำกัดไว้ที่หนึ่งโทเค็นเอาต์พุตด้วยอุณหภูมิ 0.0 เนื่องจากไม่ได้สร้างข้อความ

ไม่มีที่ไหนในรีโพซิทอรีที่ระบุอัตราการสุ่มตัวอย่างสำหรับเอาต์พุตที่สังเคราะห์ขึ้น การวัดความเป็นธรรมชาติ การวัดความคล้ายคลึงกับคลิปอ้างอิง หรือข้อความเกี่ยวกับว่าเสียงทั้งสามเป็นเสียงเดียวกันในรีจิสเตอร์ที่ต่างกันหรือเป็นผู้พูดที่แตกต่างกันจริง ๆ ภาพการประเมินครอบคลุมการรู้จำ ความฉลาดทางเสียง และข้อความ การสร้างเสียงพูดเป็นความสามารถเดียวที่ผู้จำหน่ายโฆษณาในไฮไลต์และไม่ได้ประเมินเลย

นั่นไม่ใช่เรื่องอื้อฉาว แต่เป็นข้อจำกัดด้านการวางแผน ด้วย Voxtral คุณสามารถกำหนดขนาดการติดตั้งใช้งานได้ก่อนจะได้ยินเสียง: การ์ดหนึ่งใบ 16 GB 119 ตัวอักษรต่อวินาทีที่การทำงานพร้อมกันระดับ 1 และตารางอัตราค่าบริการสำหรับเส้นทางเชิงพาณิชย์ ด้วย Ming คุณกำหนดขนาดฮาร์ดแวร์ (การ์ดสองใบ โดยใบที่สองมีอัตราการใช้งาน 0.18) แล้วจึงรู้เรื่องเสียงด้วยการสร้างบางอย่างขึ้นมา

เมื่อโมเดลแบบรวมเป็นคำตอบที่ถูกต้องอยู่แล้ว

มีเหตุผลที่แท้จริงสำหรับ Talker และไม่ใช่แค่ "TTS ที่ถูกกว่า" แต่เป็นเพราะโมเดลเดียวกันได้ยินเสียงนั้นและตอนนี้กำลังพูดถึงมัน Ming-3.0-audio-tiny รับเสียงพร้อมคำสั่งที่เป็นข้อความ แล้วส่งคืนข้อความ หรือข้อความพร้อมเสียงพูด คำถามเกี่ยวกับไฟล์บันทึกเสียงที่ตอบออกมาด้วยเสียงในครั้งเดียว โดยไม่มีการแปลงถอดความเป็นข้อความแล้วส่งต่อไปยังโมเดลที่สอง ไม่มีความล้มเหลวแบบ "ASR พูดว่า 'their' แต่ TTS อ่านผิด" เพราะไม่มีโมเดลที่สองและไม่มีข้อความตัวกลางให้เสียหาย

เรื่องนี้สำคัญสำหรับการตอบคำถามด้วยเสียง สำหรับผู้ช่วยที่คอยฟังในห้องและตอบกลับ และสำหรับทุกกรณีที่คำตอบเป็นประโยคเกี่ยวกับสิ่งที่เพิ่งได้ยิน แต่ไม่สำคัญสำหรับการบรรยาย หนังสือเสียง การพากย์เสียง หรือภาระงานใด ๆ ที่ข้อความมาจากที่อื่น — และนั่นคือภาระงานที่ Voxtral ถูกสร้างมาเพื่อรองรับโดยเฉพาะ ด้วยเสียง 20 แบบและ 9 ภาษา เทียบกับ 3 เสียงและ 2 ภาษาของ Ming

• ความต่อเนื่องของโมเดลเดียวกัน — Ming: ใช่ ผ่านไปข้างหน้าครั้งเดียวจากเสียงไปสู่คำพูด ส่วน Voxtral: รับข้อความเข้า ดังนั้นครึ่งที่เป็นการฟังจึงต้องมาจากที่อื่น

• ความหลากหลายของเสียง — Ming: เสียงที่ตั้งชื่อไว้สามเสียงพร้อมการโคลนเสียง Voxtral: พรีเซ็ตยี่สิบแบบพร้อมการปรับเสียงตามเสียงอ้างอิง

• สตรีมมิ่ง — Ming: ไม่มีให้บริการ; Talker เป็นเวที ไม่ใช่สตรีม Voxtral: การ์ดโฆษณาการอนุมานแบบสตรีมมิ่งและแบบแบตช์ และเดโม API ของผู้จำหน่ายเองคือ implementation อ้างอิง

• การพูดหลายภาษา — Ming: จีนและอังกฤษ Voxtral: เก้าภาษา โดยระบุภาษาถิ่น

• รูปแบบต้นทุน — Ming: ฮาร์ดแวร์คงที่ การ์ดสองใบ ไม่มีมิเตอร์คิดตามจำนวนอักขระ Voxtral: น้ำหนักโมเดลฟรีสำหรับการใช้งานที่ไม่ใช่เชิงพาณิชย์ ส่วน API คิดราคาตามจำนวนอักขระสำหรับกรณีอื่นทั้งหมด

สิ่งที่เราเตอร์เพิ่มให้กับผลิตภัณฑ์เสียง และสิ่งที่มันไม่ได้เพิ่ม

OrcaRouter ไม่ได้ให้บริการทั้งสองรายการนี้ Ming-3.0-audio-tiny เป็นเช็กพอยต์ที่คุณต้องรันเอง และ Voxtral 4B T​TS เข้าถึงได้ผ่าน API ของ Mistral เอง ทั้งสองตัวไม่อยู่ในแคตตาล็อกของเรา และบทความนี้ไม่ใช่ข้อเสนอที่จะโฮสต์ตัวใดตัวหนึ่ง ตำแหน่งของเราเตอร์ในผลิตภัณฑ์เสียงคือข้อความที่ล้อมรอบเสียง ได้แก่ การสร้างสคริปต์ การแปลเป็นเก้าภาษาที่ Voxtral รองรับ การเขียนสรุปสิ่งที่ผู้โทรพูด และการตัดสินว่าช่วงใดช่วงหนึ่งต้องใช้คน สิ่งเหล่านี้คือการเรียกใช้ข้อความธรรมดา — โมเดลข้อความมากกว่า 200 โมเดลภายใต้คีย์เดียว ในราคาตามรายการของผู้ให้บริการโดยบวกมาร์กอัป 0% พร้อมกับ การสลับไปใช้ระบบสำรองอัตโนมัติ เพื่อให้ชุดคลิปหนึ่งหมื่นชิ้นไม่หยุดชะงักเพราะผู้ให้บริการต้นทางรายหนึ่งมีวันที่แย่

นั่นคือการประหยัดจริงในไปป์ไลน์การพากย์เสียง และเป็นเพียงข้อผิดพลาดจากการปัดเศษในเดโมแบบโมเดลเดียว อีกทั้งยังไม่ได้แตะต้องคำถามที่บทความนี้กำลังพูดถึง ซึ่งก็คือเสียงนั้นดีหรือไม่

จะเลือกยังไงโดยไม่ต้องฟังทั้งสองอันก่อน

หากผลิตภัณฑ์เป็นเรื่องเสียงพูด ให้เลือก Voxtral และจัดงบสำหรับค่าลิขสิทธิ์: รันเวตแบบไม่เชิงพาณิชย์เพื่อประเมิน แล้วย้ายไปใช้ API สำหรับทุกอย่างที่คุณปล่อยออกจำหน่าย ในอัตราต่ออักขระปัจจุบัน whatever? no. Need Thai only. Don't include English "whatever". Use "ไม่ว่าอัตราจะเป็นเท่าใดในปัจจุบัน". Also "weights" maybe keep? Thai "เวต" unclear. Use "น้ำหนักโมเดลแบบไม่เชิงพาณิชย์" maybe. Good. Final only Thai.หากผลิตภัณฑ์เป็นเรื่องเสียงพูด ให้เลือก Voxtral และจัดงบสำหรับค่าลิขสิทธิ์: รันน้ำหนักโมเดลแบบไม่เชิงพาณิชย์เพื่อประเมิน แล้วย้ายไปใช้ API สำหรับทุกอย่างที่คุณปล่อยออกจำหน่าย ในอัตราต่ออักขระปัจจุบันไม่ว่าจะเป็นเท่าใด คุณจะได้ตารางความหน่วง เสียง 20 แบบ เก้าภาษา และรันไทม์ที่ผ่านการทดสอบกับ vLLM-Omni แล้ว คุณต้องสละสิทธิ์ในการโฮสต์เองเชิงพาณิชย์ ซึ่งสำหรับหลายทีมนี่คือการตัดสินใจที่แท้จริง

ถ้าผลิตภัณฑ์คือระบบทำความเข้าใจที่พูดได้เป็นครั้งคราว ให้เลือก Ming-3.0-audio-tiny จัดสรรงบสำหรับสอง GPU และถือว่า Talker เป็นฟีเจอร์ที่ยังไม่ได้วัดผล — สร้าง fallback ก่อน สร้างยี่สิบประโยคครอบคลุมทั้งสามเสียง ฟัง และเก็บตัวเลือกในการสลับไปใช้โมเดล TTS เฉพาะทางในภายหลังไว้ สถาปัตยกรรมรองรับการสลับนั้นได้อย่างเรียบร้อย เพราะ Thinker คืนข้อความอยู่แล้ว; Talker เป็นส่วนเสริม ไม่ใช่แกนหลัก

และในทั้งสองกรณี ให้บันทึกสิ่งที่คุณวัดไว้ ผู้ขายทั้งสองรายยังไม่ได้ทำเช่นนั้น และทีมแรกที่เผยแพร่ตัวเลขความเป็นธรรมชาติหรือความคล้ายคลึงสำหรับโมเดลใดโมเดลหนึ่งในสองโมเดลนี้ จะเป็นการช่วยวงการนี้ไว้อย่างมาก รวมถึงตัวผู้ขายเองด้วย

คำตอบที่สามสิบสอง ฉบับแก้ไข

ฉบับย่อที่อยู่ด้านบนของบทความนี้บอกว่าการเปรียบเทียบจบลงในสามสิบวินาที มันจบในสามสิบวินาทีถ้าเสียงพูดคือผลิตภัณฑ์ของคุณและคุณยินดีจ่ายค่าลิขสิทธิ์ มันใช้เวลานานกว่าถ้าคุณกำลังสร้างบางสิ่งที่ไม่เพียงฟังแต่ยังพูดตอบด้วย เพราะสองตัวเลือกนี้ไม่ใช่สิ่งทดแทนกัน ตัวหนึ่งคือเสียงที่ไม่มีหู อีกตัวคือหูที่มีเสียงซึ่งไม่เคยถูกประเมินคุณภาพ สามสิบวินาทีนั้นพาคุณไปถึงคำถาม ส่วนที่เหลือของบทความคือส่วนที่คุณจะได้รู้ว่าจริง ๆ แล้วคุณต้องการสิ่งไหน