Phonon กับ Whisper Large v3 Turbo: สองครึ่งของวงจรเสียงแบบออฟไลน์

การเปรียบเทียบ Phonon 31Mกับ Whisper Large v3 Turboถือเป็นความผิดพลาดเชิงหมวดหมู่ และเป็นความผิดพลาดเชิงหมวดหมู่ที่มีประโยชน์ที่สุดในวิศวกรรมเสียงในขณะนี้ Phonon 31M ซึ่งเปิดตัวโดย Gradium เมื่อวันที่ 20 ตุลาคม 2026 จะแปลงข้อความเป็นเสียง Whisper Large v3 Turbo ซึ่งเปิดตัวโดย OpenAI เมื่อวันที่ 1 ตุลาคม 2024 จะแปลงเสียงเป็นข้อความ ทั้งสองไม่ได้แข่งขันกัน พวกมันคือสองปลายทางของวงจรเดียวกัน และทั้งคู่มีขนาดเล็กพอและเร็วพอที่จะรันบนฮาร์ดแวร์ที่คุณเป็นเจ้าของ

มีเหตุผลประการที่สองที่การจับคู่นี้ทำให้ผู้คนสับสน ทั้งสองเผยแพร่ตัวเลขที่เรียกว่า WER และตัวเลขทั้งสองมีความหมายตรงกันข้าม สำหรับ Whisper อัตราความผิดพลาดระดับคำ (word error rate) วัดว่าการถอดความผิดบ่อยเพียงใด สำหรับ Phonon ตัวเลขนี้วัดว่าผู้ถอดความได้ยินคำพูดที่โมเดลสร้างขึ้นผิดบ่อยเพียงใด ตัวเลขที่ต่ำกว่าดีกว่าในทั้งสองกรณี แต่ไม่ใช่การวัดเดียวกัน และการนำตัวเลขเหล่านี้มาใส่ในคอลัมน์เดียวกันคือสาเหตุที่ทำให้เกิดการเปรียบเทียบที่ผิดพลาด

คนหนึ่งฟัง อีกคนหนึ่งพูด

Whisper Large v3 Turbo เป็นโมเดลรู้จำเสียงพูด โดยคง encoder แบบเต็มของ Whisper large-v3 ไว้ และลดขนาด decoder จาก 32 เลเยอร์เหลือสี่เลเยอร์ ทำให้มีพารามิเตอร์ 809 ล้านตัวแทนที่จะเป็น 1.55 พันล้านตัว รองรับ 99 ภาษา ตรวจจับภาษาโดยอัตโนมัติ และไม่ได้ฝึกมาเพื่อการแปล เอกสารของ OpenAI ระบุว่าโมเดลนี้เร็วกว่าโมเดล large ประมาณแปดเท่าโดยแลกกับความแม่นยำที่ลดลงเล็กน้อย บริษัทไม่ได้เผยแพร่ตัวคูณที่แน่ชัดบน model card ดังนั้นตัวเลขความเร็วที่ระบุแน่นอนใด ๆ จึงมาจากการทดสอบของบุคคลที่สาม

Phonon 31M เป็นโมเดลสังเคราะห์เสียงพูด รับข้อความและเสียงพูด แล้วสร้างเสียงโมโน 24 kHz ผ่านทรานส์ฟอร์เมอร์แบบ flow-matching บน Mimi latents มีพารามิเตอร์ 31 ล้านตัว ไม่รวมโทเคนไนเซอร์ จัดจำหน่ายเป็นไฟล์ q8 GGUF ขนาด 64.5 MB และใช้สัญญาอนุญาต Apache 2.0 ทั้งนี้ ไม่มีความสามารถในการฟังเลย — ไม่สามารถถอดเสียงเป็นข้อความ ระบุผู้พูด หรือตรวจจับภาษาได้

สิ่งเดียวที่ทั้งสองมีร่วมกันคือเป้าหมายด้านการออกแบบ: ทั้งคู่ถูกสร้างมาให้ทำงานได้โดยไม่ต้องใช้ศูนย์ข้อมูล Whisper Turbo เป็นสมาชิกที่เร็วและต้นทุนต่ำของตระกูลหนึ่งซึ่งกลายเป็นฐานอ้างอิง ASR แบบโอเพนซอร์สที่เป็นค่าเริ่มต้นไปแล้ว Phonon เป็นความพยายามที่จะทำให้ครึ่งที่เป็นการสังเคราะห์มีต้นทุนต่ำพอ ๆ กัน

ตัวอักษรสามตัวเดียวกัน แต่เป็นการวัดที่แตกต่างกันสองแบบ

Whisper Large v3 Turbo รายงานค่า WER เฉลี่ยที่ 7.83 บน English Open ASR Leaderboard เทียบกับ 7.44 ของ large-v3 ตัวเต็ม บน LibriSpeech test-clean ตัวเลขอยู่ที่ประมาณ 2.0% ตัวเลขเหล่านี้แสดงถึงความถี่ที่โมเดลเขียนคำผิดเมื่อได้ยินเสียงพูดที่ชัดเจน

Phonon 31M รายงาน 0.51% บน Seed-TTS และ 1.5% บนชุดที่ยากกว่าใน model card ของมัน หรือ 1.70% บนชุดที่ยากเดียวกันในบล็อกเปิดตัว ตัวเลขเหล่านี้อธิบายว่าบ่อยแค่ไหนที่ whisper-large-v3 เขียนคำผิดเมื่อได้ยินเอาต์พุตของ Phonon สังเกตว่าตัวให้คะแนนคือ Whisper เอง ระเบียบวิธีของ Gradium เป็นวงจรในแบบที่หลีกเลี่ยงไม่ได้: ในการวัดโมเดล TTS คุณต้องมีโมเดล ASR และอัตราความผิดพลาดของโมเดล ASR เองกำหนดขีดขั้นต่ำว่าผลลัพธ์ TTS จะดูดีได้เพียงใด

นั่นคือเหตุผลว่าทำไม WER ของ TTS ที่ 0.5% กับ WER ของ ASR ที่ 7.8% จึงเปรียบเทียบกันไม่ได้ และทำไม WER ของ TTS ที่ต่ำกว่าราว 1% ควรตีความว่า "ตัวถอดเสียงไม่มีปัญหา" ไม่ใช่ "เสียงพูดเกือบสมบูรณ์แบบ" ผู้ฟังที่เป็นมนุษย์กับตัวให้คะแนนอัตโนมัติเห็นไม่ตรงกัน โดยเฉพาะในเรื่องสัมพันธสารเสียง (prosody) ซึ่ง WER ไม่ได้วัดเลย

• งาน — แปลงข้อความเป็นเสียงสำหรับ Phonon 31M; แปลงเสียงเป็นข้อความสำหรับ Whisper Large v3 Turbo

• พารามิเตอร์ — 31M โดยไม่รวมโทเคนไนเซอร์สำหรับ Phonon 31M; 809M สำหรับ Whisper Large v3 Turbo

• ภาษา — เฉพาะภาษาอังกฤษสำหรับ Phonon 31M; 99 ภาษาสำหรับ Whisper Large v3 Turbo

• เอาต์พุต — ออดิโอโมโน 24 kHz สำหรับ Phonon 31M; ข้อความพร้อมการประทับเวลาสำหรับ Whisper Large v3 Turbo

• ความแม่นยำตามที่รายงาน — WER ของ Seed-TTS อยู่ที่ 0.51% สำหรับ Phonon 31M ซึ่งวัดโดย Whisper; ค่าเฉลี่ย WER ภาษาอังกฤษ 7.83 สำหรับ Whisper Large v3 Turbo บน Open ASR Leaderboard

• สัญญาอนุญาต — Apache 2.0 สำหรับ Phonon 31M; MIT สำหรับ Whisper Large v3 Turbo

การกำหนดขนาดของลูปเสียงแบบออฟไลน์

ถ้าเป้าหมายคือผู้ช่วยเสียงที่ทำงานได้โดยไม่ต้องเชื่อมต่อเครือข่าย รายการองค์ประกอบคือสามโมเดล ไม่ใช่สองโมเดล ได้แก่ การรู้จำเสียง การสร้างภาษา และการสังเคราะห์เสียง

Whisper Large v3 Turbo มีพารามิเตอร์ 809 ล้านตัว และมีน้ำหนักประมาณ 1.6 GB ที่ความแม่นยำ 16 บิต การประมวลผลด้วย GPU มักจะจองหน่วยความจำใช้งานหลายกิกะไบต์สำหรับแอ็กติเวชันและการทำแบตช์ ส่วนบิลด์ GGUF แบบควอนไทซ์จะลดขนาดพื้นที่ลงได้อีกโดยแลกกับความแม่นยำที่ลดลงเล็กน้อย ในรูปแบบ Turbo นี้ไม่ใช่โมเดลระดับที่รันบนโทรศัพท์ได้ แม้ว่าตัวแปร Whisper รุ่นเล็กกว่าและเวอร์ชันกลั่นจะสามารถทำได้

Phonon 31M มีขนาด 64.5 MB ซึ่งคิดเป็นประมาณหนึ่งในยี่สิบห้าของไฟล์น้ำหนักของ Whisper Turbo และมันทำงานบนคอร์ CPU, Neural Engine ของ iPhone หรือ Raspberry Pi

โมเดลภาษาในส่วนกลางคือตัวแปร โมเดล instruct ขนาด 1B ถึง 4B ที่ควอนไทซ์เป็นสี่บิตจะใช้พื้นที่เพียงสองสามกิกะไบต์ และเป็นตัวเลือกปกติสำหรับผู้ช่วยแบบออฟไลน์ ลูปทั้งหมด — Whisper Turbo, โมเดล instruct ขนาดเล็ก, Phonon — อยู่ในช่วงที่แล็ปท็อปหรือโทรศัพท์ระดับไฮเอนด์รองรับได้ โดยมี ASR เป็นองค์ประกอบที่หนักที่สุด

ความไม่สมมาตรนั้นคือข้อค้นพบเชิงปฏิบัตินั่นเอง ครึ่งหนึ่งของวงจรที่ผู้คนกังวล — การสังเคราะห์ ซึ่งเป็นส่วนที่ต้องฟังดูเป็นมนุษย์ — ตอนนี้กลายเป็นครึ่งที่ต้นทุนถูกแล้ว ส่วนการรู้จำต่างหากคือครึ่งที่ต้นทุนแพง

งบความหน่วง

ตัวเลขจากผู้ขายของ Phonon ระบุว่าเสียงแรกออกที่ 5 ถึง 7 มิลลิวินาทีบน MacBook Air M5 และ 9 มิลลิวินาทีบน iPhone 16 Pro โดยมี吞吐量ระหว่าง 11.6 ถึง 41 เท่าของเวลาจริง ขึ้นอยู่กับว่าเราอ่านเอกสารฉบับใดของ Gradium ความเร็วของ Whisper Turbo ขึ้นอยู่กับฮาร์ดแวร์และแบ็กเอนด์เป็นอย่างมาก โดย OpenAI อธิบายว่ามันเร็วกว่า large-v3 ประมาณแปดเท่า และการทดสอบประสิทธิภาพจากชุมชนด้วยบิลด์แบบควอนไทซ์รายงานว่าทำได้หลายสิบเท่าของเวลาจริงบน Apple silicon และมีตัวเลขที่ช้ากว่ามากบน CPU

ในลูปการสนทนา ขั้นตอนการรู้จำเสียงเป็นปัจจัยหลัก การพูดความยาวสามวินาทีใช้เวลาถอดเสียงไม่กี่ร้อยมิลลิวินาทีบน GPU ของแล็ปท็อป และใกล้เคียงเวลาจริงบน CPU สมรรถนะต่ำ เมื่อเทียบกันแล้ว ขั้นตอนการสังเคราะห์เสียงแทบจะเกิดขึ้นทันที ทีมที่ปรับแต่ง TTS เป็นอันดับแรกกำลังปรับแต่งผิดจุด

ความครอบคลุมของภาษาถือเป็นข้อจำกัดที่เข้มงวด

Whisper รองรับ 99 ภาษา ส่วน Phonon 31M รองรับเพียงภาษาเดียว และการ์ดของ Gradium เตือนว่าภาษาอื่นจะออกเสียงผิด ดังนั้นจึงไม่สามารถสร้างผู้ช่วยเสียงหลายภาษาจากคู่นี้ได้: การรู้จำเสียงทำงานในภาษาญี่ปุ่น แต่การสังเคราะห์เสียงไม่ทำงาน

คำตอบของ Gradium คือตระกูล Phonon 40M ซึ่งรองรับภาษาอังกฤษ ฝรั่งเศส เยอรมัน สเปน และโปรตุเกส นั่นคือห้าภาษา ไม่ใช่ 99 ภาษา และเช็กพอยต์ 40M มีสัญญาอนุญาต CC BY-NC 4.0 — ใช้ในผลิตภัณฑ์เชิงพาณิชย์ไม่ได้หากไม่มีข้อตกลงแยกต่างหาก ช่องว่างด้านหลายภาษาระหว่าง ASR แบบเปิดและ TTS แบบเปิดเป็นหนึ่งในช่องว่างที่กว้างที่สุดในสแต็ก และไม่มีอะไรที่เผยแพร่ในเดือนนี้ที่ปิดช่องว่างนี้ได้

จุดที่ทั้งสองมาบรรจบกันในผลิตภัณฑ์จริง

แอปพลิเคชันที่เหมาะโดยธรรมชาติคือเครื่องมือถอดเสียงและเล่นเสียงกลับ: อัดเสียงการประชุมหรือบันทึกเสียงพูด จากนั้นถอดเสียงด้วย Whisper แล้วอ่านสรุปออกเสียงดังด้วย Phonon ทั้งสองทำงานภายในเครื่อง ทั้งสองมีสัญญาอนุญาตแบบเปิดกว้าง และทั้งคู่ไม่ส่งเสียงไปยังบุคคลที่สาม เครื่องมือเขียนตามคำบอกทางการแพทย์ เครื่องบันทึกภาคสนาม แอปเพื่อการเข้าถึงสำหรับผู้ใช้ที่หูหนวกและมีปัญหาทางการได้ยิน หรือของเล่นเรียนภาษาระบบออฟไลน์ ล้วนเข้ากับรูปแบบเดียวกัน

แอปพลิเคชันที่สองคือเอเจนต์เสียงที่มีรอบแรกทำงานในเครื่องและมีตัวสำรองบนคลาวด์ Whisper ถอดเสียงบนอุปกรณ์ หากความมั่นใจต่ำ เสียงจะถูกส่งไปยัง ASR ที่โฮสต์ไว้ โมเดลภาษาจะร่างคำตอบ หากต้องใช้โมเดลที่ใหญ่กว่า คำขอจะถูกส่งออกไป Phonon พูดผลลัพธ์ หากอุปกรณ์ถูกจำกัดประสิทธิภาพเนื่องจากความร้อน TTS ที่โฮสต์ไว้จะเข้ามาทำหน้าที่แทน แต่ละขั้นตอนมีตัวเลือกทั้งในเครื่องและระยะไกล และผลิตภัณฑ์จะเป็นผู้ตัดสินใจว่าจะใช้ตัวเลือกใดในแต่ละคำขอ

เลเยอร์ข้อความระหว่างกัน

Whisper สร้างข้อความถอดเสียง Phonon นำสคริปต์ไปใช้ และต้องมีบางอย่างที่แปลงสิ่งหนึ่งให้เป็นอีกสิ่งหนึ่ง สิ่งนั้นคือแบบจำลองภาษา และเป็นส่วนเดียวของวงจรที่ได้ประโยชน์จากการมีขนาดใหญ่

OrcaRouter ไม่ได้โฮสต์โมเดลทั้งสองนี้ — Whisper Large v3 Turbo ทำงานผ่านสแต็กการอนุมานของคุณเอง และ Phonon ทำงานบนอุปกรณ์ ดังนั้นทั้งสองจึงไม่ปรากฏในแคตตาล็อกของเรา สิ่งที่แพลตฟอร์มครอบคลุมคือส่วนตรงกลาง: API เดียวสำหรับโมเดลภาษากว่า 200 โมเดลในราคาตามรายการของผู้ให้บริการโดยมีมาร์กอัป 0% พร้อมการสลับระบบสำรองอัตโนมัติระหว่างผู้ให้บริการ และ DSL สำหรับการกำหนดเส้นทางที่สามารถส่งโมเดลราคาถูกไปยังเทิร์นงานทั่วไป และส่งโมเดลที่แข็งแกร่งกว่าไปยังเทิร์นที่ยากได้ ในการออกแบบที่เน้นออฟไลน์เป็นหลัก ชั้นนี้คือส่วนที่ยังคงออนไลน์อยู่

สิ่งที่ต้องเปรียบเทียบจริง ๆ

หากคุณกำลังเลือกโมเดลเสียงพูด ให้เปรียบเทียบ Phonon กับระบบ TTS อื่น ๆ และ Whisper Turbo กับระบบ ASR อื่น ๆ หากคุณกำลังสร้างผลิตภัณฑ์ ให้เปรียบเทียบวงรอบการทำงานโดยรวม: หน่วยความจำทั้งหมด เวลาแฝงทั้งหมด สิทธิ์การใช้งานทั้งหมด และจำนวนภาษาทั้งหมด เมื่อวัดด้วยเกณฑ์นี้ คู่นี้จึงสอดคล้องกับงานเฉพาะภาษาอังกฤษ แบบออฟไลน์ และใช้สัญญาอนุญาตแบบเปิดกว้าง แต่ไม่สอดคล้องกับงานหลายภาษาหรือเชิงพาณิชย์ใด ๆ ในระดับ 40M

ข้อผิดพลาดที่ต้องหลีกเลี่ยงคือการอ่านค่า WER 0.51% ของ Phonon เทียบกับ 7.83% ของ Whisper แล้วสรุปว่าการสังเคราะห์เสียงได้แซงการรู้จำเสียงไปแล้ว ตัวเลขเหล่านี้เกิดจากกระบวนการที่ต่างกันซึ่งวัดสิ่งที่ต่างกัน และหนึ่งในนั้นถูกวัดโดยอีกกระบวนการหนึ่ง คำถามที่มีประโยชน์ไม่ใช่รุ่นไหนดีกว่า แต่คือว่าวงจรที่คุณประกอบขึ้นจากชิ้นส่วนแบบเปิดได้ในเดือนนี้ดีพอสำหรับผลิตภัณฑ์ที่คุณคิดไว้หรือไม่ — และสำหรับภาษาอังกฤษ แบบออฟไลน์ บนแล็ปท็อป คำตอบเพิ่งเปลี่ยนไป