Granite Speech 5.0 2B เทียบกับ Granite Speech 5.0 470M TurboCTC: อัตราการประมวลผลสูงกว่า 35 เท่า โดยแลกกับ WER ที่ต่างกัน 0.45 จุด

IBM เปิดตัว checkpoint ของ Granite Speech 5.0 สองตัวห่างกันภายในหนึ่งวัน และสิ่งที่น่าสนใจเกี่ยวกับทั้งสองตัวไม่ใช่ว่าตัวหนึ่งใหญ่กว่า สิ่งนั้นคือGranite Speech 5.0 2Bทำคะแนน WER ภาษาอังกฤษเฉลี่ย 5.06% ที่ 570 RTFx บน Open ASR Leaderboard ขณะที่Granite Speech 5.0 470M TurboCTCทำคะแนน 5.51% ที่ 19,870 RTFx — throughput ราวสามสิบห้าเท่า โดยแลกกับความแม่นยำที่ลดลงไม่ถึงครึ่งจุด หากคุณคิดว่าจำนวนพารามิเตอร์ที่มากขึ้นจะให้อะไรที่เป็นสัดส่วนกับคุณ มันไม่เป็นเช่นนั้น สิ่งที่มันให้คุณคือการแปล การ bias คำสำคัญ การควบคุม language-ID และ language model ที่ทำตาม prompt ได้ ความเร็วไม่อยู่ในรายการนั้นความล้มเหลวของ AI และเหตุการณ์ของเอเจนต์ที่มีการบันทึกไว้ซึ่งอยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ในthe OrcaRouter AI Incident Archiveโดยแต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง เกรดความเชื่อมั่น และธงข้อโต้แย้งของตัวเอง

ตัวเลขทั้งสองชุดเป็นของ IBM เอง วัดบน leaderboard เดียวกัน และมีวันที่ห่างกันภายในหนึ่งสัปดาห์ ซึ่งทำให้เป็นการเปรียบเทียบภายในครอบครัวเดียวกันที่ค่อนข้างสะอาดที่สุดแบบหนึ่งที่มีให้ใช้ — และยังเป็นกรณีที่คุณควรถือว่าเป็นการรัน eval โดยผู้ขายมากกว่าการรันที่ผ่านการตรวจสอบแล้ว ทั้งสองโมเดลยังไม่มีการทำซ้ำอย่างอิสระ และ ณ เวลาที่เขียนนี้ ยังไม่มีผู้ให้บริการ inference รายใดที่ฉันหาเจอให้บริการทั้งสองโมเดล รวมถึงแคตตาล็อกของเราเองด้วย

ในสัปดาห์เดียวกัน เรื่องราวการเปิดตัวที่แตกต่างกันสองเรื่อง

สองโมเดลนี้ไม่ใช่คู่แฝดที่ต่างกันแค่ขนาด พวกมันถูกเปิดตัวต่างกันและถูกสร้างขึ้นต่างกัน และประวัติการเปิดตัวอธิบายว่าทำไมการ์ดโมเดลของทั้งสองจึงอ่านแตกต่างกันมากเช่นนี้

• Granite Speech 5.0 2B — สร้างรีโพซิทอรีเมื่อวันที่ 7 ตุลาคม 2026 คอมมิตเวตในเย็นวันนั้น แก้ไขการ์ดอย่างเปิดเผยเป็นเวลาสองสัปดาห์ ประทับวันเผยแพร่เป็นวันที่ 20 ตุลาคม บล็อกประกาศวันที่ 21 ตุลาคม โมเดลใหม่ เริ่มเงียบ ๆ จบดังกระหึ่ม

• Granite Speech 5.0 470M TurboCTC — เปิดตัวครั้งแรกเมื่อวันที่ 25 สิงหาคม 2026 ในฐานะโมเดลภาษาอังกฤษเท่านั้น พร้อมการอ้างอิงความเร็ว 12,600 RTFx รีลีสเมื่อวันที่ 21 ตุลาคมเป็นการอัปเดต ไม่ใช่โมเดลใหม่: สถาปัตยกรรมเดิม หัว multilingual BPE ใหม่ขนาด 16,384 โทเคน เพิ่มอีกหกภาษา และการเว้นวรรคกับตัวพิมพ์ใหญ่แบบเนทีฟ

ความแตกต่างนั้นสำคัญเมื่อคุณอ่านตัวเลข 5.06% ของ 2B เป็นการประเมินใหม่ของเช็กพอยต์ใหม่ ส่วน 5.51% ของ 470M เป็นการปรับปรุงจากตัวเลข 5.78% ที่เผยแพร่ในเดือนสิงหาคม และบล็อกของ IBM นำเสนอว่า "WER ภาษาอังกฤษดีขึ้นแม้เพิ่มหกภาษา" ซึ่งเป็นวิธีอ่านที่ถูกต้อง — การอัปเดตหลายภาษาไม่ได้ทำให้ความแม่นยำภาษาอังกฤษลดลง แต่กลับเพิ่มขึ้นด้วยซ้ำ

สองสถาปัตยกรรม หนึ่งผลลัพธ์

Granite Speech 5.0 2B เป็นโมเดลภาษาเสียง ตัวเข้ารหัส Conformer CTC จำนวน 16 บล็อกจะส่งข้อมูลไปยังโปรเจกเตอร์แบบ window query transformer สองชั้น ซึ่งลดขนาดตัวอย่างลง 10 เท่าเป็น acoustic embedding ที่ 10 Hz แล้วส่งต่อไปยัง checkpoint ระดับกลางของ granite-4.0-1b-base ที่ขยายเป็น 16k ตำแหน่งด้วย YaRN การปรับแต่งแบบมีผู้สอน (supervised fine-tuning) ใช้ LoRA กับโปรเจกเตอร์และโมเดลภาษาร่วมกัน การสร้างผลลัพธ์เป็นแบบ autoregressive: โมเดลภาษาจะเขียนข้อความถอดเสียงทีละโทเคน

Granite Speech 5.0 470M TurboCTC เป็นเอนโคเดอร์ ประกอบด้วยบล็อก Conformer สิบหกบล็อก ใช้วัตถุประสงค์ CTC มีหัวจำแนก BPE แบบหลายภาษาขนาด 16,384 หน่วย ลดอัตราตัวอย่างเชิงเวลาด้วยปัจจัย 8 เพื่อลดเฟรม 100 Hz ลงเหลือ 12.5 Hz และถอดรหัสแบบ greedy ที่ไม่ใช่ออโตรีเกรสซีฟ ไม่มีโปรเจกเตอร์ ไม่มีโมเดลภาษา ไม่มีลูปการสร้าง เอาต์พุตมีการใส่เครื่องหมายวรรคตอนและใช้ตัวพิมพ์ใหญ่ เพราะโมเดลได้รับการฝึกให้ส่งเครื่องหมายวรรคตอนในสตรีมโทเคน ไม่ใช่เพราะโมเดลที่สองมาเติมภายหลัง

ผลที่ตามมาคือการเปรียบเทียบทั้งหมด โมเดล 2B ที่สร้างทีละโทเคนมีขีดจำกัดล่างของความหน่วงต่อโทเคนที่การทำแบตช์ไม่ว่าจะมากแค่ไหนก็ไม่อาจกำจัดได้หมด ส่วนเอนโคเดอร์แบบไม่ออโตเรเกรสซีฟจะปล่อยเอาต์พุตทั้งหมดออกมาในการส่งผ่านไปข้างหน้าครั้งเดียว ดังนั้นทรูพุตจึงแปรผันตามขนาดแบตช์และแทบไม่ขึ้นกับสิ่งอื่นเลย นั่นคือเหตุผลที่โมเดลซึ่งมีพารามิเตอร์เพียงหนึ่งในสี่กลายเป็นเร็วขึ้นสามสิบห้าเท่าแทนที่จะเป็นสี่เท่า

นี่ก็เป็นเหตุผลว่าทำไม 470M จึงต้องละทิ้งสิ่งที่ 2B มี เพราะไม่มีพรอมต์ให้ทำตาม จึงไม่มีคำสั่งระบุภาษาและไม่มีรายการคำสำคัญ และไม่มีการแปล — หัว CTC จะจับคู่เสียงกับโทเคน จึงไม่สามารถสั่งให้ถอดคำพูดภาษาเยอรมันออกมาเป็นข้อความภาษาอังกฤษได้

กระดานคะแนน และแต่ละตัวเลขมาจากไหน

• พารามิเตอร์ — Granite Speech 5.0 2B คือ 2B; Granite Speech 5.0 470M TurboCTC คือ 470M

• WER ภาษาอังกฤษ ค่าเฉลี่ย 9 ชุดของ Open ASR — 5.06% เทียบกับ 5.51% ทั้งสองรอบการประเมินของ IBM วันที่ 15–20 ตุลาคม 2026

• อัตราการประมวลผล (Throughput), RTFx — 570 เทียบกับ 19,870 ใช้ชุดทดสอบกระดานผู้นำชุดเดียวกัน ช่วงวันที่เดียวกัน

• WER ในสภาพเสียงรบกวนและเสียงก้อง, FFASR — 14.80% (อันดับ #4 จาก 42) เทียบกับ 17.57% (อันดับ #12) รุ่น 2B มีความทนทานกว่าประมาณ 2.8 จุด

• สัญญาอนุญาต — Apache 2.0 สำหรับทั้งคู่ TurboCTC ยังมีรุ่นพี่น้อง -NC ภายใต้ CC-BY-NC-SA-4.0; ตรวจสอบชื่อรีโพซิทอรีก่อนที่คุณจะเผยแพร่

• ภาษา — รองรับการถอดเสียงหกภาษา (อังกฤษ ฝรั่งเศส เยอรมัน สเปน โปรตุเกส ญี่ปุ่น) พร้อมฟีเจอร์แปลภาษา เทียบกับอีกฝั่งที่รองรับเจ็ดภาษา (เพิ่มอิตาลี) แต่ไม่มีการแปล

• คุณสมบัติด้านการควบคุม — การพรอมต์ระบุภาษา (language-ID), การให้น้ำหนักคำสำคัญสูงสุด 2,000 คำ และการแปลเสียงพูดบนรุ่น 2B; ไม่มีบนรุ่น 470M

• การฝึก — 390,000 ชั่วโมงตลอด 40 วันบน H100 จำนวน 8 ตัวสำหรับโมเดล 2B; 153,000 ชั่วโมงตลอด 24 วันบน H100 จำนวน 8 ตัวสำหรับโมเดล 470M

ช่องว่างด้านความทนทานคือแถวที่คนมักข้ามไป ความเร็วที่มากกว่า 35 เท่านั้นดึงดูดสายตา แต่ WER 17.57% บนเสียงระยะไกลที่มีเสียงรบกวน เทียบกับ 14.80% คือความแตกต่างของข้อผิดพลาดสัมพัทธ์ 19% และเสียงที่มีเสียงรบกวนคือสิ่งที่การติดตั้งใช้งานจริงส่วนใหญ่ต้องเจอ หากเสียงของคุณมาจากแล็ปท็อปในห้องครัว ข้อได้เปรียบด้านความเร็วของโมเดลเล็กก็ถูกใช้ไปกับทรานสคริปต์ที่คุณยังต้องมาแก้ไขทีหลัง

จุดเดียวที่ 470M ชนะด้านความแม่นยำได้จริง

ภาษาญี่ปุ่น การ์ด TurboCTC อ้างว่าทำได้ดีกว่าโมเดล 2B ในด้านอัตราความผิดพลาดระดับตัวอักษรใน CSJ eval1, CommonVoice-17 และ FLEURS — ชุดทดสอบทั้งสามชุด — และระบุเช่นนี้อย่างชัดเจนในข้อความบนการ์ด แทนที่จะซ่อนไว้ในแผนภูมิ ตัวเลขเหล่านั้นมีอยู่เพียงในรูปภาพเท่านั้น ขนาดของชัยชนะจึงไม่สามารถยกมาอ้างเป็นตัวเลขได้ แต่ทิศทางดังกล่าวเป็นการอ้างของ IBM เองเกี่ยวกับโมเดลสองตัวของตน ซึ่งทำให้มีความน่าเชื่อถือมากกว่าการเปรียบเทียบข้ามผู้จำหน่าย

มีกลไกที่สมเหตุสมผลอยู่ 2B จัดการภาษาญี่ปุ่นโดยเพิ่มชุดคาตากานะเชิงสัทศาสตร์ 92 ตัวอักษรเข้าไปใน character head และเพิ่ม ASR ภาษาญี่ปุ่นที่ให้น้ำหนักกับคำสำคัญจำนวน 16,500 ชั่วโมง พร้อม TTS จาก Fineweb-2 อีก 9,600 ชั่วโมงเข้าสู่การฝึก แต่ก็ยังส่งผลลัพธ์ผ่านโมเดลภาษาที่ฝึกด้วยข้อความภาษายุโรปเป็นหลัก 470M ใช้คำศัพท์ BPE แบบหลายภาษาขนาด 16,384 หน่วยเพียงชุดเดียวซึ่งมีภาษาญี่ปุ่นรวมอยู่ตั้งแต่เริ่มต้น และใช้เวลา 8,130 ชั่วโมงกับ ReazonSpeech และ 1,860 ชั่วโมงกับภาษาญี่ปุ่นสังเคราะห์ หากผลิตภัณฑ์ของคุณคือการถอดเสียงภาษาญี่ปุ่นในปริมาณมาก นี่คือการเปรียบเทียบเพียงกรณีเดียวที่โมเดลเล็กทั้งเร็วกว่าและดีกว่า และคุ้มค่าที่จะทดสอบโดยตรงก่อนจะเลือก 2B เป็นค่าเริ่มต้นเพราะขนาด

ต้นทุนที่คำนวณได้จริง ไม่ใช่เพียงการเสนอราคา

IBM ไม่ได้ประกาศราคาสำหรับทั้งสองโมเดล ทั้งคู่เป็นเวตภายใต้ Apache 2.0 ดังนั้นค่าใช้จ่ายในการรันจึงเท่ากับค่าใช้จ่ายของฮาร์ดแวร์ และตัวเลข RTFx เป็นเพียงปัจจัยเดียวที่คุณมีสำหรับใช้ประเมินค่านั้น

ใช้ปริมาณงานเสียง 1,000 ชั่วโมงต่อวัน — คลังเก็บของศูนย์ติดต่อขนาดกลาง ที่ 570 RTFx โมเดล 2B ต้องใช้เวลา GPU ประมาณ 6,300 วินาที หรือมากกว่า 1.7 GPU-ชั่วโมงเล็กน้อย ที่ 19,870 RTFx โมเดล 470M ต้องใช้เวลาประมาณ 181 วินาที หรือ 0.05 GPU-ชั่วโมง บน H100 ที่ราคาประมาณ $2–3 ต่อชั่วโมง นั่นคือไม่กี่ดอลลาร์ต่อวัน เทียบกับไม่กี่เซนต์ ทั้งสองเป็นตัวเลขเล็ก ๆ และนั่นคือประเด็น: ในระดับนี้ไม่มีโมเดลใดแพง และควรตัดสินใจจากความแม่นยำและความสามารถ ไม่ใช่จากคอมพิวต์

การคำนวณจะเปลี่ยนไปในอีกด้านหนึ่ง หากคุณกำลังถอดเสียงหนึ่งสตรีมแบบเรียลไทม์บนแล็ปท็อป หรือรันแอปบนอุปกรณ์ รุ่น 2B ต้องใช้ GPU เพื่อให้ตามทันเรียลไทม์ ขณะที่รุ่น 470M ยังมีกำลังเหลือเฟือ — นี่คือเหตุผลที่ IBM วางตำแหน่ง TurboCTC ไว้สำหรับแล็ปท็อป โทรศัพท์ และอุปกรณ์ edge และจัดทำเอกสาร mlx-audio สำหรับ Apple Silicon รุ่น 2B ยังทำงานบน llama.cpp และ mlx-audio ได้เช่นกัน แต่ที่ Q8_0 พร้อมคำเตือนว่าการควอนไทซ์ด้วยบิตที่ต่ำลงจะสูญเสียความแม่นยำเมื่อเสียงยาวเกินประมาณหนึ่งนาที

การเลือก โดยเรียงตามลำดับที่การตัดสินใจเกิดขึ้นจริง

อย่าเริ่มจาก benchmark ให้เริ่มจากสิ่งที่งานกำหนด เพราะความแตกต่างสามข้อเป็นข้อกำหนดที่ต้องปฏิบัติตามอย่างเคร่งครัด ไม่ใช่เรื่องที่นำมาแลกเปลี่ยนกัน

ผลลัพธ์จำเป็นต้องเป็นภาษาที่แตกต่างจากภาษาอินพุตหรือไม่ ถ้าเป็นเช่นนั้นก็คือ 2B และไม่มีการเปรียบเทียบใด ๆ ที่ต้องทำ 470M แปลไม่ได้ ข้อกำหนดเพียงข้อเดียวนี้ก็ตัดมันออกสำหรับไปป์ไลน์คำบรรยาย โน้ตการประชุมหลายภาษา และคลังภาษาอังกฤษใด ๆ ที่สร้างจากเสียงที่ไม่ใช่ภาษาอังกฤษ

ข้อความถอดเสียงจำเป็นต้องมีคำศัพท์เฉพาะหรือไม่ชื่อผลิตภัณฑ์ ชื่อยา รหัสตั๋ว รายการ SKU ของลูกค้า — 2B รองรับคำศัพท์ได้สูงสุด 2,000 คำในรูปแบบรายการคำสำคัญ และได้รับการฝึกด้วยข้อมูลเสียง 23,600 ชั่วโมงที่มีการให้น้ำหนักกับคำสำคัญสำหรับกรณีนี้โดยเฉพาะ 470M ไม่มีอินเทอร์เฟซพรอมต์ การติดตั้งใช้งานที่ขับเคลื่อนด้วยอภิธานศัพท์บนโมเดลขนาดเล็กจึงเป็นไปไม่ได้

เสียงสะอาดหรือไม่ หากสะอาด ช่องว่างภาษาอังกฤษเพียง 0.45 คะแนนก็ถือว่าน้อย และข้อได้เปรียบด้านความเร็ว 35 เท่าก็แทบจะไม่มีต้นทุนเพิ่ม หากไม่สะอาด — เช่น การประชุม ศูนย์รับสาย หรือไมโครโฟนระยะไกล — ช่องว่าง 2.8 คะแนนของ FFASR บ่งบอกว่าข้อผิดพลาดของโมเดลเล็กจะสร้างความเสียหายให้คุณมากกว่าความเร็วที่ประหยัดได้

เป็นภาษาญี่ปุ่นหรือเปล่า ทดสอบ 470M ก่อน IBM กล่าวว่ามันชนะในชุดทดสอบภาษาญี่ปุ่นทั้งสามชุด

มันอยู่บนอุปกรณ์หรือเปล่า? รุ่น 470M ถูกออกแบบมาเพื่อสิ่งนี้ ส่วนรุ่น 2B สามารถรันบนอุปกรณ์เดียวได้ แต่ไม่ได้ถูกออกแบบมาเพื่อสิ่งนี้

สรุปตามตรงคือ สองสิ่งนี้ไม่ใช่ผลิตภัณฑ์เดียวกันที่ต่างกันแค่ขนาด ตัวหนึ่งเป็นระบบถอดเสียงและแปลที่มีส่วนควบคุม ส่วนอีกตัวเป็นเอนจินถอดเสียงที่เร็วมากและถูกมากโดยไม่มีตัวควบคุมใด ๆ ทีมส่วนใหญ่ที่คิดว่าตนต้องการ "ตัวที่ดีกว่า" จริง ๆ แล้วต้องตอบคำถามเรื่องการแปลและอภิธานศัพท์ก่อน และคำตอบสองข้อนั้นจะชี้ขาดได้เอง

ทำทั้งสองอย่างโดยไม่ลงเดิมพันฝ่ายใดฝ่ายหนึ่ง

รูปแบบการใช้งานจริงที่สมเหตุสมผลสำหรับทีมที่ทดสอบตระกูลนี้คือติดตั้งทั้งสองโมเดล เพราะทั้งสองมีโหมดความล้มเหลวที่ตรงกันข้ามกัน 470M รับงานถอดเสียงสะอาดจำนวนมากในต้นทุนที่แทบปัดเป็นศูนย์ ส่วน 2B รับมือเสียงที่ยาก เสียงที่ไม่ใช่ภาษาอังกฤษ และงานใดก็ตามที่ต้องใช้ glossary เราเตอร์ที่จำแนกไฟล์ขาเข้าแต่ละไฟล์ — ตรวจจับภาษา ประเมินอัตราส่วนสัญญาณต่อเสียงรบกวน และตรวจสอบว่ามีการแนบ glossary มาหรือไม่ — แล้วส่งไฟล์ไปยัง checkpoint ที่เหมาะสม อาจใช้โค้ดเพียงราวห้าสิบบรรทัด และช่วยลดอัตราข้อผิดพลาดในส่วนท้ายโดยไม่ต้องจ่ายในราคาระดับ 2B กับงานจำนวนมาก

ขั้นตอนการจัดประเภทนั้นคือการเรียกโมเดลขนาดเล็ก และเป็นส่วนที่คุ้มค่าที่จะรันผ่านปลายทางเดียวแทนการฝัง SDK ของผู้ให้บริการรายที่สอง: OrcaRouter เปิดให้เข้าถึง โมเดล 200+ รายการผ่าน API ที่เข้ากันได้กับ OpenAI ชุดเดียว ในราคาตามรายการของผู้ให้บริการโดยไม่มีการบวกเพิ่ม และ DSL การกำหนดเส้นทางของมันสามารถแสดงการจัดส่งตามภาษาและคุณภาพ เป็นกฎแทนโค้ดแอปพลิเคชัน การสลับเมื่อล้มเหลวอัตโนมัติมีความสำคัญที่สุดในสัปดาห์หลังจากรีลีสแบบนี้ เมื่อเช็กพอยต์มีอายุสองวัน ไม่มีอะไรได้รับการตรวจสอบอย่างอิสระ และวิธีที่ปลอดภัยที่สุดในการลองคือการรักษาเส้นทางที่สองให้พร้อมใช้งาน ทั้งหมดนั้นยังไม่ช่วยให้คุณรัน Granite Speech เองได้ — วันนี้เราไม่ได้ให้บริการเช็กพอยต์ใดเลย ดังนั้นโมเดลเสียงพูดจึงยังต้องโฮสต์เอง และเลเยอร์การกำหนดเส้นทางจะเริ่มต้นที่ขั้นถัดลงไป

หากติดตั้งเพียงตัวเดียว ให้ติดตั้ง 2B เป็นโมเดลที่ทำทุกอย่างที่ 470M ทำได้ ด้วยความเร็วที่ยังเร็วกว่าเรียลไทม์ถึงสามสิบห้าเท่า และมีความแม่นยำที่ดีกว่าในทุกเกณฑ์มาตรฐานที่ IBM เผยแพร่ ยกเว้นภาษาญี่ปุ่น 470M คือโมเดลเฉพาะทางที่คุณเพิ่มเข้ามาเมื่อค่าใช้จ่ายหรือโปรไฟล์ความหน่วง uzasad สมเหตุสมผล ไม่ใช่ตัวเลือกเริ่มต้นที่คุณเริ่มต้นด้วย