Voxtral 3: Mistral วางสี่โมเดลเสียงและ API วอยซ์เอเจนต์ไว้บนมิเตอร์เดียวกัน

ตัวเลขที่น่าสนใจในรีลีสวันที่ 20 ตุลาคมของ Mistral ไม่ใช่อัตราความผิดพลาดของคำ แต่เป็น 0.04 ดอลลาร์ต่อนาที นั่นคือสิ่งที่บริษัทเรียกเก็บสำหรับ Voxtral 3 วอยซ์เอเจนต์ — ไพป์ไลน์แบบครบวงจรที่ฟังผู้โทร ให้เหตุผลเกี่ยวกับสิ่งที่พวกเขาพูดด้วย Mistral Small 4 เรียกใช้เครื่องมือ และตอบกลับ หากรวมชิ้นส่วนที่ Mistral ขายแยกกัน นาทีเดียวกันจะมีราคาสูงกว่า: Voxtral Mini Transcribe Realtime 3 ที่ $0.008 บวก Voxtral Mini T​TS 3 ในราคาประมาณ $0.02 สำหรับอัตราการพูดปกติ บวกโมเดลการให้เหตุผลเข้าไปอีก นาทีแบบรวมแพ็กเกจคือผลิตภัณฑ์ ทุกอย่างอื่น — Voxtral Small Transcribe 3, Voxtral Mini Transcribe 3, Voxtral Mini Transcribe Realtime 3, Voxtral Speech 3 — ถูกขายเป็นองค์ประกอบที่คุณซื้อแบบ à la carte ได้ และเป็นวิธีแสดงว่าองค์ประกอบเหล่านั้นดีพอที่จะคุ้มค่ากับการรวมแพ็กเกจ ไพป์ไลน์ของวอยซ์เอเจนต์ล้มเหลวในลักษณะที่เรตการ์ดไม่เคยกล่าวถึง และเหตุการณ์ที่บันทึกไว้ถูกจัดเก็บไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และสถานะถูกโต้แย้งของตัวเอง

มีอะไรใหม่จริง ๆ บ้าง แยกตามรุ่น

นี่คือการรีเฟรชทั้งตระกูล ไม่ใช่โมเดลเดียวที่แค่อัปเวอร์ชัน แต่ละรุ่นมีหน้าที่เฉพาะและราคาเฉพาะของตัวเอง และการแยกความต่างนี้สำคัญกว่าชื่อที่ใช้ร่วมกัน

• Voxtral Small Transcribe 3 — ระดับความแม่นยำที่ $0.004 ต่อนาที บริบท 32k และเป็นคำกล่าวอ้างระดับเรือธงของ Mistral สำหรับการถอดเสียงพร้อมการแยกผู้พูด นอกจากนี้ยังทำการแปล ถามตอบด้วยเสียง สรุปความ และการเรียกใช้ฟังก์ชัน ซึ่งทำให้เป็นสมาชิกเพียงหนึ่งเดียวในตระกูลที่ใกล้เคียงกับโมเดลภาษา-เสียงมากกว่าตัวถอดเสียง

• Voxtral Mini Transcribe 3 — 4B พารามิเตอร์, $0.0035 ต่อนาที, คอนเท็กซ์ 32k Mistral เปิดเผยขนาดของรุ่นนี้ แต่ปิดข้อมูลขนาดของรุ่น Small ความไม่สมมาตรนี้ชวนให้สังเกต: รุ่นมินิคือรุ่นที่ถูกวางตำแหน่งสำหรับการใช้งานปริมาณมากและการติดตั้งบนอุปกรณ์ปลายทาง ขนาดของมันจึงเป็นจุดขาย ส่วนขนาดของรุ่นเรือธงนั้นไม่ถูกเปิดเผย

• Voxtral Mini Transcribe Realtime 3 — สตรีมผ่าน WebSocket ในราคา $0.008 ต่อนาที โดยปรับความหน่วงได้ตั้งแต่ 80 ms ถึง 2,400 ms และมีการตรวจจับจุดสิ้นสุดของเทิร์นที่ผสมผสานสัญญาณเชิงเสียงและเชิงความหมายแทนการรอความเงียบ เอกสารระบุว่า "sub-500 ms"; ค่าต่ำสุดที่ปรับได้นั้นต่ำกว่านั้นมาก และต้นทุนด้านความแม่นยำจากการตั้งค่าให้ต่ำลงนั้นมีนัยสำคัญ — ดูส่วนเกณฑ์มาตรฐาน

• Voxtral Speech 3 (ในเอกสารระบุชื่อว่า Voxtral Mini TTS 3) — ราคา 13 ดอลลาร์ต่อล้านอักขระ ใช้เวลาประมาณ 90 มิลลิวินาทีถึงเสียงแรก มีแท็กอารมณ์ 34 แท็กและแท็กจังหวะ 2 แท็ก รองรับเก้าภาษา การโคลนเสียงแบบ zero-shot และแบบ "มืออาชีพ" หน้าเปิดตัวของ Mistral ระบุว่าการโคลนเสียงต้องใช้เสียงอ้างอิง 30+ นาที

เบื้องหลังคือ SDK สำหรับเอเจนต์เสียง ซึ่งสร้างบน LiveKit และ ASR แบบสตรีมมิ่ง, LLM และ TTS เป็นไปป์ไลน์เดียว รองรับสาย SIP เซสชัน WebRTC และทรังก์โทรศัพท์หรือ IVR ที่มีอยู่ รองรับการพูดแทรก (barge-in) และให้คุณสลับโมเดลการให้เหตุผล เสียง หรือภาษาได้โดยไม่ต้องสร้างเอเจนต์ใหม่ Mistral ระบุว่าความหน่วงต่อรอบสนทนาต่ำกว่าหนึ่งวินาที

ตารางเกณฑ์มาตรฐาน อ่านอย่างละเอียด

Mistral เปิดเผยตัวเลขของตนเอง และนั่นเป็นตัวเลขที่ดี ใน FLEURS 45 อัตราความผิดพลาดระดับคำแบบเฉลี่ยแมโคร Voxtral Small Transcribe 3 อยู่ที่ 4.1% เมื่อบังคับภาษา และ 4.0% เมื่ออนุมานภาษา Voxtral Mini Transcribe 3 อยู่ที่ 4.6% / 4.5% สำหรับการเปรียบเทียบในตารางของผู้จำหน่ายเดียวกัน: G​emini 3.5 Transcribe อยู่ที่ 6.1% / 4.5%, Scribe v2 อยู่ที่ 4.9%, G​PT Transcribe อยู่ที่ 6.3% / 5.6% และ Whisper large-v3 อยู่ที่ 16.0% / 14.9%

มีสองเรื่องเกี่ยวกับตารางนั้นที่ควรพิจารณาอีกครั้ง ประการแรก MAI-Transcribe-2 ของ Microsoft อยู่ที่ 4.1% / 4.0% — เท่ากับ Voxtral Small Transcribe 3 เป๊ะ ลงไปถึงหลักทศนิยม ตารางของผู้ขายที่รุ่นเรือธงเสมอกับคู่แข่งที่ใกล้ที่สุดพอดี อาจเป็นการเสมอกันจริงหรือเป็นการปัดเศษก็ได้; Mistral ไม่ได้บอกว่าเป็นแบบไหน ประการที่สอง ตัวเลขของ Whisper ไม่ใช่ตัวเลขที่คนอื่นอ้างถึงสำหรับ Whisper Whisper large-v3 ได้ค่า WER เฉลี่ย 7.44 บน Open ASR Leaderboard และรุ่น Turbo ได้ 4.6% บนกระดานอิสระของ Artificial Analysis สิบหกเปอร์เซ็นต์คือสิ่งที่ Whisper ให้ผลบนเสียง FLEURS หลายภาษาที่ยากโดยเฉพาะ ไม่ใช่สิ่งที่มันให้ผลในภาษาอังกฤษแบบใช้งานจริง การใช้สไลซ์ที่โหดที่สุดเท่าที่มีสำหรับคู่แข่งเป็นการเคลื่อนไหวทางการตลาดแบบปกติ แต่มันก็เป็นการเคลื่อนไหวทางการตลาด

คณะกรรมการอิสระบอกเล่าเรื่องราวที่ชัดเจนกว่า Artificial Analysis จัดให้ Voxtral Small Transcribe 3 อยู่ที่ 2.1% AA-WER และ Voxtral Mini Transcribe 3 อยู่ที่ 2.2% — เป็นอันดับหนึ่งและอันดับสองบนกระดานผู้นำแบบไม่สตรีมมิง ณ เวลาที่เขียนนี้ โดยมี MAI-Transcribe-2 อยู่ที่ 2.0% ในช่องเหนือขึ้นไป ทั้งนี้ขึ้นอยู่กับว่าเปิดดูกระดานเมื่อใด ตัวเลขเหล่านี้ใกล้กันมากพอที่ลำดับจะเปลี่ยนไปในการรันซ้ำ ใครก็ตามที่อ้างหาผู้ชนะจากช่องว่างเพียง 0.1 điểm ก็กำลังอ้างถึงสัญญาณรบกวนเท่านั้น

ในจุดที่ระดับเรียลไทม์คืนความแม่นยำกลับมา

ตัวเลขแบบสตรีมมิ่งเป็นสิ่งที่มีประโยชน์ที่สุดที่ Mistral เผยแพร่ เพราะเป็นตัวเลขที่ดูดีน้อยที่สุด ใน FLEURS 35 ค่า baseline แบบออฟไลน์ของ Voxtral Mini Transcribe 3 อยู่ที่ WER 4.0% โมเดลเรียลไทม์จะเสื่อมลงแบบโมโนโทนิกเมื่อคุณขอให้ตอบเร็วขึ้น:

• ความหน่วง 2,400 ms — WER 5.7%

• 960 ms — 6.0%

480 มิลลิวินาที — 6.4%

• 240 มิลลิวินาที — 7.4%

เมื่อเทียบกับตัวเลขนั้น Mistral ระบุว่า Gemini 3.5 Realtime Transcribe อยู่ที่ 4.2% ระดับสตรีมมิ่งของ Microsoft อยู่ที่ 5.8% GPT Live Transcribe อยู่ที่ 8.4% และ Scribe v2 Realtime อยู่ที่ 8.7% ดังนั้นการตีความตามจริงก็คือ ที่ความหน่วง 2.4 วินาทีซึ่งถือว่าสบาย ระดับเรียลไทม์ของ Voxtral สู้กับของ Microsoft ได้ และเอาชนะโมเดลสตรีมมิ่งของ OpenAI กับ ElevenLabs แต่ไม่ชนะของ Google และที่ 240 มิลลิวินาที มันแย่กว่าทุกตัวยกเว้นสองโมเดลที่รั้งท้าย ตัวเลขพาดหัวต่ำกว่า 500 มิลลิวินาทีเป็นเรื่องจริง เพียงแต่คุณต้องแลกความแม่นยำราวสามจุดเมื่อเทียบกับการรันเสียงเดียวกันแบบออฟไลน์

การแยกผู้พูด (diarization) คือจุดที่ตระกูลโมเดลนี้ดูแข็งแกร่งที่สุด และเป็นจุดที่ตารางของผู้จำหน่ายแบกน้ำหนักไว้มากที่สุด เมื่อวัดด้วย WER แบบ concatenated minimum-permutation Mistral รายงานว่า Voxtral Small Transcribe 3 ได้ 18.4% รุ่น Mini ได้ 18.6% Pyannote Orchestrator Precision 3 ได้ 19.0% MAI-Transcribe-2 ได้ 20.3% และ G​emini 3.5 Transcribe ได้ 38.4% ช่องว่าง 20 จุดเปอร์เซ็นต์เมื่อเทียบกับ G​emini ในด้านการระบุผู้พูดคือตัวเลขประเภทที่ตัดสินผลิตภัณฑ์ได้ — การถอดเสียงประชุม การตรวจสอบคุณภาพสายสนทนา — แต่มันคือชุดทดสอบของผู้จำหน่ายรายหนึ่งเทียบกับโมเดลของผู้จำหน่ายอีกราย และยังไม่มีบุคคลที่สามรันทดสอบซ้ำ

สิ่งที่ราคานี้แลกมาได้ ในหน่วยชั่วโมง

การคิดค่าบริการต่อนาทีนั้นเปรียบเทียบได้ง่าย และก็ผิดพลาดได้ง่ายเช่นกันเมื่อทางเลือกคือการคิดต่อโทเคน เมื่อแปลงเป็นชั่วโมงเสียงหนึ่งพันชั่วโมง ซึ่งประมาณหนึ่งเดือนของศูนย์ติดต่อขนาดกลาง:

• Voxtral Mini Transcribe 3 — $210 ต่อ 1,000 ชั่วโมง ในอัตรา $0.0035/นาที

• Voxtral Small Transcribe 3 — $240 ต่อ 1,000 ชั่วโมง ที่ $0.004/นาที

• Voxtral Mini Transcribe Realtime 3 — $480 ต่อ 1,000 ชั่วโมง ในอัตรา $0.008/นาที

• API เอเจนต์เสียงที่ใช้การให้เหตุผลของ Mistral Small 4 — $2,400 ต่อ 1,000 ชั่วโมงของการสนทนา ในราคา $0.04/นาที

ระดับเอเจนต์มีราคาสูงกว่าระดับการถอดเสียงห้าถึงสิบเอ็ดเท่า ซึ่งเป็นลำดับขนาดที่ถูกต้องเมื่อคุณนึกได้ว่ามันรวมโมเดลการให้เหตุผลและการสังเคราะห์เสียงไว้ด้วย นี่ยังเป็นจุดที่มีส่วนต่างกำไร และการวางตำแหน่งของ Mistral — การยืนยันตัวตน การตรวจสอบบิล การจองนัดหมาย — ถูกเลือกสำหรับสายที่งานหนึ่งงานซึ่งเสร็จสมบูรณ์มีมูลค่ามากกว่าการประมวลผลหนึ่งนาที

ข้อควรระวังเชิงโครงสร้างประการหนึ่งเกี่ยวกับรายการราคาทั้งหมด: ทุกรุ่นที่นี่อยู่ในการพรีวิวสาธารณะ ไม่ใช่ GA และราคาช่วงพรีวิวสำหรับ Speech นั้นเคยมีการเปลี่ยนแปลงมาแล้วในอดีต ไม่มีคำมั่นสัญญาที่เผยแพร่ต่อสาธารณะว่า $0.0035 จะคงอยู่ที่ $0.0035

สิ่งที่ Mistral ไม่ได้เปิดตัว

ไม่มีเวตโมเดล หน้าเปิดตัวระบุว่า Voxtral 3 พร้อมใช้งานผ่าน API ของ Mistral โดยมีเอนด์พอยต์ใน EU สหรัฐฯ และระดับโลก และ “สำหรับการติดตั้งใช้งานเองบนโครงสร้างพื้นฐานของคุณ” — แต่กลับไม่เผยแพร่สัญญาอนุญาต ไม่ระบุจำนวนพารามิเตอร์สำหรับสามในสี่โมเดล และไม่มีรีโพซิทอรีบน Hugging Face เพื่อเป็นบริบท การเปิดตัวระบบเสียงรุ่นก่อน ๆ ของ Mistral สามารถดาวน์โหลดได้: Voxtral Small 24B 2507 เป็น Apache 2.0 บน Hugging Face, Voxtral 4B TTS 2603 เป็น CC-BY-NC-4.0 และ Voxtral Mini 4B Realtime Arabic ถูกเผยแพร่ขึ้นเมื่อวันที่ 8 ตุลาคม โดยไม่มีการประกาศสัญญาอนุญาตเลย การเปิดตัวครั้งนี้เป็นเจนเนอเรชัน Voxtral รุ่นแรกที่ไม่มีสมาชิกใดดาวน์โหลดได้ การติดตั้งใช้งานเองในที่นี้ตีความได้ว่าเป็นสัญญาระดับองค์กร ไม่ใช่การดาวน์โหลด

สิ่งที่ขาดไปเช่นกัน ได้แก่ ความยาวเสียงสูงสุดใด ๆ ตัวเลขบริบทใด ๆ สำหรับระดับ TTS หรือระดับเอเจนต์ และรายละเอียดใด ๆ เกี่ยวกับการเก็บรักษาข้อมูลหรือที่ตั้งข้อมูลนอกเหนือจากภูมิภาคของปลายทาง หากคุณกำลังประเมินสิ่งนี้สำหรับการบันทึกสายโทรที่อยู่ภายใต้การกำกับดูแล ช่องว่างทั้งสามประการนี้คือสิ่งที่ควรปิดในการสนทนาเรื่องการจัดซื้อจัดจ้าง แทนที่จะหาคำตอบจากโพสต์เปิดตัว

วิธีลองใช้งานจริง

Voxtral 3 ยังไม่มีอยู่ในแคตาล็อกของ OrcaRouter ในวันนี้ ดังนั้นเส้นทางในการประเมินจึงเป็น API และ playground Studio ของ Mistral เอง ซึ่งครอบคลุมการถอดเสียง การสร้างเสียงพูด การโคลนเสียง และไปป์ไลน์ของเอเจนต์ จุดที่เราเตอร์ช่วยได้จริงคือครึ่งหลังของการตัดสินใจ: คุณแทบไม่เคยต้องการสแต็กเสียงเพียงชุดเดียว และการวางโมเดลการให้เหตุผลที่จัดการการเรียกใช้เครื่องมือของเอเจนต์ไว้หลังปลายทางเดียว หมายความว่าคุณสามารถเปรียบเทียบ Mistral Small 4 กับโมเดลอื่นอีกกว่าสิบตัวบนทรานสคริปต์เดียวกันได้โดยไม่ต้องสร้างไปป์ไลน์ใหม่ OrcaRouter ส่งผ่านราคาตามรายการของผู้ให้บริการโดยคิดมาร์กอัป 0% และ สลับไปยังผู้ให้บริการรายอื่นโดยอัตโนมัติเมื่อเกิดความขัดข้อง ซึ่งสำคัญที่สุดในสถานการณ์เช่นนี้ — โมเดลระดับพรีวิวที่ยังไม่มีประวัติความพร้อมใช้งานมาก่อน

ลำดับการประเมินที่ใช้ได้จริง ถ้าคุณกำลังทำสิ่งนี้ในสัปดาห์นี้: ลองใช้ไฟล์เสียงที่แย่ที่สุดของคุณเองกับ Voxtral Small Transcribe 3 และ MAI-Transcribe-2 บนไฟล์ 200 ไฟล์เดียวกัน เพราะผู้ขายทั้งสองรายให้คะแนน FLEURS เท่ากัน และมีเพียงไฟล์เสียงของคุณเท่านั้นที่จะตัดสินเสมอได้ จากนั้นลองใช้ tier แบบเรียลไทม์ที่ 960 ms และที่ 2,400 ms แล้วนับว่าตัวตรวจจับจบเทิร์นตัดสายผู้โทรกลางประโยคบ่อยแค่ไหน — โหมดความล้มเหลวนี้สร้างความเสียหายในเอเจนต์สดมากกว่าความแตกต่างของ WER ใดๆ ในกลุ่มนี้ จากนั้นคิดราคานาทีของเอเจนต์เทียบกับอัตรา containment ของคุณ ไม่ใช่เทียบกับบิลการถอดเสียงของคุณ

ดูอะไรดี

สามสิ่งจะตัดสินว่า release นี้จะยังคงคุณค่าได้นานแค่ไหน การรันซ้ำอย่างอิสระต่อข้ออ้างเรื่อง diarization ซึ่งเป็นตัวเลขเดียวในการเปิดตัวครั้งนี้ที่จะเปลี่ยนการตัดสินใจซื้อได้จริง การที่ weights จะถูกเปิดให้ดาวน์โหลดหรือไม่ เพราะ Voxtral ที่ดาวน์โหลดได้จะกลายเป็นตัวเลือกแบบเปิดโดยปริยายสำหรับ diarization ภาษายุโรปทันที และจะบั่นทอนข้อโต้แย้งเรื่องราคาทั้งหมดข้างต้น และ latency ของ agent ที่ต่ำกว่าหนึ่งวินาทีจะคงอยู่บนระบบโทรศัพท์จริงหรือไม่ แทนที่จะเป็นแค่ในเดโมจดหมายส่งต่อผู้ป่วยภาษาฝรั่งเศส — barge-in และการตรวจจับจุดสิ้นสุดการพูดคือจุดที่ voice agent มักล้มเหลว และทั้งสองอย่างก็ไม่ใช่หลักฐานที่ทนทานต่อโพสต์บล็อกของผู้ขาย