Nemotron 3.5 Transcribe מול Voxtral 3: הפער של שתי נקודות שאינו מכריע את העניין

מודל אחד, שלושה שיעורי שגיאת מילים. Artificial Analysis מפרטת NVIDIA Nemotron 3.5 Transcribe ב-3.4% בלוח הדירוג הלא-זורם שלה; ה-FAQ של אותו עמוד מתאר אותו ב-2.8%. בינתיים Mistral Voxtral 3 — המשפחה שמשווקת בשם Voxtral Small Transcribe 3 — נמצאת ב-2.1%, שלישית באותו לוח, ומובילה על פני הנתון הטוב ביותר שפרסמה NVIDIA בכחצי נקודת אחוז. אם לוקחים את 3.4%, הפער נראה חד-משמעי. אם לוקחים את 2.8%, הוא נמצא בתוך תחום הרעש שהמדד הזה הראה בין נקודות הקצה השונות של השירות. ואם מסתכלים על תת-הציון שעוסק באודיו שיחתי, הדירוג מתהפך.

שני מספרים למודל אחד, ואף אחד מהם אינו שקר

הנתונים 3.4% ו-2.8% מגיעים מאותו לוח דירוג ובאותו יום. הם שונים משום ש-AA-WER v2 מחושב מול פרוסת הערכה ספציפית דרך נקודת קצה ספציפית של שירות, והמדד נע היסטורית בכמעט נקודת אחוז שלמה בין ספקים שמריצים את אותו צ'קפוינט. הנתון 2.8% של NVIDIA הוא המספר שהחברה מצטטת בחומרי ההשקה שלה; הנתון 3.4% הוא מה שהלוח מציג עבור נקודת הקצה שהיא בדקה בפועל. אף אחד מהם אינו מפוברק, ואף אחד מהם לא אמור להיות מופחת מה-2.1% של Mistral כאילו השניים נמדדו על חומרה זהה, בדיוק זהה, מול אודיו זהה.

זה לא הופך את הפער לחסר משמעות. זה הופך אותו לטווח: איפשהו בין 0.6 ל־1.3 נקודות לזכותו של Voxtral במדד האצווה, כאשר הערך האמיתי תלוי באיזו נקודת קצה משתמשים. בפריסת שירות לקוחות, שבה כל נקודת WER עולה בדקות של בדיקה אנושית, זה שווה כסף. במוצר לסיכומי פגישות, שבו אדם ממילא מעיף מבט חטוף על הפלט, זה לא.

מהיכן בעצם נובע ההבדל

מדד AA הוא ממוצע על פני שלושה רכיבים: VoxPopuli, Earnings-22 ו-AgentTalk. השניים הראשונים הם דיבור נקרא ושיחות רווחים — נקיים, בדובר יחיד, מוקלטים היטב, מסוג האודיו ששני המודלים מתמודדים אתו היטב. AgentTalk הוא שיחתי ורועש יותר. באותה פרוסה, המודל של NVIDIA מדווח כמגיע ל-1.8% לעומת 2.3% של Voxtral Small, וזה היפוך ממשי והמספר המעניין ביותר בהשוואה.

• VoxPopuli ו-Earnings-22 — Voxtral Small מוביל; קורפוסים אלה מתגמלים מודל שמכוונן על דיבור נקי וארוך.

• AgentTalk — Nemotron מוביל, עם 1.8% לעומת 2.3%, באודיו שיחתי שמזכיר שיחת תמיכה אמיתית או פגישה עם דיבורים חופפים.

• מדד כולל — {{1}}Voxtral Small ב-2.1%, Nemotron בין 2.8% ל-3.4%{{/1}}. רכיבי הדיבור הנקי נושאים מספיק משקל כדי ליצור את הסדר הזה.

הדפוס הזה עקבי עם שתי הארכיטקטורות. Voxtral Small הוא מודל תמלול שאומן להיות מצוין בתמלול; הצ'קפוינט של NVIDIA הוא מודל שפה עם מקודד דיבור מוברג לחזיתו, ומודלי שפה נוטים להצליח יותר כאשר האודיו מבולגן וההקשר שיחתי. זה גם מסביר מדוע הניצחונות הגדולים ביותר ש-NVIDIA טוענת להם אינם ב-WER נקי כלל: cpWER ממוצע של 15.80 בדיבור חופף עם ייחוס דובר, ו-WER של ישויות בעלות שם שיורד מ-12.21% ל-2.20% כאשר מספקים רשימת ישויות.

גם טבלאות הספקים אינן חופפות זו לזו

מיסטרל מפרסמת את ה-WER בממוצע־מאקרו של FLEURS-45: 4.1% בשפה מאולצת ו-4.0% בשפה מוסקת עבור Voxtral Small Transcribe 3, לעומת 4.6% עבור ה-4B Mini האח שלה ו-16.0% עבור Whisper large-v3. NVIDIA מפרסמת את Open ASR Leaderboard: 4.71% בממוצע על פני תשע ערכות נתונים באנגלית ו-4.62% על פני שבע ערכות רב-לשוניות. שתיהן מערכות בדיקה שמפעיל הספק על קורפוסים שונים עם נרמול שונה, והערכים הכמעט זהים הם צירוף מקרים, ולא השוואה ראש בראש. כל מי שמציג את 4.0 מול 4.62 כניצחון של 0.6 נקודות משווה ציון FLEURS לציון Open ASR.

למספרי הדיאריזציה יש אותה בעיה בכיוון ההפוך. Mistral מדווחת על 18.4% WER משורשר בתמורה מינימלית ב-AMI, Switchboard, CallHome ו-AISHELL-4. NVIDIA מדווחת על cpWER ממוצע של 15.80 על מערך רב-דוברים משלה. המספר של NVIDIA נמוך יותר והמערך שלה שונה; בלי קורפוס משותף, ההצהרה היחידה שאפשר להגן עליה היא ששתי החברות מאמינות שהן גוברות על הקסקדות הייעודיות שכנגדן בדקו, ואף אחת מהן לא פרסמה ריצה על הנתונים של האחרת.

מה Voxtral 3 עושה ש-Nemotron לא יכול לעשות

השחרור של Mistral הוא משפחה, לא צ'קפוינט, והמשפחה מכסה תחומים שמודל האופליין הבודד של NVIDIA אינו מכסה.

• רוחב שפות — Voxtral Small Transcribe 3 מכסה 50+ שפות, כולל כל 24 השפות הרשמיות של האיחוד האירופי; NVIDIA מכסה 40, עם תוויות דובר ב-13.

• זמן אמת — Voxtral Mini Transcribe Realtime 3 מזרים בהשהיה של פחות מ-500 מ"ש תמורת $0.008 לדקה, עם שיעור שגיאות מילים (WER) של 7.4% בהשהיה של 240 מ"ש ו-5.7% ב-2,400 מ"ש. ל-NVIDIA אין מצב זרימה עבור נקודת ביקורת זו בשום מחיר.

• סוכני קול — השקת Voxtral 3 כללה SDK לסוכן קולי מבוסס LiveKit, שמשרשר תמלול, מודל חשיבה עם קריאות לכלים ויצירת דיבור, עם קטיעה באמצע הדיבור וטלפוניה SIP. זוהי קטגוריית מוצרים שלמה שנקודת הביקורת של NVIDIA אינה מטפלת בה.

פשוט לתפעול — תמחור לפי דקה, ללא GPU, ללא מערך הגשה, נקודות קצה באיחוד האירופי, בארה״ב ובגלובליות. עבור צוות בלי תשתית, זה ההבדל בין אינטגרציה של יומיים לאינטגרציה של חודשיים.

• הטיה הקשרית — 94.6% שחזור ביטויי מפתח עם הקשר לעומת 81.4% בלעדיו, על Earnings-22. דומה ברוחה למנגנון רשימת הישויות של NVIDIA, ונמדדה על קורפוס אחר.

מה Nemotron עושה ש-Voxtral 3 לא יכול לעשות

הרשימה ההפוכה קצרה יותר אך כבדה יותר עבור הקונה המתאים.

• משקלים פתוחים — OpenMDW-1.1, שימוש מסחרי מותר, פורסם ב־BF16, FP8, NVFP4 ו־GGUF. העמוד של Mistral מציע גישה ל־API ו"פריסה עצמית על התשתית שלך" דרך Mistral, ונכון למועד הפרסום אינו מפרסם משקלים, רישיון או checkpoint. אם צוות הציות שלך צריך לבצע ביקורת על הארטיפקט, רק אחד מאלה קיים לצורך ביקורת.

• מעבר יחיד של שעה — 65,536 אסימוני הקשר והקלטות של עד שעה. Mistral אינה מפרסמת אורך הקלטה מרבי או חלון הקשר עבור Voxtral 3, וזה כשלעצמו סיבה לבדוק לפני שמתחייבים לזרימת עבודה ארוכת טווח.

• תרגום — 31 שפות בשני הכיוונים, מאנגלית ואליה. דף ההשקה של Voxtral 3 מתעד תמלול, דיאריזציה והטיית הקשר; הוא אינו מתעד משימת תרגום דיבור כפי שצ'קפוינט של NVIDIA עושה.

• פלט הניתן להנחיה — חמישה סגנונות תמלול שנבחרים לפי הוראה, ולא פורמט אחד בתוספת עיבוד לאחר.

• הבנה שמעית — מענה על שאלות וביצוע הוראות מדוברות על גבי ההקלטה. אנגלית בלבד בנקודת הביקורת הזו, ואינה מתועדת בשום מקום בחומרי ההשקה של Voxtral 3.

השוואת העלויות לא צמודה, וזו בדיוק הנקודה.

Voxtral Small Transcribe 3 עולה $0.0040 לדקה, או $0.24 לשעת אודיו. ה-4B Mini עולה $0.0035, או $0.21 לשעה. המחיר המפורסם של NVIDIA עבור שירות מתארח הוא $2.00 לכל 1,000 דקות, או $0.12 לשעה. אירוח עצמי הוא חשבון אחר לגמרי: בקצב המוצהר של NVIDIA — 2,238 שניות אודיו לשנייה על RTX PRO 6000 Blackwell אחד — אלף שעות אודיו, 3.6 מיליון שניות, דורשות כ-27 דקות של זמן GPU. אפילו במחצית מהתפוקה הזו, שהיא מה ש-NVIDIA אומרת שהאינטגרציה בקוד פתוח מספקת, זה פחות משעה.

• 1,000 שעות בחודש — Voxtral Small‏ $240, Voxtral Mini‏ $210, Nemotron באחסון מארח $120, Nemotron באחסון עצמי בסביבות $2 של זמן GPU בתעריף השכרה של $2 לשעה, בתוספת עלויות תפעול.

• 10,000 שעות בחודש — 2,400$, 2,100$, 1,200$, וכ-20$ של זמן GPU, בהתאמה.

• המלכוד — מסלול האחסון העצמי מניח שכבר יש לך את ה-GPU, את מערך ההגשה ומישהו שיכול להשאיר את זה פועל. כרטיס RTX PRO 6000 בודד הוא רכישה הונית בת חמש ספרות; בקצב של 1,000 שעות בחודש לא תספיק להחזיר את ההשקעה לפני שהדור הבא יושק. ב-10,000 שעות ההשקעה מוחזרת בתוך חודשים.

• המלכודת הנוספת — נתוני התפוקה האלה תלויים ב-NVFP4 בתוספת מודל הטיוטה DFlash2, והשילוב הזה משבית חותמות זמן של מילים. אם אתה זקוק ליישור, אתה מריץ תצורה איטית יותר מזו שבטבלת השיווק.

אז טיעון התמחור מתפצל לפי נפח ולפי השאלה אם האודיו רשאי לצאת מהרשת שלכם. התעריף לדקה של Mistral זול מספיק כדי שרוב הצוותים שמתחת לכמה מאות שעות בחודש לא יצטרכו לחשוב על GPUs בכלל. מעל עשרת אלפים שעות, אירוח עצמי של צ'קפוינט פתוח הופך לאפשרות הזולה יותר בסדר גודל, והעומס התפעולי הוא השאלה האמיתית היחידה.

מבחן 50 השעות

כל מספר שלמעלה הוא אודיו של מישהו אחר. לפני שאתם מחליטים להעביר אחד משני המודלים למסלול ייצור, תמללו חמישים שעות מההקלטות שלכם באמצעות שניהם, ותדרגו אותן כפי שהמשתמשים שלכם ידרגו: שמות ישויות נכונים, תורות דובר נכונות, מספרים וסכומי מטבע נכונים, והמבטאים הספציפיים של הלקוחות שלכם. מדד AA לא יגיד לכם איזה מודל מתמודד טוב יותר עם מוקד שיחות בגלאזגו, וגם לא מערך הבדיקות של אף אחד מהספקים.

המבחן הזה הוא גם המקום שבו ראוטר מועיל למשהו שאינו עלות. OrcaRouter מציב את קריאות הטקסט במורד הזרם — סיכום, חילוץ ישויות, השחרה, תרגום של התמלול המוגמר — מאחורי מפתח אחד עם 0% תוספת מחיר, כאשר מחיר המחירון של הספק מועבר הלאה, ומעבר אוטומטי בין ספקים במקרה של תקלה, ו-DSL לניתוב שיכול לשלוח שלבים שונים למודלים שונים בתהליך עבודה אחד. לא Nemotron 3.5 Transcribe ולא Voxtral 3 נמצאים בקטלוג של OrcaRouter, כך שהראוטר לא עוזר לך לבצע קריאות אליהם; הוא עוזר לך לעבד את מה שהם מחזירים בלי להקים קשר עם ספק נוסף עבור שכבת הטקסט.

ההכרעה תלויה באיזה משפט מתאר את הבעיה שלכם. אם זה "אנחנו צריכים תמלול מדויק בחמישים שפות, אנחנו לא רוצים להחזיק GPU, ולזמן ההשהיה יש חשיבות", Voxtral Small Transcribe 3 הוא המוצר הטוב יותר, וה-2.1% הם סיבה אמיתית. אם זה "אנחנו צריכים תמלולים עם ייחוס דוברים של פגישות בנות שעה, תרגום, ופריט שניתן לצוות הציות שלנו לבחון", Nemotron 3.5 Transcribe הוא האפשרות היחידה ברשימה הזו שעונה על כל שלושת הדברים, ונקודת WER בדיבור קרוא נקי היא המחיר של זה. אם זה "אנחנו צריכים את שניהם", התשובה הכנה היא שהם לא תחליפים, והצוותים שמפיקים את המרב מהדור הזה מריצים אחד עבור אודיו חי והשני עבור הארכיון.