Granite Speech 5.0 2B לעומת Whisper large-v3-turbo: IBM מנצחת בבנצ'מרקים, Whisper מנצח ב-99 שפות

לפי שני המספרים שרוב האנשים בודקים קודם, Granite Speech 5.0 2B מנצח את Whisper large-v3-turbo וזה לא צמוד. המודל של IBM מציג בממוצע שיעור שגיאות מילים של 5.06% על פני תשעת מערכי המבחן האנגליים קצרי-הטווח של Open ASR Leaderboard ב-570 RTFx; צ'קפוינט ה-turbo של OpenAI מציג בממוצע 7.83% ב-200 RTFx באותו לוח. מהיר יותר ומדויק יותר, על אותו מבחן, בהפרש של כשנתיים במועד השחרור. אם האודיו שלכם באנגלית והאודיו שלכם נקי, זו כל ההשוואה ואפשר להפסיק לקרוא. הכשלים המתועדים של AI ותקריות הסוכנים שמאחורי גרסאות כמו זו נאספים בארכיון התקריות של OrcaRouter AI שבו כל ערך נושא את המקורות שלו, חומרה, דירוג ביטחון וסימון שנוי במחלוקת.

הסיבה שהעמוד הזה עדיין צריך להתקיים היא המספר השלישי: 99. Whisper large-v3-turbo מכסה תשעים ותשע שפות; Granite Speech 5.0 2B מכסה שש שפות לתמלול ומתרגם לשתיים נוספות. יתרון של 2.8 נקודות ב-WER באנגלית אינו שווה דבר אם האודיו הוא בווייטנאמית. לכן השאלה האמיתית אינה איזה מודל טוב יותר — אלא אם תמהיל השפות שלך נכנס לקופסה של שש שפות, ומה עולה ההגירה אם כן.

מהו למעשה Whisper large-v3-turbo

כדאי להיות מדויקים כאן, כי השם הזה מיוחס לדברים שאינם הוא. Whisper large-v3-turbo הוא הגרסה המגוזמת של OpenAI ל-large-v3: המקודד לא השתנה, אבל למפענח יש 4 שכבות במקום 32. השינוי הבודד הזה מעביר את המודל מ-1,550 מיליון פרמטרים ל-809 מיליון ומשליש בערך את התפוקה, תוך ויתור על מעט יחסית מהדיוק — ולכן הוא הפך לצ'קפוינט ברירת המחדל ל-ASR מהיר ברחבי המערכת האקולוגית בתוך חודשים משחרורו באוקטובר 2024.

שלושה מאפיינים נובעים מאותו עיצוב, וכולם חשובים להשוואה הזו:

• זהו מודל תרגום שבמקרה עבר גיזום, ולכן הוא יורש תמלול וזיהוי שפה ב-99 שפות — אך גרסת הטורבו היא לא אומנה לתרגום. בניגוד ל-large-v3, היא מתמללת ומזהה שפה; היא אינה מציגה דיבור בשפה אחת כטקסט בשפה אחרת. צוותים מגלים זאת לעתים קרובות לאחר שבנו עליה.

המפענח הוא אוטורגרסיבי. הוא כותב אסימונים, 4 שכבות בכל פעם, ולכן התפוקה שלו עומדת על 200 RTFx ולא באלפים. המהירות של Whisper נבעה מהסרת שכבות, לא משינוי פרדיגמת הפענוח.

• הוא ברישיון MIT, אשר בפועל מתירני יותר מ-Apache 2.0 בדיוק בהיבט אחד שחשוב לחלק מהצוותים המשפטיים: אין סעיף הענקת פטנטים לניתוח, ואין קובץ ייחוס להפיץ.

היתרון האמיתי של Whisper מעולם לא היה ה-benchmark. מדובר בשנתיים של כלים — faster-whisper, whisper.cpp, נקודת קצה מנוהלת של כל ענן, מתכוני קוונטיזציה, ספריות חותמות זמן ברמת המילה, ומערכי דיאריזציה שנבנו על גביו. המערכת האקולוגית הזו היא עלות מעבר אמיתית, וההשוואה הזו חייבת להביא אותה בחשבון ביושר.

היכן שהפער אמיתי, והיכן שהוא ארטיפקט של מערכת הבדיקה

ההשוואה בין 5.06% ל-7.83% היא על אותו לוח תוצאות, מה שהופך אותה ללגיטימית יותר מרוב המספרים המשווים בין ספקים שונים — אך היא אינה הרצה בתנאים זהים, והפרטים פועלים לשני הכיוונים.

• הנתון של Granite מגיע מהרצת ההערכה של IBM עצמה שהוגשה ללוח הדירוג, ותוארה בבלוג ההכרזה כ"לא רשמי, נכון ל-15 באוקטובר 2026". כרטיס המודל מכנה את אותן התוצאות "רשמיות" נכון ל-20 באוקטובר. תבחרו איזה שם תואר שתרצו; אף אחד מחוץ ל-IBM לא שחזר אותו.

• נתון Whisper הוא התוצאה שפורסמה בלוח הדירוג עבור נקודת הביקורת, והורצה באמצעות מערכת ההרצה של לוח הדירוג עצמו, שהיא pipeline שונה מזו של IBM.

• שני המספרים הם ממוצעים על פני תשע ערכות בדיקה ציבוריות, שרובן דיבור אנגלי נקרא מ-LibriSpeech, Gigaspeech, SPGISpeech, Earnings-22, AMI ו-VoxPopuli. החולשה של Whisper בלוח הזה מתועדת היטב והיא מבנית: היא אומנה על 680,000 שעות של אודיו אינטרנטי בפיקוח חלש, מה שקונה רוחב יריעה במחיר של פורמט מדויק.

• באודיו משדה רחוק ורועש הסדר נשמר. טבלת FFASR — ממוצע של שדה קרוב, SNR גבוה, SNR בינוני ו-SNR נמוך — מציבה את whisper-large-v3 ב-18.02%, ואת Granite Speech 5.0 2B ב-14.80%. שימו לב שמדובר ב-large-v3, לא ב-turbo; turbo בדרך כלל קצת גרוע יותר מהורה שלו באודיו קשה, מפני שיש לו פחות שכבות מפענח כדי להתאושש מניחוש אקוסטי שגוי.

אז פער הדיוק הוא כנראה אמיתי בכיוונו, וכנראה קטן מ־2.8 נקודות במאבק הוגן. מה שאין עליו עוררין הוא מהיכן הוא נובע: המפענח של Whisper מתבקש לבצע זיהוי שפה, תעתוק, פיסוק, אותיות רישיות ויישור חותמות זמן בבת אחת עם ארבע שכבות, בעוד שהארכיטקטורה של Granite מפרידה בין העבודה האקוסטית (מקודד CTC עם ראשי תווים ו-BPE) לבין יצירת הטקסט (מודל שפה של 1B).

תיבת השפה, מכומתת

כאן מתקבלת ההחלטה, ולכן היא ראויה ליותר מאשר מספר בתבליט.

• Granite Speech 5.0 2B מתמלל אנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית ויפנית, ומתרגם בין שש השפות הללו לאנגלית, וכן מאנגלית לאיטלקית ומאנגלית למנדרינית.

• Whisper large-v3-turbo מתמלל תשעים ותשע שפות ומזהה איזו מהן הוא שומע. הוא אינו מתרגם.

• האח בעל שבע השפות של Granite, ‏Granite Speech 5.0 470M TurboCTC, מוסיף את האיטלקית למערך התמלול — כך שהמשפחה מכסה שבע שפות אירופיות ויפנית, ולא שש.

תשעים ותשע מול שבע הם כל הטיעון בעד Whisper, והוא טיעון חזק. אבל הפריסה המעשית חשובה יותר מהמניין. אם האודיו שלך באנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית, יפנית ואיטלקית, Granite מכסה את זה. אם אתה זקוק להינדי, ערבית, קוריאנית, טורקית, פולנית, וייטנאמית, אינדונזית, הולנדית, שוודית או כל אחת מתשעים ומשהו האחרות, Whisper הוא היחיד מבין השניים שעובד — ושום מידת יתרון WER באנגלית לא תשנה את זה.

המקרה האמצעי הוא זה שרוב הצוותים נמצאים בו למעשה: מוצר שרובו אנגלית עם זנב ארוך של שפות שמגיע בכמה אחוזים מהמקרים. שני מודלים, אחד לכל שכבה, הם תשובה נורמלית ונכונה — והיא זולה יותר ממה שזה נשמע, כי הזנב הוא המקום שבו הנפח נמוך.

אודיו ארוך, חותמות זמן והדברים שנשברים בקנה מידה גדול

סיפור הפריסה של Whisper בשל בדרכים שלא באות לידי ביטוי באף benchmark. חותמות זמן ברמת המילה, זיהוי פעילות דיבור, דיאריזציה של דוברים, סטרימינג עם פענוח במקטעים — כל אלה קיימים, כולם נבחנו בשטח, וחלק ניכר מהם מניח את חלון 30 השניות של Whisper ואת אסימוני חותמות הזמן שלו.

Granite Speech 5.0 2B מקבל צורה אחרת. IBM ממליצה על מקטעים באורך של עד כ-2 דקות, עם פיצול באמצעות VAD בהקלטות ארוכות יותר, ומודל השפה רואה הטמעות בתדר 10 Hz בתוך הקשר מורחב ב-YaRN של 16k. אין ראש חותמות זמן ברמת המילה בנקודת הבידוק הבסיסית של 2B — דור 4.1 סיפק גרסת "-plus" נפרדת עבור ASR עם ייחוס דובר וחותמות זמן ברמת המילה, ועדיין לא קיימת גרסת 5.0 מקבילה.

זהו פער אמיתי אם אתם בונים כתוביות, תמלולי פגישות עם תוויות דובר, או כל דבר שצריך לנווט אל ביטוי. הבלוג של 5.0 אכן מתאר שיפורי חותמות זמן, אבל הם שייכים ל-granite-speech-4.1-2b-plus המחודש, ולא ל-5.0 2B.

• נדרשות חותמות זמן ברמת המילה — Whisper large-v3-turbo היום; Granite 4.1-2b-plus אם אתה רוצה את משפחת Granite ויכול להסתפק במודל האקוסטי הישן יותר.

• צריך ייחוס דובר — אותה תשובה; ה-5.0 2B לא עושה את זה.

• נדרש דיוק לטווח ארוך מעבר לכמה דקות — הנחיית המקטעים של שתי דקות של Granite היא גבול מעשי, ולחלוקה למקטעים של 30 שניות של Whisper עם התניה על הטקסט הקודם יש מצב כשל ידוע משלה (לולאות חזרה על שקט). אף אחד מהם אינו בבירור טוב יותר; שניהם זקוקים ל-VAD לפניהם.

שני מאפיינים שיש ל-Granite ושאין ל-Whisper turbo

הטיית מילות מפתח. Granite Speech 5.0 2B מקבל רשימת מילות מפתח של עד 2,000 מונחים לכל פרומפט, ואומן על 23,600 שעות של אודיו עם הטיית מילות מפתח בקרב קבוצות השפות האירופיות והיפניות. ל-Whisper אין ממשק מקביל — הקרוב ביותר הוא מחרוזת פרומפט שמשפיעה קלות על הסגנון ואוצר המילים, בלי אימון מאחוריה. בפריסה שמתמללת שמות מוצרים, שמות תרופות, מזהי פניות או מילון מונחים של הלקוח עצמו, זהו ההבדל השימושי ביותר בין שני המודלים, והוא אינו בא לידי ביטוי בשום ממוצע WER.

הנחיה לזיהוי שפה. אפשר לומר ל-Granite באיזו שפה האודיו נמצא ולהורות לו לתמלל ולא לתרגם. Whisper מזהה שפה באופן אוטומטי, ובגרסת ה-turbo רק מתמלל. בקורפוס רב-לשוני שבו אתה כבר יודע את השפה מהמטא-דאטה, כפיית השפה מסלקת מחלקה שלמה של שגיאות — Whisper לעיתים מזהה בטעות קטע קצר ואז מתמלל בביטחון בשפה הלא נכונה.

המיגרציה, בצעדים שבאמת עובדים

אם שאלת השפה תתבהר, המעבר יהיה פחות כואב ממה שפער האקוסיסטם מרמז, מפני שלמרבית הצינורות המבוססים על Whisper כבר יש את התפר שאתם זקוקים לו.

1. שמרו על ה-VAD שלכם. שני המודלים רוצים מקטעים, לא קבצים. כל מה שאתם משתמשים בו כדי לפצל אודיו ל-Whisper יעבוד גם עבור Granite, עם עד שתי דקות למקטע במקום שלושים שניות.

2. החלף את קריאת הפענוח, לא את התשתית. Granite נטען דרך AutoModelForSpeechSeq2Seq ו-AutoProcessor ב-transformers>=4.52.1, או דרך vLLM, llama.cpp ב-Q8_0, או mlx-audio על Apple Silicon. אם השירות שלך מפעיל תהליך חיצוני ל-faster-whisper, אתה מחליף קריאת מודל מקומית אחת באחרת.

3. שכתבו את הפרומפט. Granite מונחה הוראות, והפרומפט בוחר את המצב: תמלול גולמי, תמלול עם פיסוק, מוטה לפי מילות מפתח, עם מזהה שפה מוצמד. זהו השלב שצוותים מדלגים עליו, ואז הם מסיקים שהמודל גרוע יותר כי הם האכילו אותו בהתנהגות ברירת המחדל של Whisper.

{{1}}4. קבע מחדש את קו הבסיס של מדד ה-WER שלך על האודיו שלך, לא על LibriSpeech. זה לא עניין פורמלי. החולשה של Whisper בלוח המובילים היא עיצוב וסחיפה במקטעים ארוכים; אם האודיו שלך הוא קטעים אנגליים נקיים באורך 30 שניות ושלב ההמשך שלך הוא מודל שפה שמתקן עיצוב, הפער הנמדד שלך עשוי להיות קרוב לאפס — או, אם האודיו שלך עם מבטא ומגיע ממרחק, גדול מ-2.8 נקודות.{{/1}}

5. השאר נתיב גיבוי. כיסוי השפות שאינן אנגלית של Granite Speech 5.0 2B הוא גבול קשיח, וגלאי שפה לפני המודל אינו אופציונלי במוצר רב-לשוני. כל מה שמחוץ לשבע השפות מנותב אל Whisper.

היכן שכבת הניתוב מצדיקה את מקומה

השלב החמישי הוא החלק במיגרציה הזו שהופך לארכיטקטורה. ניתוב לפי שפה ואיכות לפני שני מודלי דיבור, ובנוסף מודל השפה שינקה את התמלול לאחר מכן, הם שלוש קריאות מודל לכל קובץ, ושלוש אינטגרציות נפרדות של ספקים הן הדרך שבה צינור פשוט הופך לבעיית תחזוקה.

OrcaRouter הוא נקודת קצה אחת תואמת OpenAI מעל 200+ מודלים במחיר המחירון של הספק ללא תוספת מחיר, כך ששלב העיבוד המאוחר — הניקוי, הסיכום, חילוץ השדות — יכול להיות מוחלף או להיבדק ב-A/B בלי לגעת בקוד הדיבור, והשבתה של ספק עוברת לספק חלופי במקום להכשיל את המשימה. ה-DSL של הניתוב יכול להכיל את כלל הניתוב עצמו: לזהות את השפה, לשלוח את שבע השפות הנתמכות ל-checkpoint Granite באירוח עצמי, לשלוח את כל השאר ל-Whisper, ולמסור את התמלול למודל הניקוי שהמשימה דורשת. המעבר האחרון הזה הוא זה שאנחנו יכולים למעשה לספק היום; לא Granite Speech 5.0 2B ולא Whisper large-v3-turbo נמצאים בקטלוג שלנו, כך שמודלי הדיבור נשארים על החומרה שלך והניתוב מתחיל שלב אחד במורד הזרם, שם הוא עדיין מסיר את רוב עבודת האינטגרציה.

מי צריך לעבור, ומי לא

עבור אם האודיו שלך באנגלית ובשש שפות Granite, הדיוק שלך חשוב יותר מההיכרות שלך עם המערכת האקולוגית, אתה צריך הטיה של מילות מפתח או שפה כפויה, ואתה יכול להסתדר בלי חותמות זמן ברמת המילה לעת עתה. 5.06% לעומת 7.83% הוא פער אמיתי בכיוון שחשוב, ו-570 RTFx לעומת 200 RTFx אומר שהמעבר כנראה מפחית את חשבון ה-GPU שלך בו-זמנית.

אל תעבור אם אתה זקוק לאחת מתשעים ושתיים השפות האחרות, חותמות זמן ברמת המילה, ייחוס דובר או נקודת קצה מנוהלת — Granite Speech 5.0 2B אינו פרוס על ידי אף ספק אינפרנס נכון למועד כתיבת הדברים, ואירוח עצמי הוא הדרך היחידה אליו כיום. Whisper large-v3-turbo זמין בכל מקום, כולל במקומות שלא יאפשרו לך להריץ את ה-GPUs שלך.

הרץ את שניהם אם יש לך זנב שפות ארוך. השיגור זול, הזנב בעל נפח נמוך בהגדרה, והוא מסיר את הטיעון היחיד שנותר ל-Whisper.