Nemotron 3.5 Transcribe לעומת Granite Speech 5.0 470M TurboCTC: פי 64 פרמטרים, פי 43 איטי יותר

האובייקט השימושי ביותר בהשוואה הזו הוא קובץ בגודל 279 מגה-בייט. זהו כיול Q4_K_M של Granite Speech 5.0 470M TurboCTC, המזהה-דיבור מבוסס-מקודד בלבד של IBM, והוא יתמלל אנגלית על מעבד של מחשב נייד ללא GPU, ללא סביבת Python ראויה לשמה וללא חוזה שירות. Nemotron 3.5 Transcribe, שאותו פרסמה NVIDIA כמשקולות פתוחות ב-28 באוקטובר 2026, הוא מודל שפה מתוגבר בדיבור בעל 30 מיליארד פרמטרים שדורש מאיץ ברמת מרכז נתונים וכ-60 גיגה-בייט של משקולות BF16. המודל של NVIDIA גדול פי 64, ולפי נתוני התפוקה שכל ספק מפרסם, איטי בערך פי 43 לכל שנייה של GPU. הוא גם היחיד מבין השניים שיכול לומר לך מי דיבר.

אף אחת מהעובדות האלה אינה מכרעת. הן מתארות שתי מכונות שונות שבמקרה נמדדות על אותו לוח דירוג, והשאלה כולה היא אם עומס העבודה שלך זקוק למרחב או רק למילים.

מודל CTC לא-אוטורגרסיבי לעומת LLM גנרטיבי לדיבור

Granite Speech 5.0 470M TurboCTC מורכב משישה־עשר בלוקי Conformer עם שכבת פלט BPE בת 16,384 יחידות, מאומן עם מטרת CTC ומפוענח באופן חמדני. אין מודל שפה, אין מקרן ואין לופ יצירה: אודיו נכנס, ויוצא רצף תוויות סינכרוני למסגרות, שדגימתו מדוללת מ־100 Hz ל־12.5 Hz. התכנון הזה הוא הסיבה לכך שהוא מהיר, לכך שהוא קטן, ולכך שהוא לא יכול לעשות דבר שקבוצת התוויות אינה מכסה. אין לו תפיסה של הנחיה, אין סגנון פלט, אין יעד תרגום ואין שדה דובר.

Nemotron 3.5 Transcribe הוא הארכיטקטורה ההפוכה, וההבדל אינו פער דורות. מקודד דיבור מזין למודל Nemotron 3 Diarization קפוא, שאות פעילות הדובר שלו מוחדר אל המקודד דרך Parallel Expert Encoder, ומפענח היברידי מסוג Mamba–Transformer עם תערובת מומחים מפיק את התמלול כטקסט, כאשר כארבעה מיליארד מתוך 30 מיליארד הפרמטרים שלו פעילים לכל טוקן. מכיוון שהפלט נוצר ולא מסווג, ניתן להנחות אותו: בצורה מילולית או כתובה, רשימת ישויות צפויה, יעד תרגום, פלט עם ייחוס דובר, או תשובה מדוברת לשאלה על האודיו.

פרמטרים — כ-30B בסך הכול, כ-4B פעילים לכל טוקן לעומת 470M במקודד בלבד.

• פענוח — יצירה אוטורגרסיבית באמצעות MoE של 30B לעומת CTC חמדני לא-אוטורגרסיבי.

• רישיון — OpenMDW-1.1 לעומת Apache-2.0 (המתירנית מבין השתיים; הגרסה האחות הנפרדת של IBM עם הסיומת -nc היא CC-BY-NC-SA-4.0).

• טביעת רגל — כ-60GB ב-BF16, NVFP4 וארכיוני GGUF מוצעים לעומת 279MB ב-Q4_K_M בפורט GGUF קהילתי.

• שפות — 40 מתומללות, 31 מתורגמות לעומת 7 (אנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית, איטלקית, יפנית) לאחר העדכון הרב-לשוני ב-21 באוקטובר 2026.

• דוברים — עד 8, עם ייחוס דובר, ב-13 שפות לעומת ללא; דיאריזציה דורשת מודל נפרד.

• חותמות זמן — ברמת המילה באמצעות מתאם CTC לאחר פענוח לעומת ללא מתאם; מיקומי שיא של CTC אינם גבולות מילים.

• סטרימינג — אין, אודיו מוקלט בלבד לעומת אין.

פער הדיוק קטן יותר מפער הגודל, והממוצעים אינם תואמים.

IBM מדווחת על שיעור שגיאת מילים ממוצע של 5.51% על פני תשע ערכות בדיקה אנגליות ציבוריות עבור מהדורת TurboCTC הרב-לשונית, שיפור מ-5.78% בהשקה באוגוסט. NVIDIA מדווחת על WER אנגלי ממוצע של 5.33% בלוח המובילים Open ASR של Hugging Face, ועל 4.71% על פני תשע ערכות בדיקה ציבוריות בעמוד המחקר שלה. שני המספרים מדווחים על ידי הספקים, ושני הממוצעים אינם אותו שילוב: תשע הערכות של IBM והרשומה של NVIDIA בלוח עם שמונה ערכות נבדלות בהרכב ובנרמול, והנתון הנפרד של תשע ערכות בעמוד המחקר שונה שוב מהרשומה שלה בלוח המובילים. אל תחסרו זה מזה ותקראו להפרש פער איכות. הקביעה הניתנת להגנה צרה יותר — בלוח המובילים הציבורי לדיבור אנגלי קצר שני אלה נמצאים בטווח של כמה עשיריות נקודה זה מזה, וזו תוצאה יוצאת דופן עבור מודל קטן פי 64, ואזהרה לגבי כמה מהממוצע של לוח מובילים הוא דיבור קריא ונקי בסגנון LibriSpeech.

שיעור שגיאות המילים גם מסתיר את הדבר שבאמת מבדיל ביניהם. Granite הוא מסווג: הוא מפיק את רצף התוויות הסביר ביותר, וכאשר האקוסטיקה דו-משמעית הוא מפיק משהו סביר. Nemotron מייצר טקסט עם מודל שפה מאחוריו, וזו הסיבה שהטענה שלו בדבר פרומפטינג הקשרי — צמצום פי שישה בשגיאות זיהוי ישויות בשם ב-ContextASR-Bench כאשר רשימת ישויות נמצאת בפרומפט — בכלל אפשרית. בתמלול של שיחת מכירה מלאה בקודי מוצרים, למודל הקטן אין מנגנון להטיה ולגדול יש.

תפוקה: 19,870 RTFx לעומת 462

הרשומה של Nemotron 3.5 Transcribe בלוח המובילים של Hugging Face מציינת RTFx של 462.09 — כלומר המודל מעבד בערך 462 שניות של אודיו לכל שנייה של מחשוב במערך הבדיקות של לוח המובילים. עדכון אוקטובר של IBM מדווח על 19,870 RTFx עבור TurboCTC על H200 בודד, לעומת כ-12,600 בעת ההשקה, לאחר אופטימיזציית שימוש חוזר בגרף של בלוק יחיד. זהו הבדל פי ארבעים ושלושה, ובשונה מנתוני ה-WER, הוא לפחות נמדד על שני מאיצים תחרותיים ולא על שני תערובות בדיקה שונות.

הכברה של NVIDIA עצמה היא סוג אחר של מספר: עד 2,238 שניות אודיו לשנייה על RTX PRO 6000 Blackwell אחד, תוך שימוש ב-checkpoint‏ NVFP4 ובמודל טיוטה DFlash2. זה גבוה יותר מה-462 של לוח הדירוג משום שזו מדידה אחרת — קטעים באורך 30 שניות במקביליות גבוהה, כפי שמציין הפוסט של NVIDIA ב-Hugging Face, עם פענוח ספקולטיבי מופעל וכימות שעדיין תואר כעתידי. קריאה של השניים יחד מובילה למסקנה הכנה שהתפוקה של Nemotron תלויה בתצורה בפער של סדר גודל, ואילו זו של TurboCTC היא תכונה של הארכיטקטורה שלה. מודל ללא לולאה אוטורגרסיבית לא יכול להיות איטי כפי שמודל 30B MoE יכול.

מה 470 מיליון פרמטרים קונים לך ש-30 מיליארד לא יכולים

התשובה הראשונה היא צורת הפריסה. GGUF של 279MB רץ על CPU, על התקן קצה הסמוך לטלפון, בתוך יישום שולחני, ועל לוח ברמת Raspberry Pi אם יש לכם סבלנות. כיום יש פורטים קהילתיים של GGUF ומשפחת זמני ריצה ב-C++ שמתייחסת למודל כמנוע מן השורה הראשונה. Nemotron 3.5 Transcribe פועל תחת vLLM עם התוסף NeMo Speech, או תחת SGLang-Omni, על מאיץ של 80GB ב-BF16 או על כרטיס Blackwell ב-NVFP4. אלה אינם שתי נקודות על ספקטרום; אלה קטגוריות רכש שונות.

השנייה היא רצפת השהיה. מודל CTC מחזיר תמלול במעבר קדמי אחד. מודל גנרטיבי מחזיר טוקן אחד בכל פעם, והשהיית זמן-השעון שלו בקובץ קצר נשלטת על ידי לולאת הפענוח ולא על ידי האודיו. עבור ארכיונים באצוות זה לא רלוונטי. עבור כל דבר אינטראקטיבי — תיבת הכתבה, מוניטור איכות שיחה, כלי כתוביות שצריך לעמוד בקצב של דפדוף — המודל הקטן הוא היחיד מבין השניים שמסיים לפני שהמשתמש שם לב.

הנקודה השלישית היא בהירות ברישוי. Apache-2.0 הוא הרישיון שמחלקות המשפטיות כבר אישרו; OpenMDW-1.1 חדש מספיק כדי שחלק מהן ירצו בבדיקה. אם החסם שלכם הוא טופס רכש ולא מדד ביצועים, המודל של IBM עובר אותו מהר יותר.

מה 30 מיליארד פרמטרים נותנים לך ש-470 מיליון לא יכולים

דוברים, ראשית ובאופן מכריע. ל-TurboCTC אין כל ייצוג של דוברים. כדי לקבל תמלילים עם ייחוס דובר יש להציב לפניו מודל דייריזציה, שלב מיזוג, ותקציב שגיאות למיזוג — הקסקיידה הסטנדרטית. Nemotron 3.5 Transcribe מטמיע מודל דייריזציה קפוא בתוך האנקודר ופולט תוויות דובר ישירות, עד שמונה כאלה, ב-13 שפות, עם תזמון מילים המיוחס לדובר מאדפטר CTC שלאחר הפענוח. שיעור שגיאות הדייריזציה המדווח על ידי NVIDIA הוא 18.26% על פני 21 שפות במבחן David AI, הטוב מבין 14 מערכות, כאשר המתחרה הקרוב ביותר הוא מודל Nemotron 3 Diarization שלה עצמה עם 18.38%. אלה מספרי ספק על רתמת בדיקה של ספק, והם לא שוחזרו באופן עצמאי. השוואת הקסקיידה שהם מרמזים עליה — מודל אחד לעומת שלושה — אינה טענת בנצ'מרק כלל, אלא תיאור של הפריסה.

שפות ותרגום — שנית. TurboCTC מכסה שבע שפות לאחר עדכון אוקטובר שלו; Nemotron מכסה ארבעים לתמלול ושלושים ואחת לתרגום אל אנגלית או ממנה. אם התור שלך הוא אירופי וחד-לשוני, שבע מספיק. אם לא, ההשוואה מסתיימת.

שלישי: כוונון עדין. NVIDIA מדווחת על התאמה על GPU יחיד בקצב של 0.5 עד 2.3 שעות GPU לכל משימה, ועל דוגמה לדיבור רפואי שבה כוונון עדין הוריד את שיעור שגיאות המילים מ-30.8% ל-11.8% על 3,619 קטעי שמע, כאשר דוברים שנשמרו מחוץ לאימון השתפרו מ-22.44% ל-12.17%. גם TurboCTC של IBM ניתן לכוונון עדין — הוא ברישיון Apache-2.0 — אך הייתם מכווננים ראש CTC על מודל קטן בהרבה, והתקרה של מה שהקשר נוסף יכול להעניק לכם נמוכה יותר משום שאין מודל שפה לשכנע.

מודל העלות שמכריע בכך

הכלכלה של TurboCTC כמעט משעממת. H200 יחיד המשרת 19,870 RTFx ממלא תור גדול מאוד עד רוויה; גרסה מכומתת בגודל 279MB על מעבדי מדף עולה כמעט כלום לשעת אודיו, והחשמל הוא סעיף העלות המרכזי. אין מונה לפי דקות בשום מקום במערכת.

המודל הכלכלי של Nemotron הוא באותה צורה בקנה מידה אחר: אין מדידה לפי דקה, אבל יש מאיץ גדול בהרבה ותקרת תפוקה קטנה בהרבה. כרטיס Blackwell אחד שמעבד 2,238 שניות של אודיו בשנייה מכסה 100 שעות בפחות משלוש דקות במקביליות גבוהה, ופחות באופן ניכר בפגישות בנות שעה עם חפיפה.

• תור של 20 שעות בחודש — TurboCTC על CPU הוא למעשה בחינם; Nemotron זקוק למאיץ שכור או בבעלות עצמית שיישאר ללא שימוש רוב החודש.

• ארכיון של 2,000 שעות בחודש ללא דרישות דוברים — TurboCTC על GPU אחד, או צי קטן של CPUs, הוא התצורה הזולה והמהירה יותר בפער ניכר.

• ארכיון של 2,000 שעות בחודש של פגישות בהשתתפות שישה אנשים — TurboCTC בתוספת מפריד דוברים בתוספת שכבת מיזוג, נמדד מול Nemotron על כרטיס אחד. זו התצורה היחידה שבה מחירו של המודל הגדול מוצדק, וגם כאן הקסקייד זול יותר מבחינת חומרה.

• כל דבר שנמצא תחת מגבלת סודיות שאוסרת העלאת אודיו — שניהם ניתנים לאירוח עצמי, כך שהמגבלה מתקיימת בכל מקרה, וההחלטה עוברת לדוברים ולשפות.

המחצית העוסקת בעיבוד־לאחר של התהליך היא המקום שבו שכבת ניתוב מוכיחה את ערכה, ולא משנה איזה מנוע זיהוי תבחרו. תמלילים מסוכמים, מתויגים ומנותבים, וOrcaRouter מציב יותר מ-200 מודלים טקסטואליים ומולטימודליים מאחורי מפתח אחד כשמחירי המחירון של הספקים מועברים הלאה ללא תוספת מחיר (0%), מעבר אוטומטי לגיבוי, ו-DSL לניתוב שיכול לשלוח סוג אחד של תמליל למסכם זול ואחר למודל חזק יותר בלי אינטגרציה שנייה. לא Nemotron 3.5 Transcribe ולא Granite Speech 5.0 470M TurboCTC מוצעים בקטלוג הזה — איננו מארחים שירותי דיבור־לטקסט — ולכן הבחירה במנוע הדיבור נשארת חוזה נפרד, ורק השכבה שמעליה הופכת לניידת.

בחר לפי צורת העבודה, לא לפי טבלת הדירוג

אם המשימה היא "להפוך הרבה אודיו נקי, בעיקר באנגלית, לטקסט בצורה הזולה והמהירה האפשרית", Granite Speech 5.0 470M TurboCTC מנצח וההשוואה בכלל לא צמודה — זהו מודל בגודל 279MB ברישיון Apache שמקדים מערכת של 30B ביותר מפי ארבעים, וכמעט לא מוותר על דבר בממוצע האנגלי הציבורי. ה-cascade שאתה בונה עבור דוברים הוא המחיר של היעילות הזו, ואם מעולם לא היית צריך דוברים, אתה אף פעם לא משלם אותו.

אם המשימה היא "להפיק תמלול אחד עם ייחוס דוברים, מתוזמן ומובנה מהקלטה קשה באחת מארבעים שפות", הרי ש-Nemotron 3.5 Transcribe הוא היחיד מבין השניים שמנסה לעשות זאת, ומספרי הדיאריזציה של הספק — שטרם שוחזרו באופן עצמאי — מרמזים שהוא עושה זאת טוב יותר משרשראות העיבוד שהוא מחליף. עלות התפוקה אמיתית, עלות החומרה אמיתית, ועבור עומס עבודה עתיר פגישות אף אחד מהשניים אינו מהווה מכשול.

הטעות שיש להימנע ממנה היא להתייחס לזה כאל תחרות בין דורות. מודל CTC של 470M אינו גרסה מיושנת של מודל שפה קולי של 30B; הוא כלי אחר שבמקרה משיג ציון דומה במדד שנבנה ברובו מדיבור נקי שנקרא בקול. הגרסה הבאה לא תהפוך אותו למיושן. ההקלטה הגרועה ביותר שלך תגיד לך איזה מהם היה נחוץ לך.