Nemotron 3.5 Transcribe: מודל השפה לדיבור של NVIDIA מנצח את קסקייד הדיאריזציה — ב-13 שפות

NVIDIA השיקה את Nemotron 3.5 Transcribe ב-28 באוקטובר 2026 תחת רישיון פתוח, והמספר בכל כותרת שעוסקת בו הוא 40: ארבעים שפות, צ'קפוינט אחד, כולל תוויות דובר. המספר שבאמת משנה את הדרך שבה בונים סטאק תמלול הוא 15.80. זהו ה-cpWER הממוצע של המודל על מערך הבנצ'מרק הרב-דוברים של NVIDIA עצמה, לעומת 16.83 עבור הקסקייד המתמחה הטוב ביותר שאיתו השוותה החברה — מזהה דיבור בתוספת צינור דיאריזציה נפרד, המחווטים יחד כפי שרוב מערכות תמלול פגישות בייצור עדיין מחווטות. NVIDIA טוענת שזהו מודל השפה הגדול (LLM) הראשון לדיבור שמתעלה על ההסדר הזה, וזו הטענה ששווה לבדוק, מפני שהיא זו שמסירה רכיב מהארכיטקטורה שלך במקום להוסיף שפה לרשימה.

נתון 40 השפות הוא אמיתי, אך צר יותר מכפי שהוא נשמע. ייחוס דוברים — החלק שמחליף את הקסקדה — מאומן עבור 13 שפות, לא 40. המודל קורא רק קבצים מוקלטים, עד שעה בכל פעם, ללא מסלול סטרימינג. והוא אינו הורדה קטנה: 34B פרמטרים בסך הכול, כ־4.3B פעילים לכל טוקן, כאשר H100 80GB הוא הבסיס המוצהר להגשת BF16. שלושת האילוצים האלה קובעים אם תוצאת הדיאריזציה היא משהו שאפשר להשתמש בו ברבעון הזה או משהו שתסמן לעצמך לרבעון הבא.

מה ש-NVIDIA למעשה סיפקה

הצ'קפוינט מפורסם בשם NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, והפער בין השם הזה לבין מספר הפרמטרים שפורסם הוא הדבר הראשון שצריך להבהיר. המודל מבוסס על Nemotron 3.5 Lightning 30B-A3B, מודל שפה היברידי מסוג תערובת-מומחים (MoE) המשלב Mamba-2 ו-Transformer; כרטיס המודל של NVIDIA מציין סך של 34B פרמטרים, כאשר כ-4.3B פעילים כולל מערך השמע. המשקל הנוסף מעל ה-30B שבשם מגיע מהמקודדים: כ-600M עבור ה-Transformer של ASR וכ-99M עבור מקודד הדוברים, כ-800M יחד, וכך הליבה הלשונית נותרת עם כ-3.5B פעילים. בכמה פרסומים דווח על כך כחוסר עקביות; זה אינו המקרה, אלא שם שסופר את ה-LLM וכרטיס שסופר את המערכת כולה.

מבחינה ארכיטקטונית, הרכיב שכדאי להבין הוא מקודד המומחים המקבילי. מודל Nemotron 3 Diarization קפוא מפיק ייצוגי פעילות של דוברים, ואלה מוזרקים לפלט של מקודד ה-ASR, כך שמודל השפה רואה הן את המילים והן מי שסביר שמדבר אותן במעבר אחד. מתאם CTC קל-משקל מיישר אז את הטקסט שנוצר בחזרה לאודיו כדי להפיק חותמות זמן של מילים עם ייחוס דובר. אין שלב יישור שני ואין קריאה ל-pyannote באמצע. חיזוי מרובה טוקנים מקורי משמש גם כטיוטה לפיענוח ספקולטיבי בתוך vLLM, ו-NVIDIA גם מספקת מודל טיוטה DFlash2 שאומן בנפרד.

• סך הפרמטרים והפרמטרים הפעילים — 34B בסך הכול, ~4.3B פעילים לכל טוקן, שמתוכם ~3.5B הם עמוד השדרה הלשוני

• הקשר ואודיו — 65,536 טוקנים, הקלטות של עד שעה ב-16 kHz מונו, מפוענחות במקטעים פנימיים של 30 שניות

• כיסוי שפות — 40 שפות לתמלול, 32 לתרגום מאנגלית ואליה, 13 לתמלול עם ייחוס דובר

• רישיון — OpenMDW-1.1, שימוש מסחרי ולא־מסחרי מותר

• בסיס שירות — H100 80GB אחד ב-BF16; מהדורות BF16, FP8 ו-NVFP4 פורסמו

• סטרימינג — אין; זהו מודל של קלט קובץ ופלט תמלול

המהדורה היא זוג תוצרים, וכדאי להפריד ביניהם משום שרוב הסיקור מטשטש את ההבחנה. לצד המודל, NVIDIA פרסמה את Granary v2 — מהדורת צינור עיבוד לנתוני דיבור ולא צ'ק־פוינט: 463,062 שעות ב־48 שפות ו־16 קורפוסי מקור, לעומת 25 שפות ב-Granary v1, שנבנה עם NeMo Curator ונשלח עם מניפסט ציבורי. כל רשומה נושאת שלוש צורות תמלול — מילולית מנורמלת טקסטואלית, מנורמלת הפוכה עם אי־רציפויות ומנורמלת הפוכה בלעדיהן — וכן תוויות משימה, זוגות שאלות־תשובות מעוגנים בדיבור, מונחי הטיה הקשרית ודגל איכות לכל רשומה. אלה הנתונים שמתכוני הכיוונון העדין מצפים להם, לא משקלים שאפשר להריץ. עדיין יש להוריד את אודיו המקור לפי הרישיון של כל קורפוס, כך ש-Granary v2 פתוח במובן שהמניפסט והצינור שלו פתוחים, ולא במובן שהאודיו חופשי להפצה מחדש.

הרישיון חשוב לא פחות מהמשקלים. OpenMDW-1.1 מתיר שימוש מסחרי, מה שמציב את זה באותה קטגוריה כמו קו Voxtral של Mistral ולא בקצה המיועד למחקר בלבד של ספקטרום המשקלים הפתוח. תמיכת סביבת ההרצה בעת ההשקה רחבה יותר מרוב מהדורות מודלי השפה לדיבור: vLLM 0.32.0 הוא הנתיב הראשי והיחיד שמעניק את מכלול התכונות, כאשר חתימות זמן ברמת מילה דורשות את ה-V1 runner ואת timestamp middleware וללא DFlash2. SGLang-Omni 0.2.0 על SGLang 0.5.22 מטפל בתעתוק קובץ שלם דרך נקודת הקצה הקולית התואמת ל-OpenAI אך לא בחתימות זמן ברמת מילה, פלט עם שיוך דובר, תרגום או פענוח ספקולטיבי. NeMo Speech מספק את ערכת הכלים לכוונון עדין, Transformers תומך בשימוש בתוך התהליך מהתקנה מהמקור, ובניית GGML מכסה חלקים נבחרים של Blackwell כולל RTX 5090 ו-RTX PRO 6000.

תוצאת הדיאריזציה היא הסיפור

טבלת הרב-דוברים של NVIDIA היא המקום שבו נמצאת השוואת הקסקדה, והיא מפורטת באופן יוצא דופן עבור פוסט השקה. ה-cpWER הממוצע על פני הסט הוא 15.80 לעומת 16.83 עבור DiCoW v3.3 בשילוב עם DiariZen. המספרים לפי תנאי מראים מהיכן מגיע הפער ומהיכן לא: AMI בתנאי close-talk מגיע ל-10.29, AMI עם מיקרופון יחיד במרחק 17.34, CALLHOME CH109 11.50, Mixer 6 ערוץ 4 14.80, NOTSOFAR-1 close-talk 14.94 וערוץ יחיד 25.91, כאשר AISHELL-4 עם 32.91 cpCER ו-AliMeeting עם 34.95. מקרה הפגישה רחבת-הפס והרב-ערוצית הוא חזק; אודיו פגישות בשדה רחוק עם מיקרופון יחיד ובעברית? לא — אודיו פגישות בסינית חלשים בהרבה, וזה תיאור הוגן של המקום שבו כל מערכת דיאריזציה מתקשה.

האימות למראה בלתי־תלוי שעליו NVIDIA נשענת הוא Diarization-Bench של VoiceArena, שבו המודל מדווח על 32.4% cpWER לאורך סשנים מלאים באנגלית, במקום הראשון מבין ארבעה־עשר מערכות. המקום השני, Multitalker Parakeet בשילוב עם Nemotron 3 Diarization, עומד על 34.2%, ושאר המתחרים נעים בין 34.7% ל־71.9%. NVIDIA גם מדווחת על מחיקות מילים בשיעור 8.32% ממילות הייחוס, לעומת חציונית של התחום סביב 31%. הנתון השני הוא השימושי יותר לכל מי שכבר סיפק תמלול: אפשר לתמרן את cpWER באמצעות השמטת מילים שאין לגביהן ודאות, ומערכת ששומרת על 92% ממילות הייחוס ובמקביל מנצחת במדד עושה את הדבר הקשה יותר. שניהם מספרים שדווחו על ידי הספק על גבי בנצ'מרק של צד שלישי, ולא הערכה בלתי־תלויה של המודל.

הגבול הוא מספר השפות. שיוך דוברים מאומן עבור שלוש עשרה שפות — אנגלית, צרפתית, גרמנית, הינדי, איטלקית, קוריאנית, פורטוגזית, רוסית, ספרדית, יפנית, תאית, ערבית וסינית — ותומך בעד שמונה דוברים. אם ההקלטות שלך הן פגישות באנגלית או באחת משתים-עשרה השפות האחרות, טיעון החלפת הקסקדה תקף. אם האודיו שלך הוא בפולנית, טורקית או וייטנאמית, תקבל תמלול ללא דיאריזציה ועדיין תזדקק לרכיב השני.

איפה זה באמת מדורג: שלושה לוחות דירוג, שלוש תשובות שונות

המספר שמופיע באנגלית תלוי באיזה עמוד של NVIDIA אתם קוראים, וכדאי להיות מדויקים בעניין הזה במקום לבחור את המספר הנוח יותר. שיעור שגיאות המילים הממוצע על תשע קבוצות הבדיקה בכרטיס המודל הוא 4.71%, כש-Qwen3-ASR-1.7B אחריו עם 4.94%. הפרסום של NVIDIA ב-Hugging Face מאותו יום מציין 5.33% כשיעור שגיאות המילים הממוצע (WER) בלוח Hugging Face Open ASR Leaderboard, ב-RTFx של 462.09, כאשר Qwen3-ASR-1.7B עומד על 5.4%. שניהם נתונים של הספק עצמו, שפורסמו בהפרש של שעות זה מזה, וההבדל הוא אילו קבוצות בדיקה נכללות בממוצע. אל תחשבו ממוצע ביניהם, אל תחסרו אחד מהשני, ואל תתייחסו לספרה העשרונית כאל דבר מוחלט. מה שנשאר תקף בשני הניסוחים הוא המיקום: ראשון מבין מודלים עם משקלים פתוחים בלוח הזה.

יתר הסט המדווח על ידי הספק אחיד בצורתו. שיעור WER הממוצע הרב-לשוני הוא 4.62% על פני שבע שפות, לעומת 6.49% עבור Qwen3-ASR-1.7B. הממוצע לתמלול ארוך הוא 10.98% לעומת 13.37% עבור Parakeet-TDT-0.6B-v3. בקרת סגנון משיגה 7.56% כברירת מחדל ו-6.16% כאשר ניתנת הוראה, לעומת Canary-Qwen עם 8.16% ו-8.36%. הנחיה הקשרית מעבירה את ContextASR-Bench מ-3.33% ללא הקשר ל-1.71% עם הקשר מפורט, ואת תמלול שיחות הרווחים מ-12.54% ל-9.58% כאשר מסופק הקשר מקומי.

הבדיקה הבלתי תלויה מספרת סיפור פחות מחמיא, והוא זה שכדאי לקרוא אם אתם בוחרים בין מודלים השבוע. במדד שגיאות המילים הלא-זורם של Artificial Analysis, שנבדק ב-29 באוקטובר, Nemotron 3.5 Transcribe עומד על 2.8%. Voxtral Small Transcribe 3 עומד על 2.1% ו-MAI-Transcribe-2 על 2.0% באותה תצוגה, בעוד Gemini 3.5 Transcribe נמצא על 2.6%. הניסוח של NVIDIA שלפיו הוא "חולק את המקום הראשון בין מודלים במשקלים פתוחים" ניתן להגנה ביחס למודל הספציפי שהיא נוקבת בשמו — Voxtral Small, שאותו מדד גם מציג על 2.8%, ושאותו NVIDIA מתארת כמודל 24B לעומת כ-4B פרמטרים פעילים במודל הזה — אבל לוח הדירוג עבר את הצימוד הזה לפני שהמודל הזה יצא לשוק. גרסה אחות חדשה יותר מבית Mistral, Voxtral Small Transcribe 3, נמוכה בכרבע בשיעור השגיאות באותה תצוגה. זה לא הופך את תוצאת הדיאריזציה לשגויה, מפני ש-Voxtral לא מבצעת ייחוס דוברים במעבר אחד. אבל זה כן אומר שהמשפט הנכון הוא "המודל הטוב ביותר במשקלים פתוחים ב-ASR עם ייחוס דוברים" ולא "המתמלל הטוב ביותר במשקלים פתוחים".

הזנב לפי שפה הוא המקום שבו פריסות נכשלות

כיסוי ושוויון הן טענות שונות, וכרטיס המודל של NVIDIA מפרסם מספיק פירוט לכל שפה כדי לראות את הפער בין השניים. למטריצת השפות יש 41 שורות; נורווגית מופיעה בה בלי סימוני וי למשימות, כך שרק 40 שפות מסומנות בפועל עבור ASR. ב-FLEURS, שיעורי השגיאה נעים מ-1.41% עד 63.76% — ו-63.76 הוא הנתון של נורווגית. איטלקית מגיעה ל-1.41, ספרדית ל-2.20, גרמנית ל-2.73, צרפתית ל-3.16, אנגלית ל-3.35, ערבית ל-6.35 והינדי ל-7.47; יפנית עומדת על 4.42 CER, קוריאנית על 2.78 CER וסינית על 8.62 CER. בממוצעים לכל שפה בלוח המובילים הרב-לשוני, הינדי עומדת על 9.15 OIWER לעומת הולנדית עם 5.96 וגרמנית עם 2.81.

החלפת קוד, שהכרטיס טוען לה בכל 40 השפות, גם היא אינה אחידה באופן דומה: ASCEND סינית-אנגלית מגיעה ל-18.74% שגיאה מעורבת, MUCS הינדי-אנגלית ל-19.28% ו-MUCS בנגלית-אנגלית ל-35.46%, כאשר Monsoon הינדי עומד על 9.40% OIWER. גם איכות התרגום משתרעת על טווח רחב — BLEU מ-FLEURS לאנגלית מ-6.40 עד 44.33, מאנגלית ל-FLEURS מ-8.70 עד 42.65, ומ-CoVoST2 לאנגלית מ-6.95 עד 54.46. העמידות בקבוצת HALAS היא 31.50% WER, וזה המספר שאמור למתן כל תוכנית שנבנית על הקלטות שטח עם מבטא או רעש.

המשמעות המעשית היא ש"40 שפות" היא טענת כיסוי שאפשר לתכנן סביבה קיבולת, ולא טענת איכות שאפשר לתכנן סביבה מוצר. יש לבדוק את השפה הספציפית ואת תנאי ההקלטה הספציפיים שמעניינים אתכם על כמה מאות קטעים משלכם לפני שמתחייבים. מחקר המקרה של כוונון עדין בכרטיס המודל עצמו הוא התבנית: במדד דיבור רפואי הודי, השגיאה ללא כוונון הייתה 30.8%, פרומפט שציין אנגלית וכתב לטיני הוריד אותה ל-23.8%, והסתגלות על כ-245 שעות נתונים הורידה אותה ל-11.8% — כ-62% פחות שגיאות, על 14 שעות GPU של GB300 אחד. דוברים שנשמרו מחוץ לאימון עברו מ-22.44% ל-12.17%, ירידה יחסית של 45.8%, בעוד ש-LibriSpeech test-clean הידרדר מ-1.54% ל-1.69%, הסימן הרגיל להסתגלות צרה.

מה העלות של הפעלה, והיכן ניתוב נכנס לתמונה

NVIDIA לא פרסמה מחיר עבור המודל. אין תעריף לפי דקה בעמוד המחקר או בכרטיס המודל, המשקלים זמינים בחינם תחת OpenMDW-1.1, והגישה המארחת בעת ההשקה עוברת דרך נקודת הקצה NIM של NVIDIA עצמה וכן דרך כמה פלטפורמות צד שלישי שקובעות תעריפים משלהן. לכן שאלת העלות היא שאלת GPU, והנתונים לגביה מלאים באופן יוצא דופן.

על יחידה אחת של RTX PRO 6000 Blackwell Server Edition, בניית ה-NVFP4 עם טיוטת DFlash2 מעבדת עד 2,238 שניות של אודיו בכל שנייה — הקלטה בת 30 שניות מוחזרת בתוך 0.13 שניות — מה שמעמיד 100 שעות של אודיו בפחות משלוש דקות. זהו מסלול ה-NIM המאופטם, ו-NVIDIA מציינת שאינטגרציית vLLM הפתוחה איטית בערך פי שניים. על H100 ב-BF16 נתוני ה-RTFx של הכרטיס הם 410 עם ספקולציה של שני טוקנים, 270 עם שמונה, 340 עם DFlash2 ב-K=7 ו-260 ב-K=15. בקצה העליון של הטווח הזה, שעת H100 אחת מכסה כ-410 שעות של אודיו, כך שאלף שעות תמלול הן בערך שתיים וחצי שעות GPU של חישוב. האם זה מנצח תעריף לפי דקה בשירות מתארח תלוי לגמרי בכמה הכרטיס נשאר רווי: במאות שעות בודדות בחודש, GPU פנוי של 80GB הוא האפשרות היקרה יותר, והחשבון מתהפך רק כשהתור נשאר מלא.

הסתגלות היא זולה לפי אמות המידה של קטגוריה זו. NVIDIA מדווחת על 0.5 עד 2.3 שעות GPU לכל משימה על GPU בודד עבור שפות, תחומים או סגנונות פלט חדשים, כשהיא מוערכת על פני 17 משימות, עם LoRA על מודל השפה ואימון על ה-encoder וה-projection. זהו מספר קטן מספיק כדי שהסתגלות לתחום תיחשב כחלק מהפריסה ולא כפרויקט מחקרי — המקרה הרפואי לעיל הוא 14 שעות GPU מקצה לקצה.

הערה ארכיטקטונית אחת שחשובה להמשך: המודל הזה מפיק טקסט, והסיכום, חילוץ הישויות ותיוג הציות שבאים לאחר תמלול הם עבודה רגילה של LLM. השלב במורד הזרם הוא החלק שאותו מכסה OrcaRouter — API אחד ליותר מ-200 מודלים בתוספת מחיר של 0% מעל מחיר המחירון של הספק, מעבר אוטומטי לגיבוי כאשר ספק נחלש באמצע שרשרת העיבוד, ו-DSL לניתוב לשליחת תמלולים ארוכים וקטעים קצרים למודלים שונים בלי אינטגרציה נוספת בכל פעם. איננו מארחים את Nemotron 3.5 Transcribe; זהו מודל דיבור שאתם מריצים על החומרה שלכם או דרך נקודת הקצה של NVIDIA. שכבת הניתוב מתחילה היכן שהתמלול מסתיים.

שני דגמים חולקים את השם, ורק אחד מהם הוא זה.

חלק ניכר ממה שנכתב על השחרור הזה ביום האחרון עוסק בצ'ק-פוינט אחר. NVIDIA גם מפרסמת nemotron-3.5-asr-streaming-0.6b, צ'ק-פוינט ASR זורם קטן שנבנה עבור סביבות הרצה על-מכשיר ומוכוונות CPU, שבהן גרסאותיו המקוונטטות קטנות מספיק כדי להישלח בתוך יישום. זה לא המודל הזה, הוא לא מבצע ייחוס דוברים, ונתוני המהירות והדיוק שלו לא עוברים לכאן. מודל ה-LLM לדיבור 30B-A4B הוא זה שהוכרז ב-28 באוקטובר; מודל הזרימה 0.6B הוא זה שרץ על מחשב נייד. אם השוואה שאתם קוראים מצטטת השהיה של פחות משנייה או הורדה בגודל גיגה-בייט אחד לצד הטענה בדבר 40 שפות, היא מיזגה את השניים.

מי צריך לפעול עכשיו, ומי צריך לחכות

פעל עכשיו אם אתה מנהל פגישות מוקלטות, שיחות או ראיונות באנגלית או באחת משתים־עשרה שפות הדיאריזציה הנוספות, בקבצים שאורכם פחות משעה, וכבר יש לך קיבולת GPU בדרגת 80GB או נקודת קצה מתארחת שאתה מוכן לשלם עבורה. המקרה הוא החזק ביותר כאשר אתה מתחזק כעת קסקדה של שני מודלים: נקודת ביקורת אחת, מעבר אחד, כולל תוויות דובר וחתימות זמן של מילים, תחת רישיון שמתיר שימוש מסחרי. הערך אותו מול האודיו שלך לפני שאתה מפסיק להשתמש ב-pyannote — מספרי השדה הרחוק והאודיו עם המבטא שלעיל הם אלה שסביר ביותר שיאכזבו.

המתן אם אתה זקוק להזרמה בזמן אמת, כי אין נתיב הזרמה; אם השפות שלך נמצאות בזנב טווח ה-FLEURS הזה; אם ההקלטות נמשכות יותר משעה; או אם אין לך GPU ואין לך תיאבון לחיוב אירוח לפי דקה. המתן גם אם המערך שלך כבר מבוסס על מתמלל חדש יותר שמציג שגיאה נמוכה יותר ב-Artificial Analysis ואינו זקוק לדיאריזציה — ייחוס הדובר במעבר אחד הוא הסיבה למעבר, והיא היחידה.

השאלות הפתוחות שכדאי לשים לב אליהן הן צרות וניתנות לבדיקה. הערכה עצמאית ברמת דיוק מלאה עדיין דלה; דיווחים מוקדמים מאנשים שמריצים קוונטיזציות 4-ביט קהילתיות מתארים את ההאטה ואת אובדן הדיוק הרגילים, מה שמעיד יותר על הקוונט מאשר על המודל. SGLang-Omni צריך להגיע לשוויון תכונות לפני שמסלול ה-non-vLLM יהיה חלופה אמיתית. ושלוש־עשרה שפות הדיאריזציה הן המספר שהכי סביר שישתנה ראשון, כי שם הטענה הארכיטקטונית מרוכזת.