Nemotron 3.5 Transcribe לעומת Nemotron 3.5 Transcribe 30B: שני שמות, צ'קפוינט אחד, ארבעה קבצים

אם קטלוג, אתר השוואה או גיליון הרכש שלכם מציגים את Nemotron 3.5 Transcribe ואת Nemotron 3.5 Transcribe 30B כשני רשומות נפרדות, הרי שהם מציגים מודל אחד פעמיים. המאגר הרשמי שפורסם הוא NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, הכרטיס של NVIDIA מציין שהסך הכולל הוא 34B פרמטרים ושמספר הפרמטרים הפעילים עומד על כ-4.3B, והשם הפשוט בכל כותרת מתייחס לאותו חפץ בדיוק, רק בלי ציון הגודל. אין מודל 30B נפרד שאיתו אפשר להשוות, ולכן זה פחות השוואה ראש בראש ויותר בעיית שמות שקבוצת החלטה על פריסה קבורה בתוכה.

ההחלטה הזו אכן אמיתית, והיא הסיבה ששני השמות ממשיכים להופיע זה לצד זה. שם אחד הוא מה שאתם מחפשים ומה שקטלוג מודלים או רשימת API עשויים להציג. השם האחר הוא מה שאתם מורידים, באחת מארבע רמות דיוק, בטביעת זיכרון אחת מתוך ארבע, והבחירה בין הקבצים האלה היא ההשוואה היחידה שהמודל הזה בעצם מבקש מכם לעשות. מה שבא לאחר מכן הוא הפיוס: מה ה-30B סופר, מדוע הכרטיס אומר 34B, ואיזה קובץ מתאים ל-GPU שיש לכם ולא לזה שדף ההשקה מניח.

השם שחולק על עצמו

שני מספרים נמצאים במחזור ושניהם רשמיים. שם המאגר מסתיים ב-30B-A4B, לפי המוסכמה ש-NVIDIA משתמשת בה לקו ה-mixture-of-experts שלה: מספר הפרמטרים הכולל ראשון, מספר הפרמטרים הפעילים שני. כרטיס המודל, באותו עמוד, מציין 34B סך הכול וכ-4.3B פעילים, כולל במפורש את מקודד האודיו. עמוד המחקר חוזר על השם 30B-A4B בכותרתו ועל נתון ה-4.3B הפעילים בגוף הטקסט.

כרטיס המודל גם מפרט את החלקים, וכאן החשבון מתחיל להיות משמעותי. עמוד השדרה הלשני הוא Nemotron 3.5 Lightning 30B-A3B, מודל MoE היברידי של Mamba-2 ו-Transformer עם 3.5B פרמטרים פעילים. מקודד האודיו המשותף — מקודד ASR מסוג Transformer בתוספת מקודד דובר — הוא כ-800M. אם מחברים אותם מקבלים בערך 30.8B, לא 34B. או שה-34B סופר משהו ש-NVIDIA לא פירטה, או שה-30B בשם המאגר הוא תווית מעוגלת לעמוד שדרה שבפועל גדול משמו. NVIDIA לא פרסמה את ההתאמה, וטרם קיים ביקורת פרמטרים של צד שלישי על ה-checkpoint המלא.

מה שזה אומר עבור קונה צר ממה שזה נשמע. בין אם המערכת היא 31B או 34B, זה לא משנה על איזה כרטיס היא מתאימה, מפני שגודל הקובץ נקבע על ידי הדיוק הרבה יותר מאשר על ידי שלושת המיליארד פרמטרים האחרונים. זה כן אומר שכל דף מפרטים שמציין "30B" וכל דף שמציין "34B" מתארים את אותה הורדה, והשוואת רכש שנבנית על ההבדל ביניהם משווה מוסכמת עיגול.

מה שהסיומת 30B בעצם סופרת

הסיומת מציינת מודל שפה, לא תמללן. Nemotron 3.5 Transcribe הוא מודל שפה גדול (LLM) מתוגבר דיבור: האודיו עובר דרך מקודד Transformer, מודל Nemotron 3 Diarization קפוא תורם ייצוגי דוברים דרך מה ש-NVIDIA מכנה מקודד מומחים מקבילי, והמפענח ההיברידי מסוג MoE כותב את התמלול. תווית 30B שייכת למפענח ולמערך ההטמעות שלו. מסלול הדיבור — מקודד, מודל דיאריזציה וראש חותמות זמן CTC — יושב מעל ואינו מה שהשם משווק.

זו הסיבה שהמודל מתנהג כמו LLM בדרכים שבהן מערכת ASR קלאסית אינה מתנהגת. הוא מקבל פרומפטים. הוא עונה על שאלות درباره האודיו. הוא מתרגם ב-31 זוגות שפות, אל אנגלית וממנה, באותו מעבר. יש לו חלון הקשר של 65,536 טוקנים, כך ששעה של דיבור נכנסת בלי פיצול למקטעים. דבר מזה לא נובע מכך שמפענח 30B הוא גדול; זה נובע מכך שהמפענח הוא מודל שפה כללי מלכתחילה, כשהדיבור מוקרן למרחב הקלט שלו.

זה גם מסביר את ההיעדר שכולם כל הזמן מחפשים. אין דגם אחות בגודל 30B בלבד, אין גרסת Transcribe צפופה קטנה יותר, ואין גרסה גדולה יותר. המאגר מכיל רמות דיוק של מודל יחיד, לא של משפחה. הגדלים האחרים היחידים שזמינים הם קוונטיזציות שנוצרו על ידי הקהילה, ומזהה דיבור זורם אחד שבאמת קטן יותר — Nemotron Speech Streaming EN 0.6B — שהוא מודל שונה עם כיסוי לאנגלית בלבד וללא דיאריזציה, ולא גרסה מוקטנת של המודל הזה.

ארבעת הקבצים שמאחורי השם, ומה כל אחד מהם עולה בזיכרון

זוהי ההשוואה ששני השמות למעשה מצביעים עליה. NVIDIA מפרסמת שלוש רמות דיוק, והקהילה הוסיפה פורמט מסירה רביעי; נתוני הזיכרון שלהלן מגיעים מהצ'קפוינטים שפורסמו וממאגרי הקהילה, ולא מטבלת ספק יחיד.

• BF16 — נקודת הביקורת (checkpoint) הייחוסית, כ-67-68GB בדיסק, מוגשת על גבי H100 80GB בודד. זוהי הגרסה שמספרי הבנצ'מרק שפורסמו הופקו עליה, וזו שיש להשתמש בה lorsque יש צורך לשחזר אותם.

• FP8 — כ-35GB, מה שמזיז את הרף לכרטיס של 48GB כגון L40S. אובדן הדיוק לעומת BF16 קטן לפי הניסוח של NVIDIA עצמה, אבל זהו הניסוח של NVIDIA; לא פורסמה הערכה עצמאית של FP8.

• NVFP4 — כ-21GB, קטן מספיק עבור RTX 5090 עם 32GB או RTX PRO 6000. זהו דיוק היחס מאחורי טענת התפוקה המובילה של NVIDIA בדבר 2,238 שניות אודיו לשנייה על RTX PRO 6000 בודד עם מודל הטיוטה DFlash2 מחובר.

• GGUF — ארבע בניות מפענחים קהילתיות בנפחים שבין 19.7GB ל-35GB, בתוספת קובץ מקודד F16 חובה בנפח 1.67GB. בניית ה-IQ4_NL בנפח 19.7GB היא זו שמיועדת לכרטיסי 24GB, להסקה על CPU, ל-Metal ול-Vulkan; בניית ה-NVFP4 בנפח 19.7GB מיועדת ל-Blackwell; Q5 עומדת על כ-29GB ו-Q8 על כ-35GB. דראפטר DFlash2 אופציונלי בנפח 1.15GB מוסיף פענוח ספקולטיבי במסלול ה-CUDA.

• MLX — פורטים קהילתיים של 4-bit עד 8-bit בטווח של כ-19GB עד 35GB עבור Apple silicon, כאשר מחבר אחד מדווח על כ-154 טוקנים לשנייה בגרסת ה-4-bit. שימושי להערכה על Mac, ולא כנתיב הגשה לפרודקשן.

מה מריץ אותם, והטעות היחידה בזמן ריצה שאנשים עושים

קובצי GGUF הם המלכודת. קובץ שמסתיים ב-.gguf אינו מעיד על llama.cpp, Ollama או LM Studio, ואף אחד משלושת אלה אינו מריץ את המודל הזה: הוא דורש סביבת הרצה של מודל שפה-דיבור עם מקודד האודיו מחובר. המסלולים שעובדים בעת השחרור צרים יותר ממה שרשימת הפורמטים מרמזת.

• vLLM 0.32.0 — הנתיב הראשי והיחיד שחושף את מלוא היקף הפלט, כולל חותמות זמן של מילים דרך ה-runner של V1 ו-middleware חותמות הזמן. פלט עם שיוך דובר ותרגום נמצאים כאן.

• SGLang-Omni 0.2.0 על SGLang 0.5.22 — תמלול של קובץ שלם דרך נקודת קצה אודיו תואמת OpenAI, ללא חותמות זמן ברמת מילים, ייחוס דוברים, תרגום או פענוח ספקולטיבי.

• NeMo Speech — ערכת הכלים לכוונון עדין, כאשר NVIDIA מציינת 0.5 עד 2.3 שעות-GPU לכל משימה על GPU בודד. מתכוני ה-LoRA שפורסמו פועלים על כרטיס אחד.

• NeMo-Speech.cpp ו-speech.cpp — נתיב ה-C++ שאליו מכוונים בוני ה-GGUF, והיחיד שטוען את הקוואנטים האלה. גם הקובץ בגודל 19.7GB וגם זה שבגודל 35GB שלמעלה מופצים עבורו, וה-README של המאגרים הוא המקור האמין לשאלה מה מתאים היכן.

• Transformers — שימוש בתוך התהליך (in-process) מהתקנה מהמקור, מתאים להערכה, לא לתפוקה.

הטעות היא להוריד את הקוונט הקטן ביותר, להפנות את llama.cpp אליו, ולהסיק שהמודל שבור. הוא לא שבור; זהו LLM לדיבור עם מקודד שלסביבות ההרצה לטקסט אין שום מושג לגביו. אם סביבת ההרצה לא מציינת את Nemotron 3.5 Transcribe בארכיטקטורות הנתמכות שלה, הקובץ לא ייטען, לא משנה כמה הוא קטן.

איפה כל קובץ משתלב, במילים פשוטות

יש להתחיל מהחומרה ולנוע אחורה, ולא מכרטיס המודל ולנוע קדימה. קו הבסיס המוצהר של הכרטיס — H100 80GB אחד ב-BF16 — הוא מסלול הנאמנות המרבית, ולא המסלול המינימלי.

• כרטיס 24GB, RTX 4090 או ברמת L4 — ה-IQ4_NL GGUF בגודל 19.7GB עם המקודד שלו בגודל 1.67GB. השאר מרווח ל-KV cache ולבאפר האודיו; 24GB זה גבולי אך מתועד כעובד.

• כרטיס 32GB, RTX 5090 או RTX PRO 6000 — הצ'קפוינט של 21GB NVFP4, שהוא התצורה שטענת התפוקה של NVIDIA מתארת, עם ה-drafter של DFlash2 אם רוצים פענוח ספקולטיבי.

• כרטיס של 48GB, ‏L40S או A6000 — צ'קפוינט ה-FP8 של 35GB, הפשרה הפחות מגושמת בין נאמנות לבין עלות.

• מאיץ 80GB, ‏H100 או A100 — BF16, תצורת הייחוס, והיחידה שמשחזרת את טבלת ה-WER שפורסמה ללא הסתייגות בנוגע לדיוק.

• אין GPU בכלל — אף אחד מהקבצים האלה. המקודד רץ על CPU בנתיב ה-C++, אבל שעה של אודיו על מפענח 30B-A3B ללא האצה היא עבודת אצווה שנמדדת בשעות, לא שירות.

אילוץ אחד נשאר תקף בכל רמת דיוק: הקלט הוא PCM מונו ב-16kHz, והתקרה היא שעה אחת של אודיו לבקשה. הפחתת דגימה ובחירת ערוץ מתרחשות לפני שהמודל רואה משהו, והקלטת סטריאו מישיבת דירקטוריון מתערבבת למונו אלא אם מפצלים את הערוצים בעצמם. זו החלטת עיבוד מקדים, לא החלטת צ'קפוינט, וטעות בה פוגעת באיכות התמלול יותר מאשר שלב BF16-to-FP8.

הבדיקות שיש להריץ כאשר מודעה מציגה את שני השמות

מכיוון שמצב השמות הכפולים הוא ממשי ויחזור על עצמו בקטלוגים ובדפי השוואה, שגרת אימות קצרה שווה יותר מפסקה נוספת של הסבר.

• מזהה מאגר (Repository id) — הפריט הרשמי היחיד הוא NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. שורה בשם Nemotron 3.5 Transcribe 30B עם מזהה מאגר שונה היא או כימות (quantisation) או מודל אחר לגמרי.

• מחרוזת רישיון — OpenMDW-1.1 במהדורה הרשמית, שימוש מסחרי מותר. רשומה שאומרת מחקר בלבד או לא מסחרי מתארת משהו אחר.

• הקשר וחלון שמע — 65,536 אסימונים ושעה אחת. מודעה שמציינת חלון ארוך יותר שגויה או שהיא מתארת נקודת ביקורת אחרת.

• טענת פרמטרים — 30B-A4B בשם, 34B בכרטיס, 4.3B פעילים בשניהם. רשומה שמצטטת 4B סה״כ התבלבלה בין מספר הפרמטרים הפעילים לבין הסה״כ, וזהו התיאור הנפוץ ביותר של מודל זה ברשת.

• רשימת קבצים — BF16, FP8 ו-NVFP4 מ-NVIDIA, plus מודל טיוטה DFlash2. אם עמוד מציע "Nemotron 3.5 Transcribe 30B" כקובץ בודד להורדה וללא דיוקים (precisions), מדובר בכימות קהילתי העוטה את שם הספק.

שאלת הניתוב שלמעשה נפרדת

ברגע שהקובץ נבחר וסביבת הריצה פועלת, שאלת הפריסה נגמרת ושבה ועולה שאלה ישנה יותר: מה קורה לטקסט. תמלול הוא חומר גלם לסיכום, לחילוץ ישויות, להשחרה, לאינדוקס לחיפוש ולמענה על שאלות, והקריאות האלה הן תעבורת מודלי טקסט רגילה עם בעיות רגילות של מודלי טקסט — מגבלות קצב, השבתות במעלה הזרם, מודל סיווג זול שיספיק לתשע עשיריות מהנפח.

OrcaRouter אינה מספקת את Nemotron 3.5 Transcribe, והקטלוג שלה אינו כולל רשומה תחת אף אחד משני השמות; אם אתם רואים שתי שורות עבור המודל הזה בכל מקום, בדיקת המאגר שלמעלה היא הדרך המהירה ביותר להכריע בכך. מה שהפלטפורמה כן מספקת הוא השכבה שאחרי שהתמלול קיים: מפתח אחד תואם OpenAI ליותר מ-200 מודלים של טקסט וחזון במחיר המחירון של הספק עם תוספת של 0%, מעבר אוטומטי בין ספקים בעת כשל, ו-DSL לניתוב שמרכיב כמה מודלים לקריאה אחת כך שמעבר החילוץ הזול ומעבר השיקול היקר יוכלו לחיות מאחורי נקודת קצה אחת. ה-GPU מתמלל; הניתוב מחליט מה שווה התמלול.

הסיומת היא תווית של גודל קובץ, לא מודל שני.

הדרך הבהירה ביותר להחזיק את שני השמות בראש היא זו: Nemotron 3.5 Transcribe הוא המוצר, Nemotron 3.5 Transcribe 30B הוא המאגר, וה-30B סופר מפענח בעוד שהכרטיס סופר מערכת. הפער בין 30.8B ל-34B הוא פרט בלתי פתור שעל NVIDIA ליישב, אבל הוא אינו משנה שום החלטה שקונה מקבל, מפני שההחלטה מתקבלת בג'יגה-בייטים ובסביבות ריצה נתמכות, לא בספרה השלישית של ספירת פרמטרים.

בחר את הדיוק שכרטיס הגרפי שלך יכול להכיל, ודא שסביבת ההרצה מפרטת את הארכיטקטורה, והתייחס לכל רשומה שמציגה את שני השמות כדגמים נפרדים כאל טעות קטלוג ולא כאל אפשרות בחירה. ההסתעפות האמיתית במהדורה הזו — זו שתצדיק השוואה ראש בראש אמיתית — היא המזהה הזורם בגודל 0.6B מצד אחד והמתמלל הלא־מקוון בגודל 30B הזה מצד שני. ההשוואה הזו עוסקת בהשהיה ובכיסוי, וראוי לערוך אותה. השוואת דגם לשם הקובץ של עצמו — לא.