Hy-SimulMT לעומת NLLB-200: מפרש בזרימה אינו מתרגם ל-200 שפות

שני שמות הבנצ'מרק נבדלים באות אחת, והאות הזו היא כל המאמר. Hy-SimulMT, המתורגמן בזמן אמת בין סינית לאנגלית של Tencent Hunyuan, שיצא ב-26 באוקטובר 2026, מפרסם ציון של 90.3 במשהו שנקרא FLEURS. NLLB-200, מתרגם טקסט ל-200 שפות של Meta AI מיולי 2022, מוערך על משהו שנקרא FLORES-200. הם קשורים — FLEURS בנוי ממשפטי FLORES שנקראו בקול — אבל הם לא אותו מבחן, הם לא נמדדים באותו אופן, ואף אחד מעולם לא הריץ את שני המודלים האלה זה מול זה. חיפוש אחר העימות הזה מחזיר סיקור השקה של מודל אחד ותיעוד של האחר, בלי שום דבר בין לבין. ההיעדר הזה הוא נקודת המוצא הכנה: אלה לא מתחרים, והשאלה המועילה היא לאיזו משימה כל אחד מהם מיועד בפועל.

אות אחת, שני מדדים

FLORES-200 הוא בנצ'מרק טקסטואלי. Meta בנתה אותו כחלק מפרויקט No Language Left Behind: משפטים שתורגמו באופן מקצועי ב-200 שפות, המשמשים למדידת עד כמה טוב מערכת תרגום מעבירה טקסט כתוב משפה אחת לאחרת. המדד הראשי הוא spBLEU, וריאנט של BLEU המחושב על גבי טוקנייזר קבוע ומאוזן לשונית, כך שהציונים ניתנים להשוואה בין שפות שמשתמשות בכתבים שונים. מאמר NLLB מדווח גם על chrF++ והערכה אנושית בשם XSTS.

FLEURS הוא האח הדבור. הוא לוקח מערכי משפטים של FLORES, מבקש מדוברי שפת אם להקריא אותם בקול, ומעריך תרגום דיבור — אודיו נכנס, טקסט יוצא. הוא מכסה 102 שפות ולא 200. כאשר Tencent מדווחת על 90.3 ב-FLEURS עבור Hy-SimulMT, המספר הזה כולל את כל הצינור: שמיעת האודיו, זיהוי המילים ותרגומן. כאשר Meta מדווחת על spBLEU ב-FLORES-200 עבור NLLB-200, הטקסט כבר נכון ומפורק לאסימונים, והדבר היחיד שנמדד הוא שלב התרגום.

הציבו את שני המספרים האלה זה לצד זה — ולא השוויתם שני מודלים. השוויתם מערכת דיבור מקצה לקצה מול מתרגם טקסט על נתונים שונים, עם מדדים שונים, בשפות שונות. זו הטעות שאליה מזמין הדמיון של אות אחת, וכדאי לתת לה שם לפני כל השוואה אחרת במאמר הזה.

מה NLLB-200 באמת, ארבע שנים לאחר מכן

NLLB-200 שוחרר ביולי 2022 ומאז לא עודכן. הצ'ק-פוינטים שאתם מורידים היום הם הצ'ק-פוינטים מ-2022. זו אינה ביקורת — זהו תיאור של סוג הארטיפקט הזה: מהדורת מחקר שהגדירה בנצ'מרק ומערך נתונים, ואז עצרה.

המשפחה משתרעת על פני חמישה גדלים, והטווח הוא העיקר:

• NLLB-200-distilled-600M — נקודת הביקורת השמישה הקטנה ביותר, קטנה מספיק עבור GPU ברמת מחשב נייד.

• NLLB-200-distilled-1.3B ו־NLLB-200-1.3B — הזוג בטווח הביניים, אחד מזוקק למהירות ואחד מאומן ישירות.

• NLLB-200-3.3B — סוס העבודה הצפוף, הגודל שרוב האנשים פורסים בפועל.

• NLLB-200-54.5B — מודל הדגל הדליל: 128 מומחים עם שער top-2, שכבת תערובת מומחים בכל בלוק טרנספורמר רביעי, וחישוב לכל טוקן בערך דומה לזה של המודל הצפוף 3.3B. זהו מודל התרגום הפתוח הגדול ביותר בדורו, ועדיין הסיבה שמשפחת המודלים מצוטטת.

מערך האימון כלל בערך 18 מיליארד זוגות משפטים מקבילים, והטענה המרכזית של המאמר הייתה שיפור של 44% ב-BLEU לעומת המצב הטוב ביותר הקודם, כפי שנמדד בלמעלה מ-40,000 כיווני תרגום. הארכיטקטורה היא טרנספורמר מקודד-מפענח שנבנה לתרגום משפט בודד. אין מצב סטרימינג, אין קלט אודיו, ואין מושג של פלט חלקי — הוא מקבל משפט ומחזיר משפט.

הרישיון הוא CC-BY-NC 4.0, וכרטיס המודל אומר בפירוש מה הכוונה: הוא לא שוחרר לפריסה בייצור, ואינו מיועד לתרגום תחום ספציפי, תרגום באורך מסמך, תרגום קלט ארוך או תרגום מוסמך. הקוד שסביב המשקלים הוא MIT, אך המשקלים אינם, וזה הבלבול שליווה את השחרור הזה במשך ארבע שנים.

מה Hy-SimulMT באמת, נכון לשבוע זה

Hy-SimulMT הוא ארטיפקט בעל צורה הפוכה כמעט בכל ממד. זהו מודל דיבור: אודיו זורם פנימה ב-16 kHz בחלונות של 30 שניות, והמודל פולט טקסט מתורגם בזמן שהדובר עדיין מדבר. הארכיטקטורה היא תערובת מומחים דלילה עם 30.4 מיליארד פרמטרים, כשכ-3 מיליארד פרמטרים פעילים לכל טוקן, עטופה סביב מקודד אודיו בעל 24 שכבות. צמד השפות המתועד הוא סינית ואנגלית, בשני הכיוונים.

הטענה המרכזית שלו היא השהיה, לא כיסוי. Tencent מדווחת על StreamLAAL של כשלוש שניות באודיו RealSI ארוך, ומתארת אותו כנמוך ביותר מבין המערכות שהיא השוותה. זו טענה מסוג אחר מכל דבר במאמר של NLLB, שאין בו כלל מדידת השהיה משום שאין מה למדוד: מתרגם טקסט באצווה אינו מפגר אחרי הדובר.

המהדורה היא Apache-2.0 וללא הגבלת גישה, עם שישה צ'קפוינטים המכסים שני סוגי פלט — תרגום בלבד וטקסט מקור בתוספת תרגום — כל אחד ברמת דיוק מלאה, FP8 ו-GGUF. גרסת הדיוק המלא היא בסביבות 61 GB, וגרסת GGUF Q4_K_M היא 19.7 GB. פלט דיבור ושיבוט קול דורשים שירות TTS נפרד; המודל עצמו מפיק טקסט.

וכמו NLLB-200, אין לו API מתארח ואין מחיר מפורסם. הממשק הצרכני של Tencent הוא האפליקציה Hy Translate, שיש לה מסלול חינמי. כל השאר פירושו להריץ את המשקולות.

מדוע הציונים אינם יכולים לחלוק עמודה

הפיתוי הוא להשוות את ארבעת הציונים של Hy-SimulMT לכל נתון של NLLB-200 שנמצא בהישג יד. עמדו בפיתוי, ולא רק בגלל ההבחנה בין FLEURS ל-FLORES. שני המודלים נשאלים שאלות שונות.

• מודאליות קלט — Hy-SimulMT מקבל אודיו, ולכן הציון שלו כולל שגיאות זיהוי. NLLB-200 מקבל טקסט ששגיאות הזיהוי כבר הוסרו ממנו. מודל דיבור ומודל טקסט על אותם משפטים אינם ניצבים באותה נקודת פתיחה.

• מדד — Hy-SimulMT מדווח על ציונים ממשפחת BLEU במערכי תרגום דיבור; NLLB-200 מדווח על spBLEU, chrF++ ו-XSTS ב-FLORES-200. הטוקנייזר של spBLEU נועד במיוחד כדי להפוך את ההשוואה בין שפות להוגנת, מה שאומר שאין להחליף אותו במספר BLEU רגיל גם כאשר שניהם נקראים BLEU.

• יחידת עבודה — NLLB-200 מוערך משפט אחר משפט על טקסט מיושר. Hy-SimulMT מוערך על אודיו בזרימה, שבו הכשל המעניין אינו מילה שתורגמה באופן שגוי אלא משפט שמגיע מאוחר מדי מכדי להיות שימושי.

• מספר הכיוונים — יותר מ-40,000 הכיוונים של NLLB-200 נכללים בממוצע בנתון הראשי שלו; ארבעת הבנצ'מרקים של Hy-SimulMT מכסים רק סינית↔אנגלית. ממוצע על הזנב הארוך וציון על זוג אחד עתיר-משאבים מתארים סוגים שונים של הישג.

גם בתוך הטבלה שלו, Hy-SimulMT אינו מוביל באופן אחיד. הוא משיג 75.5 ב-CoVoST2 לעומת 82.1 של Qwen3.8-LiveTranslate, והוא מפגר אחרי Gemini3.5-LiveTranslate ב-FLEURS (90.3 לעומת 92.4) וב-ACL6060 (81.2 לעומת 82.6). הניצחון הברור ביותר שלו הוא ב-RealSI-Sentence עם 84.7. כל המספרים הללו הורצו על ידי הספק, על גבי ההרנס שבחרה Tencent, ולא שוחזרו באופן עצמאי. כרטיס המודל גם אינו מציין איזה משני וריאנטי הפלט שלו הפיק אותם.

השהיה נמדדת ביחידה שאין ל-NLLB

זה החלק שקובע את הפריסות, ואין לו שום קשר לציוני בנצ'מרק.

מתורגמן סימולטני צריך לבצע פשרה שמתרגם אצווה לעולם אינו מתמודד איתה: להמתין יותר ולתרגם טוב יותר, או לדבר מוקדם יותר ולסכן טעות. StreamLAAL מודד את הפשרה הזו — בקירוב, עד כמה הפלט מפגר אחרי הקלט בממוצע. שלוש השניות של Hy-SimulMT הן טענה בנוגע לפשרה הזו. זה במפורש אינו זהה לזמן עד לפלט הדיבור הראשון, ו-Tencent אומרת כך בכרטיס המודל. ברגע שמוסיפים שירות TTS חיצוני, חוויית המאזין כוללת גם את השהיית השירות הזה, ומה שנתון שלוש השניות אינו כולל.

ל-NLLB-200 אין מספר מקביל כי אין לו מסלול סטרימינג. אפשר להוסיף כזה: לפצל את האודיו למקטעים, להריץ זיהוי דיבור, להזין שברי משפטים ל-NLLB ולפלוט תרגומים כשהם מוכנים. הארכיטקטורה הזו עובדת, וצוותים כבר בנו אותה. אבל הפיצול הורס את ההקשר שעליו נשען מתרגם ברמת המשפט, והאיכות המתקבלת אינה האיכות שנמדדת על FLORES-200 עם משפטים שלמים ותקינים. הפער בין "NLLB-200 משיג X על FLORES" לבין "NLLB-200 בתוך צינור חי מפוצל נשמע כמו Y" הוא המקום שאליו הולך בפועל רוב המאמץ ההנדסי.

זו האסימטריה האמיתית. Hy-SimulMT תוכנן למקרה הסטרימינג ומשלם על כך בכיסוי שפות ובטביעת רגל בסדר גודל של 30B. NLLB-200 תוכנן לרוחב ומשלם על כך בממשק אצווה בלבד. אף אחד מהם לא מפגר. הם מותאמים לאילוצים שונים.

כיסוי לעומת עומק

היתרון המתמשך של NLLB-200 הוא הזנב הארוך. מאתיים שפות, כולל שפות דלות משאבים שרוב מודלי 2026 אינם מטפלים בהן כלל, במשפחה שמתפתחת מ-checkpoint של 600M לתערובת מומחים של 54.5B. אם הבעיה שלכם היא מסמך בשפה עם כמה מיליוני דוברים ואף API מסחרי לא מכסה אותה, NLLB-200 הוא עדיין אחת מהאפשרויות הפתוחות המעטות, וה-checkpoint הצפוף של 3.3B רץ על GPU צנוע יחיד.

{{1}}Hy-SimulMT{{/1}} אינה מסוגלת כלל לבצע את העבודה הזו. התיעוד שלה מכסה סינית ואנגלית. המטא-דאטה שלה ב-Hugging Face נושאת תג ל-36 שפות, אך לא פורסמה רשימה של 34 השפות האחרות, וכל דוגמה במאגר משתמשת ב-en-zh או ב-zh-en. תכנון השקה רב-לשונית על סמך התג הזה יהיה טעות.

חשבון החומרה עובד בכיוון ההפוך. המודל הצפוף בגודל 3.3B של NLLB-200 תופס כמה ג'יגה-בייט ב-FP16 ומשתלב בנוחות בכרטיס של 16–24 GB. דגם הדגל שלו בגודל 54.5B הוא כ-108 GB ב-FP16 — עניין של ריבוי GPUs. Hy-SimulMT הוא בקירוב 61 GB ב-BF16 וזקוק למאיץ של 80 GB כדי לשרת כפי שהוא מסופק, או 19.7 GB ב-Q4_K_M דרך נתיב GGUF שתמיכת llama.cpp בו טרם נמצאת ב-upstream. אז NLLB-200 זול יותר בקצה הקטן וניתן להשוואה בקצה העליון; העלות של Hy-SimulMT מרוכזת באמצע, והיא קונה סטרימינג.

הרישיונות מצביעים בכיוונים מנוגדים

זה לא עמוד השדרה של ההשוואה — המודאליות היא — אבל זו הדרך המהירה ביותר לפסול אחד מהם עבור מוצר מסחרי.

המשקלים של NLLB-200 הם תחת CC-BY-NC 4.0. שימוש לא-מסחרי. הקוד שמסביב הוא MIT, ומכאן מגיע הבלבול, אבל מה שתגישו בפועל הוא המשקלים, והכרטיס של Meta אומר בפשטות שהמודלים לא שוחררו לפריסה בסביבת ייצור. פריסה מסחרית דורשת מודל אחר או הסדר רישוי.

Hy-SimulMT הוא ברישיון Apache-2.0, ללא הגבלת גישה, כאשר שימוש מסחרי, שינוי והפצה מותרים. Tencent מספקת ערכת כלים לאימון לצד שרת האינפרנס, ולכן אימון המשך הוא שימוש מיועד. אם הבחירה בין השניים מבוססת על רישוי בלבד, זה לא בכלל קרוב.

היכן שהם שייכים באותו סטאק

הסיבה שממשיכים לחפש את ההשוואה הזו היא שצוותים נתקלים בשתי הבעיות באותו מוצר. חברה עם פעילות בסינית ובאנגלית זקוקה למתורגמן חי לפגישות ולצינור עיבוד טקסט לתעבורת מסמכים ב-200 שפות שמגיעה בדוא"ל, בחוזים ובפניות תמיכה. אלה שתי משימות שונות, והארכיטקטורה הכנה משתמשת בשני מודלים שונים.

NLLB-200, או יורש מודרני, מטפל במסלול הטקסט הלא־מקוון: תרגום באצוות, זיהוי שפה, מיון קורפוסים, הזנב הארוך. Hy-SimulMT מטפל במסלול הדיבור החי סינית↔אנגלית, שבו ההשהיה היא השולטת והכיסוי אינו חשוב כי יש רק שתי שפות בחדר. הגבול ביניהם הוא החלטת ניתוב, וכדאי להצהיר עליה במפורש במקום לתת ליישום להסיק אותה מסוג הקובץ.

אף אחד מהמודלים אינו בקטלוג של OrcaRouter, ולכן איננו מהווים נתיב לאף אחד מהם. מה שנתב אכן מספק הוא התפר סביבם: API אחד לפני יותר מ-200 מודלים מתארחים ללא תוספת מחיר, ומחיר המחירון של הספק מועבר הלאה בלי שום תוספת, ו־ DSL לניתוב שקובע באיזה נתיב בקשה תעבור. החלק האחרון הוא שגרתי ושימושי — בקשות טקסט עוברות למודל כללי מתארח, בקשות דיבור מגיעות למפרש שלך באירוח עצמי, והאפליקציה לא צריכה לדעת מה הוא מה. מעבר אוטומטי לכשל מכסה את המקרה שבו החלק המתארח אינו זמין והבקשה עדיין צריכה להחזיר משהו.

מכיוון שהחלק המתארח מתומחר לפי מחירון הספק בלי תוספת, הורדת מחיר של ספק בצד הטקסט נכנסת לתוקף אצלנו באותו יום. זה דבר קטן עד שאתה מנתב תעבורת מסמכים בהיקף גדול, והחלופה היא לנהל מחדש משא ומתן על חוזה בכל פעם שספק משנה את מחירון התעריפים שלו.

מה לשאול לפני כל אחד מהם

השאלה אינה איזה מודל טוב יותר. אלו שתי שאלות, ויש להן תשובות שונות.

אם הקלט הוא אודיו שעדיין מגיע, והשפות הן סינית ואנגלית, התשובה היא Hy-SimulMT — ושאלת הפריסה הופכת להיות איזה מששת ה-checkpoints שלה, וזו החלטה לגבי צורת הפלט והדיוק שלו ולא לגבי האיכות. אם הקלט הוא טקסט בשפה שטרם זיהית, מתוך קבוצה שכוללת שפות עם מעט משאבים, NLLB-200 נותר בסיס פתוח לגיטימי גם כעבור ארבע שנים, בתנאי שהרישיון הלא-מסחרי מתאים ושאתה מקבל ממשק אצווה.

מה שאף אחד לא פרסם הוא הגשר: זיהוי דיבור שמזין את NLLB-200 באודיו בסינית↔אנגלית, מוערך על אותו מבחן סטרימינג כמו Hy-SimulMT, עם דיווח משותף של השהיה ואיכות. הניסוי הזה יגיד לך אם מתרגם טקסט מ-2022 שעטוף ברתמת סטרימינג מ-2026 יכול להתחרות במתורגמן ייעודי. הוא גם יהיה ההשוואה הכנה הראשונה בין שני המודלים האלה, והוא עדיין לא קיים.

דבר אחרון שראוי לומר בבירור, מפני שהדמיון בין הבנצ'מרקים בהבדל של אות אחת ימשיך לייצר השוואות שגויות: מודל שמנצח ב-FLEURS הוכיח משהו לגבי תרגום דיבור תחת מערך בדיקה ספציפי. מודל שמקבל ציון טוב ב-FLORES-200 הוכיח משהו לגבי תרגום טקסט ב-200 שפות. אף אחת מהתוצאות לא ניתנת להעברה למשימה של האחרת, והספק שיפרסם את שתיהן על אותו אודיו, עם אותו מדד ואותו אופן חישוב השהיה, יהיה הראשון שיהפוך את ההשוואה הזו למשמעותית.