Hy-SimulMT против NLLB-200: потоковый переводчик — не переводчик на 200 языков

Названия двух бенчмарков различаются одной буквой, и эта буква — суть всей статьи. Hy-SimulMT, синхронный переводчик китайского↔английского в реальном времени от Tencent Hunyuan, выпущенный 26 октября 2026 года, публикует результат 90,3 по чему-то под названием FLEURS. NLLB-200, текстовый переводчик Meta AI на 200 языков, представленный в июле 2022 года, оценивается на чём-то под названием FLORES-200. Они связаны — FLEURS построен на предложениях FLORES, прочитанных вслух, — но это не один и тот же тест, их оценивают не одинаково, и никто никогда не запускал эти две модели друг против друга. Поиск такого сравнения выдаёт материалы о запуске одной модели и документацию другой, и ничего между ними. Это отсутствие — честная отправная точка: они не конкуренты, и полезный вопрос — для какой задачи на самом деле предназначена каждая из них.

Одна буква, два бенчмарка

FLORES-200 — это текстовый бенчмарк. Meta создала его в рамках проекта No Language Left Behind: профессионально переведённые предложения на 200 языках, используемые для измерения того, насколько хорошо система перевода переносит письменный текст с одного языка на другой. Основная метрика — spBLEU, вариант BLEU, вычисляемый на фиксированном, сбалансированном по языкам токенизаторе, чтобы оценки были сопоставимы между языками с разными системами письма. В статье о NLLB также приводятся chrF++ и человеческая оценка под названием XSTS.

FLEURS — это устный «собрат». Он берёт наборы предложений FLORES, носители языка читают их вслух, и оценивает перевод речи — аудио на входе, текст на выходе. Он охватывает 102 языка, а не 200. Когда Tencent сообщает 90,3 на FLEURS для Hy-SimulMT, это число включает весь конвейер: восприятие аудио, распознавание слов и их перевод. Когда Meta сообщает spBLEU на FLORES-200 для NLLB-200, текст уже корректен и токенизирован, и измеряется только этап перевода.

Поставьте эти два числа рядом — и вы ещё не сравнили две модели. Вы сравнили сквозную речевую систему с текстовым переводчиком на разных данных, с разными метриками, на разных языках. Именно к этой ошибке подталкивает однобуквенное сходство, и об этом стоит сказать до любого другого сравнения в этом материале.

Что на самом деле представляет собой NLLB-200 четыре года спустя

NLLB-200 вышел в июле 2022 года и с тех пор не пересматривался. Контрольные точки, которые вы скачиваете сегодня, — это контрольные точки 2022 года. Это не критика — это констатация того, что это за артефакт: исследовательский релиз, который определил бенчмарк и набор данных, а затем остановился.

Семейство охватывает пять размеров, и весь смысл именно в разбросе:

• NLLB-200-distilled-600M — самый маленький пригодный чекпоинт, достаточно малый для GPU ноутбука.

• NLLB-200-distilled-1.3B и NLLB-200-1.3B — пара среднего уровня: одна дистиллирована для скорости, а другая обучена напрямую.

• NLLB-200-3.3B — плотная рабочая лошадка; именно этот размер большинство реально использует при развертывании.

• NLLB-200-54.5B — флагманская разреженная модель: 128 экспертов с top-2-гейтингом, слой mixture-of-experts в каждом четвёртом блоке трансформера, а вычисления на один токен примерно сопоставимы с плотной моделью на 3,3 млрд параметров. Это крупнейшая открытая модель перевода своего поколения, и по-прежнему именно благодаря ей цитируют это семейство.

Обучающий набор составлял примерно 18 миллиардов параллельных пар предложений, а главным утверждением статьи было улучшение BLEU на 44% по сравнению с предыдущим уровнем техники, измеренное более чем в 40 000 направлениях перевода. Архитектура представляет собой трансформер encoder-decoder, созданный для перевода отдельных предложений. Здесь нет потокового режима, нет аудиовхода и нет понятия частичного вывода — на вход подаётся предложение, и возвращается предложение.

Лицензия — CC-BY-NC 4.0, и карточка модели без обиняков говорит о замысле: модель не выпущена для промышленного развёртывания и не предназначена для доменно-специфического перевода, перевода документов длиной в документ, длинных входных данных или сертифицированного перевода. Код, окружающий веса, распространяется под MIT, а сами веса — нет; именно эта путаница сопровождает данный релиз уже четыре года.

Что Hy-SimulMT на самом деле собой представляет по состоянию на эту неделю

Hy-SimulMT — это артефакт почти по всем параметрам противоположной формы. Это речевая модель: аудио поступает с частотой 16 кГц окнами по 30 секунд, и модель выдаёт переведённый текст, пока говорящий ещё говорит. Архитектура представляет собой разреженную смесь экспертов с 30,4 млрд параметров, из которых около 3 млрд активны на каждый токен, построенную вокруг 24-слойного аудиокодера. Документированная языковая пара — китайский и английский, в обоих направлениях.

Его главное утверждение — задержка, а не покрытие. Tencent сообщает о StreamLAAL около трёх секунд на длинных аудиозаписях RealSI, описывая его как самый низкий среди систем, с которыми проводилось сравнение. Это утверждение иного рода, чем что-либо в статье NLLB, где вообще нет измерения задержки, потому что нечего измерять: пакетный текстовый переводчик не отстаёт от говорящего.

Релиз распространяется под лицензией Apache-2.0 без ограничений доступа и включает шесть чекпоинтов, охватывающих два формата вывода — только перевод и исходный текст с переводом — каждый в вариантах полной точности, FP8 и GGUF. Полноточная сборка занимает около 61 ГБ, а сборка GGUF Q4_K_M — 19,7 ГБ. Для вывода речи и клонирования голоса требуется отдельный сервис TTS; сама модель выдаёт текст.

И, как и NLLB-200, у него нет размещённого API и опубликованной цены. Потребительский продукт Tencent — приложение Hy Translate, в котором есть бесплатный тариф. Всё остальное означает запуск весов.

Почему оценки не могут находиться в одном столбце

Соблазн велик — сопоставить четыре оценки Hy-SimulMT с любым попавшимся под руку показателем NLLB-200. Сопротивляйтесь ему, и не только из-за различия между FLEURS и FLORES. Эти две модели отвечают на разные вопросы.

• Модальность входных данных — Hy-SimulMT получает аудио, поэтому в его оценку включается ошибка распознавания. NLLB-200 получает текст, из которого ошибка распознавания уже удалена. Речевая модель и текстовая модель на одних и тех же предложениях не стартуют с одной и той же позиции.

• Метрика — Hy-SimulMT приводит оценки семейства BLEU на наборах для перевода речи; NLLB-200 приводит spBLEU, chrF++ и XSTS на FLORES-200. Токенизатор spBLEU существует специально для того, чтобы межъязыковое сравнение было корректным, а значит, он не взаимозаменяем с обычным числом BLEU, даже если оба называются BLEU.

• Единица работы — NLLB-200 оценивается по предложениям на выровненном тексте. Hy-SimulMT оценивается на потоковом аудио, где интересный сбой — не неправильно переведённое слово, а предложение, которое поступает слишком поздно, чтобы быть полезным.

• Количество направлений — у NLLB-200 более 40 000 направлений усредняются в его итоговом показателе; четыре бенчмарка Hy-SimulMT охватывают только китайский↔английский. Среднее по длинному хвосту и оценка на одной паре с большим объёмом ресурсов описывают разные виды достижений.

В своей собственной таблице Hy-SimulMT тоже не везде впереди. Модель набирает 75,5 на CoVoST2 против 82,1 у Qwen3.8-LiveTranslate и уступает Gemini3.5-LiveTranslate на FLEURS (90,3 против 92,4) и ACL6060 (81,2 против 82,6). Самая явная победа — RealSI-Sentence с результатом 84,7. Все эти числа получены вендором, на выбранном Tencent стенде, и не были независимо воспроизведены. В карточке модели также не сказано, какой из двух её вариантов вывода дал эти результаты.

Задержка измеряется в единице, которой у NLLB нет

Это та часть, которая решает судьбу внедрений и не имеет никакого отношения к результатам бенчмарков.

Синхронному переводчику приходится идти на компромисс, с которым пакетный переводчик никогда не сталкивается: ждать дольше и переводить лучше или заговорить раньше и рисковать ошибкой. StreamLAAL измеряет этот компромисс — грубо говоря, насколько в среднем выход отстаёт от входа. Три секунды Hy-SimulMT — это утверждение об этом компромиссе. Это явно не то же самое, что время до первого речевого вывода, и Tencent говорит об этом в карточке модели. Как только вы добавляете внешний сервис TTS, опыт слушателя включает и задержку этого сервиса, чего трёхсекундный показатель не учитывает.

У NLLB-200 нет эквивалентного числа, потому что у неё нет потокового режима. Его можно прикрутить: разбить аудио на фрагменты, запустить распознавание речи, подать фрагменты предложений в NLLB и выдавать переводы по мере их готовности. Эта архитектура работает, и команды её уже строили. Но разбиение на фрагменты уничтожает контекст, на который опирается переводчик уровня предложения, и итоговое качество — это не то качество, которое измеряется на FLORES-200 с полными, корректно построенными предложениями. Разрыв между «NLLB-200 набирает X на FLORES» и «NLLB-200 внутри разбитого на фрагменты конвейера реального времени звучит как Y» — вот куда на самом деле уходит большая часть инженерных усилий.

Вот в чём настоящая асимметрия. Hy-SimulMT создавался для потокового сценария и расплачивается за это языковым покрытием и размером класса 30B. NLLB-200 создавался для широкого охвата и расплачивается за это интерфейсом только для пакетной обработки. Ни один из них не отстаёт. Они оптимизированы под разные ограничения.

Покрытие в зависимости от глубины

Неизменное преимущество NLLB-200 — длинный хвост. Двести языков, включая низкоресурсные, с которыми большинство моделей 2026 года вообще не справляются, в семействе, масштабирующемся от чекпоинта на 600M до смеси экспертов на 54.5B. Если ваша задача — документ на языке с несколькими миллионами носителей, который не покрывает ни один коммерческий API, NLLB-200 по-прежнему один из немногих открытых вариантов, а плотный чекпоинт на 3.3B работает на одной скромной GPU.

Hy-SimulMT вообще не справится с этой задачей. В его документации представлены китайский и английский языки. В метаданных Hugging Face для него указан тег «36 языков», но список остальных 34 не опубликован, а все примеры в репозитории используют en-zh или zh-en. Планировать многоязычное развёртывание, опираясь на этот тег, было бы ошибкой.

Аппаратная арифметика работает в обратную сторону. Плотная модель NLLB-200 на 3,3 млрд параметров занимает несколько гигабайт в FP16 и комфортно помещается на карту объёмом 16–24 ГБ. Её флагманская модель на 54,5 млрд параметров — около 108 ГБ в FP16, что требует нескольких GPU. Hy-SimulMT — примерно 61 ГБ в BF16, и для работы в поставляемой конфигурации нужен ускоритель на 80 ГБ, либо 19,7 ГБ при Q4_K_M через путь GGUF, поддержка которого в llama.cpp ещё не вошла в upstream. Таким образом, NLLB-200 дешевле на нижнем конце и сопоставим на верхнем; затраты Hy-SimulMT сосредоточены в середине, и за них вы получаете потоковую обработку.

Лицензии указывают в противоположных направлениях.

Это не основа сравнения — ею является модальность — но это самый быстрый способ забраковать один из них для коммерческого продукта.

Веса NLLB-200 распространяются по лицензии CC-BY-NC 4.0. Некоммерческой. Сопутствующий код — под MIT, отсюда и путаница, но именно веса вы бы использовали в сервисе, а карточка Meta прямо говорит, что модели не выпущены для развертывания в производственной среде. Для коммерческого развертывания нужна либо другая модель, либо лицензионная договорённость.

Hy-SimulMT распространяется под лицензией Apache-2.0 без ограничений доступа; разрешены коммерческое использование, модификация и перераспространение. Tencent поставляет инструментарий для обучения вместе с сервером инференса, поэтому продолжение обучения является одним из предполагаемых сценариев использования. Если выбирать между этими двумя вариантами только по лицензированию, то преимущество явное.

Где их место в том же стеке

Причина, по которой этот вопрос о сравнении так часто ищут, в том, что команды сталкиваются с обеими проблемами в одном и том же продукте. Компании с китайскими и английскими операциями нужен синхронный переводчик для встреч и текстовый конвейер для документопотока на 200 языках, который поступает по электронной почте, в договорах и заявках в поддержку. Это две разные задачи, и честная архитектура использует две разные модели.

NLLB-200 или его современный преемник обслуживает офлайн-конвейер обработки текста: пакетный перевод, определение языка, триаж корпусов, длинный хвост. Hy-SimulMT обслуживает потоковый тракт живой речи китайский↔английский, где доминирует задержка, а покрытие не имеет значения, потому что в комнате всего два языка. Граница между ними — это решение о маршрутизации, и его стоит указывать явно, а не позволять приложению выводить его из типа файла.

Ни одна из этих моделей не входит в каталог OrcaRouter, так что мы не являемся маршрутом ни к одной из них. Что роутер действительно даёт, так это шов вокруг них: единый API перед более чем 200 размещёнными моделями с наценкой 0%, цена провайдера передаётся как есть, без каких-либо надбавок, и DSL маршрутизации, который определяет, какой путь выберет запрос. Последняя часть — обыденная и полезная: текстовые запросы передаются размещённой универсальной модели, речевые запросы идут к вашему собственному развёрнутому интерпретатору, и приложению не нужно знать, что есть что. Автоматическое переключение при сбое покрывает случай, когда размещённая часть недоступна, а запрос всё равно должен что-то вернуть.

Поскольку хостинговое звено оценивается по прайс-листу провайдера без каких-либо надбавок, снижение цены поставщика на стороне обработки текста действует на нашей стороне в тот же день. Это мелочь, пока вы не начнёте маршрутизировать документные потоки в больших объёмах и пока альтернативой не окажется пересмотр контракта каждый раз, когда провайдер меняет свой тарифный план.

Что спросить перед любым из них

Вопрос не в том, какая модель лучше. Это два вопроса, и у них разные ответы.

Если на вход поступает аудио, которое ещё продолжает поступать, а языки — китайский и английский, ответ — Hy-SimulMT; и тогда вопрос развёртывания сводится к тому, какую из его шести контрольных точек использовать, а это решение о форме и точности вывода, а не о качестве. Если на входе текст на языке, который вы ещё не определили, из набора, включающего языки с низкими ресурсами, NLLB-200 остаётся правомерной открытой базовой моделью даже четыре года спустя — при условии, что некоммерческая лицензия подходит и вы принимаете пакетный интерфейс.

Никто ещё не опубликовал связующее звено: распознавание речи, передающее результат в NLLB-200 для аудио китайский↔английский, оценённое на том же потоковом бенчмарке, что и Hy-SimulMT, с совместным отчётом о задержке и качестве. Этот эксперимент показал бы, может ли текстовый переводчик 2022 года, обёрнутый в потоковый каркас 2026 года, конкурировать со специально разработанным синхронным переводчиком. Он также стал бы первым честным сравнением этих двух моделей — и его пока не существует.

Ещё одно стоит сказать прямо, потому что сходство названий бенчмарков в одну букву будет и дальше порождать неудачные сравнения: модель, побеждающая на FLEURS, продемонстрировала кое-что о переводе речи в рамках конкретной схемы оценки. Модель, показывающая хороший результат на FLORES-200, продемонстрировала кое-что о текстовом переводе на 200 языках. Ни один из этих результатов не переносится на задачу другого, и поставщик, который опубликует оба результата на одном и том же аудио, с одной и той же метрикой и одинаковым учётом задержки, первым сделает это сравнение осмысленным.