LFM3-Omni-2B против InternLumina U2: две модели, два значения Omni

LFM3-Omni-2B и InternLumina U2 оба числятся под «omni», но они не в одном бизнесе. Модель Liquid AI с 2,17 млрд параметров принимает текст, изображения, видео и аудио, а возвращает текст или речь с частотой 24 кГц. InternLumina U2 от Shanghai AI Laboratory принимает текст, изображения, видео и 3D, а возвращает текст или изображения. Одна — это рот. Другая — рука. Почти каждое сравнение этих двух моделей, которое вы найдёте, тратит всю свою длину на бенчмарки, которые вообще может пройти только одна сторона, поэтому полезный вопрос уже, и ответить на него дешевле: какой половины «omni» не хватает вашему продукту?

Два релиза также вышли в противоположных формах, и это важнее, чем обычно. Liquid AI анонсировала семейство LFM3 27 октября 2026 года одним постом, охватывающим шесть моделей класса 2B, и LFM3-Omni-2B была одной строкой в этом посте, а не отдельным запуском — её веса уже лежали в публичном репозитории с 21 октября. InternLumina U2 пошла другим путём: код инференса и страница проекта появились 1 сентября, веса последовали позже в папках для конкретного оборудования, а анонса так и не было. Ни у одной из моделей нет показателя, который воспроизвела бы третья сторона. Все приведённые ниже цифры — это самоописание вендора.

Отказы говорят о большем, чем характеристики.

Списки характеристик пишут так, чтобы модели выглядели совместимыми. Вместо этого начните с того, что каждая из них физически не в состоянии принять, — потому что эти два списка вообще не пересекаются.

LFM3-Omni-2B не умеет рисовать. В стеке есть визуальный энкодер, но он только читает; выходной путь — текст и речь. Попросите его отредактировать фотографию, и честный ответ будет таким: этот запрос не представлен в модели.

InternLumina U2 не умеет говорить. У него нет ни аудиокодера, ни токенизатора кодека, ни речевой головы. Передайте ему WAV-файл — и в архитектуре не найдётся ничего, что могло бы его принять. Его «omni» — это ставка на то, что понимание и генерация должны быть реализованы в одном визуальном бэкбоне; его выходной словарь — это текстовые и графические токены, а не формы сигналов.

Итак, первый вопрос не в том, какая модель набирает больше баллов. А в том, нужна ли вашей рабочей нагрузке синтезированная речь или отредактированное изображение, потому что ровно одна из этих возможностей доступна у каждой стороны, и ни одна модель не приобретёт другую возможность путём дообучения. Это свойство токенизатора, а не обучающих данных.

Один диктует предложение, другой его дорабатывает.

Архитектуры различаются на более глубоком уровне, чем количество параметров, и это различие объясняет разделение по возможностям.

LFM3-Omni-2B является авторегрессионной моделью. Основной компонент LFM3 с 1,7 млрд параметров читает токены от визуального энкодера LFM3 и каузального аудиокодера LFM3 и выдаёт текстовые токены или речевые токены LiquidCodec слева направо. Видео дискретизируется с частотой 2 кадра в секунду, и каждый патч изображения 2×2 сворачивается в один языковой токен — именно так модель с 2,17 млрд параметров сохраняет окно 32K пригодным для использования на телефоне. Речь выводится на частоте 24 кГц, аудио подаётся на вход в формате 16 кГц моно.

InternLumina U2 — это диффузионная языковая модель, и именно на этом стоит остановиться подробнее. Она не выдаёт по одному токену за раз; она начинает с шума и параллельно уточняет всю последовательность, используя цель masked diffusion. Её визуальное представление полностью дискретно — восемь кодовых книг визуальных токенов AToken на каждую позицию, которые конкатенируются на входной стороне и предсказываются кодовая книга за кодовой книгой на выходной стороне. Тогда генерация изображения — это та же операция, что и ответ на вопрос: денойзинг последовательности визуальных токенов. Это по-настоящему иная ставка по сравнению с той, которую делает каждая другая открытая мультимодальная модель, и именно поэтому модель вообще способна создавать изображение.

Цена такой ставки — инструментарий. InternLumina — это не pipeline из transformers, который вызывается в три строки. Карточка требует токенизатор AToken с FlashAttention, кастомный API генерации block-diffusion и Blender 4.5, если вы хотите отрендерить 3D-результат. LFM3-Omni-2B, для сравнения, поставляется в виде обычных весов BF16 с документированным путём дообучения и уже распространяющейся сборкой Ollama — в объявлении которой указан контекст 125K против 32K в карточке модели, и это расхождение пока никто не объяснил.

Характеристики, которые определяют, подойдёт ли он

• Параметры — LFM3-Omni-2B: 2,17 млрд параметров, плотная модель; InternLumina U2: 16 млрд всего, 1 млрд активных в разреженной смеси экспертов.

• Вывод — текст и речь с частотой дискретизации 24 кГц, включая чередование текста и речи, в отличие от текста и сгенерированных или отредактированных изображений.

• Входные данные — текст, изображение, видео со звуком или без звука и аудио с частотой 16 кГц, в отличие от текста, изображения, видео и 3D.

• Контекст — 32K токенов, покрывающих ввод и вывод, тогда как длина контекста в карточке InternLumina до сих пор не указана.

• Языки — 16 текстовых языков и 19 речевых локалей для LFM3-Omni-2B; InternLumina не публикует количество.

• Лицензия — LFM Open License v1.0, лицензия с порогом по выручке, в отличие от Apache 2.0 с исключениями для поставляемого в комплекте кода AToken и VeOmni.

• Аппаратное обеспечение — телефоны, ноутбуки и edge-платы с одной стороны; с другой — контрольные точки, разделённые на дерево ascend/, обученное на NPU Huawei Ascend, и дерево nvidia/, примерно по 33,8 ГБ на дерево.

Два бенчмарка, которые у них действительно общие

В обеих карточках ровно два числа видео, и они расходятся в том, какая модель лучше, а это — самое информативное на этой странице.

На MVBench InternLumina U2 показывает 61,8, а LFM3-Omni-2B — 58,03: преимущество диффузионной модели в 3,8 балла. На Video-MME без субтитров LFM3-Omni-2B показывает 57,70, а InternLumina U2 — 56,7: преимущество в 1 балл в другую сторону. Оба набора получены самими производителями, на разных стендах, с разными промптами, и ни одна из лабораторий не опубликовала код оценки. Разрыв в 1 балл в таких условиях — это шум; разрыв в 3,8 балла, вероятно, реален, но мало что говорит о ваших видеоматериалах.

Всё остальное не является общим. В карточке InternLumina на первом месте CharXiv-DQ 85.9 и HallusionBench 64.6 — тесты на работу с документами и на галлюцинации, которые LFM3-Omni-2B никогда не проходила. В карточке LFM3-Omni-2B на первом месте DocVQA 92.47, OCRBench 806 и MMMU 42.44, плюс колонка речевых метрик — частота ошибок в словах для английского ASR 6.36, для многоязычного 6.72, TTS UTMOSv2 3.80 — у которой нет аналога на другой стороне. В её собственной карточке указано, что числа измерены Liquid AI с использованием собственного шаблона чата каждой модели и жадного декодирования; это стандартная оговорка, и она вполне реальна.

InternLumina ещё откровеннее: в её карточке результаты названы «предварительными, частичными», а сравнительные таблицы отложены. Это не ложная скромность. Диффузионная модель 16B-A1B, генерирующая изображения с показателями DPG-Bench 87.79 и GenEval 0.89, — серьёзный результат, и это ещё и тот тип результата, который меняется, когда кто-то перезапускает его на другом сэмплере.

Кто должен выбирать

Если вашему продукту нужно отвечать голосом — голосовой помощник, интерфейс без участия рук, средство доступности, суммаризатор звонков, который выдаёт звонящему ответ в виде речи, — LFM3-Omni-2B — единственный из этих двух, кто способен справиться с задачей. Это также единственный из них, кто работает на устройстве, а для речи это важно вдвойне: аудио — наиболее чувствительный к приватности тип данных, к которому обращается большинство приложений, и отправка его на сервер — решение, которое вам придётся обосновывать.

Если вашему продукту нужно создавать или редактировать изображение, InternLumina U2 — единственный вариант, с которого можно начать. Плата за это — необходимость поддерживать стек инференса диффузионных моделей на оборудовании с приоритетом Ascend, с веткой NVIDIA, которая стала пригодной к использованию лишь недавно, и 3D-конвейером, требующим установки Blender. Это исследовательское развёртывание, а не решение для магазина приложений.

То, в чём почти никто не признаётся, — это то, что реальным продуктам нужно и то и другое, и эти две модели не могут сочетаться друг с другом. Запрос, которому нужны сгенерированная диаграмма и голосовое объяснение, должен пройти через две среды выполнения, две лицензии и два аппаратных профиля. Этот стык — то место, где большинство команд в конечном итоге ставят роутер, а не более крупную модель. OrcaRouter — это хостинговая сторона этой схемы: единый API для более чем 200 моделей с 0% наценки к прайс-листу провайдера, с автоматическим переключением при сбое провайдера, — и ни LFM3-Omni-2B, ни InternLumina U2 сегодня не входят в этот каталог. Смысл не в том, что кто-либо из них должен быть там. Смысл в том, что как только вы разделяете работу на две части, второй половине нужно где-то выполняться.

Что изменило бы ответ?

Независимая оценка любой из этих двух моделей дала бы больше, чем очередная таблица от вендора. Для InternLumina U2 показатель, за которым стоит следить, — это качество генерации при другом сэмплере: выходы диффузионных моделей меняются вместе со сэмплером, и ни одна сторонняя сторона это ещё не проверяла. Для LFM3-Omni-2B вопрос в том, устоит ли речь за пределами собственных промптов Liquid, — а именно, переживёт ли показатель 3.80 UTMOSv2 встречу со слушателем, который оценивает не собственную работу.

До этого момента решение опирается на нечто более редкое, чем бенчмарк: перечень возможностей. LFM3-Omni-2B говорит и не умеет рисовать. InternLumina U2 рисует и не слышит. Для большинства команд это решает вопрос ещё до запуска первого eval.