SingVL_S1_4B против LFM2.5-VL-3B: вероятности против абзацев

Вопрос о том, SingVL_S1_4B превосходит ли LFM2.5-VL-3B, — это некорректно поставленный вопрос, и самый быстрый способ потерять неделю — всё равно на него ответить. Одна из этих моделей пишет абзацы об изображениях; другая возвращает вероятность для каждого варианта, который вы ей передаёте, и никогда не выдаёт ни слова от себя. Эта разница — не разрыв в качестве, который нужно разрешать на лидерборде. Она определяет, какой из ваших пайплайнов какую модель может использовать, ещё до обращения к любому бенчмарку. Поэтому честное сравнение идёт в обратном направлении: начните с того, что должен получать ваш код, и посмотрите, какая модель может это выдать.

Два разных типа возвращаемого значения

LFM2.5-VL-3B от Liquid AI — это визуально-языковая модель в обычном понимании. Дайте ей изображение и вопрос, и она генерирует ответ токен за токеном, а значит, может описать сцену, поддержать многоходовой диалог, вызвать функцию, расшифровать страницу текста с аннотациями разметки или вернуть ограничивающие рамки для названных вами объектов. Она была выпущена 12 августа 2026 года, построена на языковом бэкбоне LFM2.5-2.6B с визуальным энкодером SigLIP2 NaFlex и явно ориентирована на развёртывание на устройстве — 228 токенов в секунду на Apple M5 Max при объёме памяти менее 3,3 ГБ, а вместе с нативным чекпоинтом опубликованы сборки GGUF, ONNX и MLX.

SingVL_S1_4B от inclusionAI, тихо выложенный 11 ноября 2026 года, делает одну вещь — и делает её за один прямой проход. Вы передаёте ему состояние — текст, JSON, до четырёх изображений — и словарь именованных вопросов, каждый из которых объявляет тип (выбор, да/нет под меткой «noul» или оценку по упорядоченной шкале с 2–10 уровнями) и свои варианты ответов. Он возвращает вероятность для каждого варианта. Здесь нет этапа сэмплирования, не нужно задавать температуру, нечего разбирать на выходе. Сама карточка модели целиком написана в этой терминологии, вплоть до примеров API.

Если вашему эндпоинту нужно возвращать "счёт от Acme, датированный мартом, на сумму 1 240,00", LFM2.5-VL-3B справится с этим, а SingVL_S1_4B — нет. Если вашему эндпоинту нужно {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}, справедливо обратное. Вот и всё решение, а всё ниже — о его границах.

Спецификация, рядом, без таблицы

• Параметры — SingVL_S1_4B содержит около 4,54 млрд параметров в BF16, распределённых по двум шардам общим объёмом 9,1 ГБ; LFM2.5-VL-3B — 3,1 млрд, с языковым бэкбоном на 2,6 млрд.

• Вывод — SingVL_S1_4B возвращает вероятности по каждому варианту за один прямой проход; LFM2.5-VL-3B возвращает сгенерированный текст, вызовы инструментов или структурированную аннотацию разметки.

• Контекст — SingVL_S1_4B принимает 65 536 входных токенов только для текста, снижая этот показатель до 10 000, как только добавляются изображения; LFM2.5-VL-3B заявляет 32 768 токенов в сквозном режиме.

{{1}}Изображений на запрос{{/1}} — {{2}}SingVL_S1_4B{{/2}} ограничен четырьмя, при этом процессор допускает максимум 1 806 336 пикселей на каждое; {{3}}LFM2.5-VL-3B{{/3}} поддерживает ввод одного или нескольких изображений и разбивает большие изображения на фрагменты 512×512 плюс миниатюру.

• Языки — LFM2.5-VL-3B перечисляет пятнадцать, от арабского до вьетнамского; карточка SingVL_S1_4B вообще не содержит никаких заявлений о языках.

• Лицензия — LFM2.5-VL-3B поставляется по LFM Open License v1.0, причём квантованные производные уже находятся в открытом доступе; SingVL_S1_4B поставляется без поля лицензии и без файла LICENSE.

• Развёртывание — LFM2.5-VL-3B имеет нативные сборки, а также сборки GGUF, ONNX и MLX, плюс демонстрацию WebGPU и пути через vLLM, SGLang и llama.cpp; SingVL_S1_4B означает клонирование репозитория и запуск собственного FastAPI-сервера на порту 8173.

• Экосистема — LFM2.5-VL-3B присутствует на Hub с августа и уже получил квантованные версии и порты от сообщества; SingVL_S1_4B на момент написания существовал всего один день и имел ноль скачиваний.

Две из этих строк решают больше, чем кажется на первый взгляд. Первая — строка о лицензии: репозиторий без лицензии не даёт никому права перераспространять или поставлять продукт, а «поставщик не сказал» — это не разрешение, которое можно предъявить на проверке на соответствие требованиям. Вторая — строка о развёртывании: сборка ONNX, которая работает на телефоне, и Python-сервер, который рассчитывает на устройство CUDA, не конкурируют за одно и то же место в вашей архитектуре, что бы ни говорило число параметров.

Почему показатели бенчмарка нельзя вычитать

Обе карточки приводят оценки на наборах данных, названия которых пересекаются, и это пересечение — ловушка. SingVL_S1_4B указывает 82.17 на RealWorldQA, 72.11 на BLINK, 50.17 на MMMU-Pro vision и 96.31 на InfographicVQA. LFM2.5-VL-3B указывает 73.1 на RealWorldQA, 61.5 на BLINK, 30.5 на MMMU Pro и 81.3 на ChartQA. Если выстроить их в ряд, это выглядит как разгром. Но это вообще не сравнение.

Первая причина — режим ответа. Каждый показатель SingVL_S1_4B получается путём оценки набора предоставленных вариантов и выбора наиболее вероятного из них, что принципиально проще, чем генерация свободного ответа, который затем должен сопоставить проверяющий. Decision Index измеряет именно это и прямо об этом говорит: его оценки скорректированы на случайность, поэтому угадывание не приносит заслуг, но модели всё равно никогда не нужно порождать саму строку — только ранжировать кандидатов, написанных кем-то другим. Генеративная модель, отвечающая на тот же вопрос с нуля, выполняет больше работы за ту же точку на графике.

Вторая причина — кто это проводил. Оба набора данных заявлены производителями и получены на собственных тестовых стендах каждого из них. Ни один из них не был воспроизведён независимой лабораторией. Кроме того, SingVL_S1_4B существует всего один день, и заявки в публичный комплект для воспроизведения Decision Index нет — в карточке приведены инструкции по её созданию, что указывает на намерение, но ничего не доказывает. LFM2.5-VL-3B люди запускают уже три месяца, и хотя это не равнозначно проверенной аудитом цифре, это по крайней мере означает, что на его показатели хотя бы смотрели посторонние.

Третье — расхождение версий. В собственной карточке LFM2.5-VL-3B его показатель OCRBench v2 помечен как подмножество только для английского языка. Строка InfographicVQA для SingVL_S1_4B приводится внутри набора с собственной нормализацией. Два числа с одинаковым названием набора данных и разными подмножествами — не одно и то же число, и честный шаг — перестать вычитать их друг из друга.

Утверждение об эффективности принадлежит только одной стороне.

Главное в LFM2.5-VL-3B — не точность, а пропускная способность при ограниченном объёме памяти: менее 3,3 ГБ, 228 токенов в секунду на M5 Max, 116 на Ryzen AI Max+ 395 и 20 на Galaxy S26 Ultra. Именно последняя цифра важна для проектирования продукта, потому что это разница между функцией, которая работает на устройстве, и функцией, которой требуется обмен с сервером. В репозитории SingVL_S1_4B нет ничего, что заявляло бы сопоставимые показатели, а квантованной сборки, с помощью которой это можно было бы сделать, нет — есть только BF16-шарды и серверный скрипт.

Обратная сторона в том, что у одного прямого прохода такой профиль затрат, который генеративная модель не может повторить. Оценка четырёх вариантов для одного вопроса — это один проход; генерация описания из 200 токенов — это 200 последовательных проходов. Если ваша задача действительно является классификацией — является ли этот документ чеком, есть ли на этом кадре человек, соответствует ли это объявление требованиям — дизайн SingVL_S1_4B должен быть дешевле в расчёте на решение, и он возвращает калиброванное число, с которым может работать порог, а не предложение, которое должен суметь обработать парсер. Это преимущество структурно и не зависит от того, верен ли бенчмарк поставщика. Кроме того, его никто за пределами лаборатории не измерял, поэтому относитесь к нему как к ожиданию, а не факту.

Сколько стоит выяснить

LFM2.5-VL-3B можно оценить на ноутбуке уже сегодня днём. Сборка MLX работает на Apple silicon, сборка GGUF работает на CPU через llama.cpp, а если хотите сначала взглянуть, прежде чем что-либо скачивать, есть размещённая в сети песочница. Стоимость переключения — это идентификатор модели в конфигурационном файле, а риск ограничен тем, что веса лицензированы, а формат стандартный.

SingVL_S1_4B требует GPU и полдня на настройку. Вам понадобятся Python 3.12, сборка PyTorch, совместимая с вашей видеокартой, собственные зависимости репозитория и свободный порт. Сервер поддерживает единственный маршрут — POST /v1/systemone — с плоским JSON-телом, что для исследовательского артефакта необычно легко настроить, а карточка содержит рабочие примеры curl для текстовых запросов и запросов с изображениями. Чего нельзя сделать, так это направить на него существующий клиент в формате OpenAI, потому что он имеет другой формат. Конечная точка создана для набора оценки Decision Index, и набор создан для неё.

Эта асимметрия — практический ответ на вопрос «что мне попробовать первым». Если вы ещё не убедились, что модель, возвращающая вероятность, помогает вашему пайплайну, дешёвый эксперимент — прогнать этот паттерн на чём-то, что уже обслуживается. В OrcaRouter доступен TypeSafe Jev 1.14 по цене $0.042 за миллион входных токенов под одним ключом, а это рабочая конечная точка для принятия решений, на которой можно за час прогнать бенчмарк своей задачи, без необходимости размещать чекпоинт и без вопроса о лицензии, который пришлось бы эскалировать. SingVL_S1_4B там недоступен — у него вообще нет хостингового провайдера, — поэтому сравнение, которое вы действительно можете сделать сегодня, звучит так: «превосходит ли оценка типизированных решений генерацию на моих данных», а не «побеждает ли именно этот новый чекпоинт». Сначала получите первый ответ, прежде чем тратить на второй.

Где каждому из них место

• Документы, которые необходимо прочитать и процитировать — LFM2.5-VL-3B. Она создаёт транскрипцию с метками макета, а её строка OCR — это реальная возможность, а не оценка.

• Экраны, формы и графические интерфейсы — LFM2.5-VL-3B. ScreenSpot-v2 на 80,7, а также улучшения grounding по сравнению с предыдущим поколением — главное в этом релизе.

• Всё, что работает на телефоне или ноутбуке — LFM2.5-VL-3B, и тут вне конкуренции, потому что альтернативе нужен сервер.

• Гейт перед дорогостоящим вызовом — подойдёт любой из вариантов, но форма SingVL_S1_4B подходит лучше, если вы можете его хостить, потому что гейту нужна именно вероятность.

• Многометочная сортировка по фиксированной таксономии — в принципе, SingVL_S1_4B. Его типы вопросов с выбором и оценкой напрямую отображаются на таксономии, тогда как генеративную модель приходится с помощью промптов и постобработки ограничивать обратно одной таксономией.

Модерация — и здесь не обойтись без работы. Собственная карточка SingVL_S1_4B показывает, что её строка hateful-meme падает с 71,64 до 43,28 при применении промпта навыка, — это предупреждение о чувствительности к промптам именно в той области, где ложноотрицательные результаты дорого обходятся.

• Коммерческое развертывание в этом квартале — LFM2.5-VL-3B, исключительно по лицензионным основаниям.

Та часть, что всё ещё не измерена

Интересный вопрос не в том, какая модель лучше, потому что они не участвуют в одном соревновании. А в том, может ли классификатор с 4,5 млрд параметров, обученный поверх визуального бэкбона, сравниться с универсальной визуальной моделью на узком срезе задач, где нужны только метка и уверенность. Если да, это меняет стоимость многих пайплайнов, потому что один прямой проход — это совсем иной порядок затрат, чем сгенерированный абзац. Пока никто за пределами inclusionAI не знает — репозиторию один день, лицензия не указана, а бенчмарк — собственный у лаборатории.

Тем временем модель общего назначения доступна, лицензирована, квантована, снабжена документацией и достаточно быстра, чтобы работать на телефоне. Когда команда спрашивает, что из этого выводить в продакшен, ответ пока что — скучный вариант, а интересный — это гипотеза, к которой прилагается репозиторий.