LFM3-VL-2B vs MiniCPM-V 4.7 1B: разрыв в 14 пунктов, который сокращается до 4, если отключить режим размышления

Самое существенное различие между LFM3-VL-2B и MiniCPM-V 4.7 1B заключается не в какой-либо из таблиц бенчмарков. Оно в строке лицензии. Модель OpenBMB распространяется по Apache 2.0. Модель Liquid AI — по LFM Open License v1.0, которая содержит коммерческие условия вместо обычных разрешительных условий. В остальном две модели достаточно близки по размеру, чтобы быть прямыми заменами, — 1,92 млрд против 1,55 млрд, — и появились с разницей менее трёх недель: MiniCPM-V 4.7 1B появилась на Hugging Face 6 октября, а в примечаниях к выпуску поставщика датирована 12 октября, тогда как LFM3-VL-2B присутствовала в публичном репозитории с 19 октября и была анонсирована 27 октября. В собственном наборе Liquid из 62 бенчмарков новая модель в среднем набирает 71,4 против 57,5 — разрыв в 13,9 балла, который сокращается до 4,6 балла, как только отключаешь режим рассуждений у модели Liquid.

Две модели в одной весовой категории, но по разным правилам

MiniCPM-V 4.7 1B — меньшая из двух моделей, примерно на 370 млн параметров. Она объединяет визуальный энкодер в стиле SigLIP с языковой основой, производной от Qwen3.5, использует сжатие визуальных токенов в 4× или 16×, выбираемое для каждого запроса, и, согласно документации производителя, заявляет окно контекста 256K. Она поставляется в сборках BF16, int4, AWQ, GPTQ и GGUF, а также со специализированной draft-моделью DSpark для спекулятивного декодирования.

LFM3-VL-2B объединяет языковую модель LFM3-1.7B с новым собственным 164M визуальным энкодером и 25M проектором, при документированном контексте 128K, с видеовходом на 2 кадра в секунду и документированным режимом без размышлений.

• Параметры — 1,92 млрд для LFM3-VL-2B против 1,55 млрд для MiniCPM-V 4.7 1B, согласно документации OpenBMB; значок размера модели на Hugging Face округляет последнюю до 2B.

• Лицензия — LFM Open License v1.0 vs Apache 2.0.

• Контекст — 128K токенов против заявленных 256K, хотя конфигурации инференса обычно устанавливают верхний предел гораздо ниже.

• Визуальная ветка — собственный энкодер на 164M с одним токеном на блок патчей 2×2 против башни в стиле SigLIP со сжатием 4×/16×.

• Видео — 2 кадра в секунду; первая модель LFM со зрением, поддерживающая видео, с показателями LongVideoBench и MotionBench, опубликованными производителем.

• Режим рассуждений — доступен и измеряется обоими способами, тогда как в прогоне бенчмарка он доступен и используется.

• Средний результат поставщиков по набору Liquid из 62 бенчмарков — 71.4 в режиме рассуждения, 62.1 без рассуждения, против 57.5.

Совокупный разрыв составляет 13,9 пункта. Сначала прочитайте сноску.

Таблица Liquid — единственный артефакт, в котором обе модели оцениваются на одних и тех же 62 бенчмарках с одинаковой нормализацией, и именно благодаря ему это сравнение вообще возможно. В собственной карточке OpenBMB нет сравнения с LFM3-VL-2B, которой не существовало на момент выпуска MiniCPM-V 4.7 1B.

Важная сноска: режим рассуждения использовался для каждой модели в таблице, кроме LFM2.5-VL-3B, которая его не поддерживает, и конфигурации LFM3-VL-2B без режима рассуждения. Таким образом, 71.4 и 57.5 — обе оценки получены с включённым режимом рассуждения, что делает сравнение более справедливым, чем сопоставление с LFM2.5. Обе модели измеряются в их лучшей конфигурации, на одних и тех же инструментах, одной и той же лабораторией.

Справедливость — не то же самое, что независимость. Liquid выбрала бенчмарки и провела их. Таблица необычно полная — в ней есть строки по категориям и по отдельным бенчмаркам, и в ней назван каждый конкурент, — но ни одна третья сторона не воспроизвела ни одной её части.

Отключите режим размышления, и 1B выигрывает 24 из 62.

LFM3-VL-2B публикует вторую оценку для тех же весов с отключённым режимом рассуждения. Именно этот столбец и интересен, потому что он показывает, откуда на самом деле берётся агрегированный показатель в 13,9 балла. Без рассуждений LFM3-VL-2B побеждает в 35 бенчмарках, MiniCPM-V 4.7 1B — в 24, а 3 завершаются вничью. Средний разрыв снижается до 4,6 балла.

Ещё поразительнее то, что {{1}}1B выигрывает{{/1}} в такой конфигурации. Он забирает большую часть кластера математических задач и задач на рассуждение по графикам, часто со значительным отрывом.

• We-Math (testmini, strict) — 47,8 у MiniCPM-V 4.7 1B против 20,1 у LFM3-VL-2B без размышления и 68,6 с размышлением.

• LogicVista — 46,1 против 30,2 без размышления, 60,4 с размышлением.

• MathVista (mini) — 71,2 против 68,5 без режима размышления, 84,2 с режимом размышления.

• ChartQA (тест) — 88,8 против 81,4 без рассуждений, 92,7 с рассуждениями.

• CharXiv (описательный) — 73,4 против 65,5 без режима размышления, 87,5 с режимом размышления.

• DynaMath — 63.8 против 57.7 без размышлений.

• MMMU (val) — 51,0 против 48,6 без обдумывания, 55,7 с обдумыванием.

Результат We-Math — тот, на котором стоит задержаться: преимущество в 27,7 пункта у 1B, когда ни одной из моделей не разрешено рассуждать, — и преимущество в 20,8 пункта у LFM3-VL-2B, как только ей это разрешают. We-Math — бенчмарк строгой точности для многошаговой визуальной математики, и балл не меняется постепенно между двумя моделями. Он переворачивается. Это самая наглядная единичная иллюстрация в таблице того, что даёт режим рассуждения.

Практический вывод: если вы отключаете рассуждения ради задержки и ваша рабочая нагрузка связана с числами на графиках или диаграммах, совокупное преимущество более крупной модели вас не защитит. 1B — лучший инструмент.

Где LFM3-VL-2B выигрывает независимо от режима

Верно и обратное, и категории столь же конкретны. Пять из них близки к односторонним даже в колонке «без размышлений».

• Понимание GUI — 83,1 в режиме рассуждения, 81,5 без рассуждения, против 45,3 у MiniCPM-V 4.7 1B. ScreenSpot-Pro — 55,5 против 4,9; ScreenSpot-v2 Desktop — 94,6 против 51,5.

• Визуальная привязка — 77,3 с рассуждением, 72,6 без рассуждения, против 51,1. RefCOCO-avg достигает 90,5 против 86,3.

• Воплощённое рассуждение — 64,4 с мышлением, 57,9 без мышления, против 45,3.

• Agentic — 42,5 с рассуждением, 32,9 без рассуждения, против 16,9. Самая слабая категория для всех четырёх моделей в таблице и самый большой относительный разрыв между этими двумя.

• Многоязычность — 84,4 с рассуждением, 76,2 без рассуждения, против 77,4. Единственная категория, где модель Liquid без рассуждения уступает модели 1B.

ScreenSpot-Pro с показателем 55,5 против 4,9 — это самый большой разрыв между двумя моделями среди всех 62 бенчмарков. Если вы создаёте автоматизацию интерфейсов, здесь и решать нечего; если вы создаёте репетитора по математике, рейтинг меняется на противоположный. Средняя разница в 13,9 пункта — это артефакт усреднения двух совокупностей, которые ведут себя совершенно по-разному.

Два харнесса — два разных числа для одного и того же бенчмарка

Именно эта часть делает сравнение между производителями таким коварным, и она заслуживает отдельного раздела, поскольку оба производителя публикуют результаты для бенчмарков с одинаковыми названиями.

OpenBMB сообщает MathVista 74,3 для MiniCPM-V 4.7 1B на своей собственной странице. Повторный прогон Liquid той же модели на одноимённом бенчмарке даёт 71,2. OpenBMB сообщает OCRBench 86,1; стенд Liquid сообщает OCRBench v1 — 82,1. Ни одна из лабораторий не лжёт. Они используют разные форматы промптов, разные правила извлечения ответов или разные подмножества данных, и возникшие в результате различия в 3,1 и 4,0 балла — это обычная вариативность стенда.

Из этого следует, что нельзя взять 74.3 от OpenBMB и вычесть из него показатель Liquid 68.5 по MathVista без размышлений для LFM3-VL-2B, чтобы получить преимущество в 5.8 балла. Это была защитимая интерпретация до 27 октября, когда единственный общий бенчмарк между MiniCPM-V 4.7 1B и LFM2.5-VL-3B измерялся на двух разных стендах. Теперь это не защитимо, поскольку Liquid опубликовала обе модели в одной таблице. Используйте таблицу и считайте, что каждый показатель со страницы вендора относится к своему собственному инструменту измерения.

Ничья, которая тихо разрешает давний спор

В той же таблице есть результат, который никто ни в одной из компаний не афишировал. MiniCPM-V 4.7 1B в среднем набирает 57,5 по 62 бенчмаркам. LFM2.5-VL-3B — в среднем 57,6.

На странице продукта OpenBMB утверждается, что модель 1B превосходит LFM2.5-VL-3B в OCR, рассуждениях по графикам и понимании видео. В тестовом наборе Liquid это утверждение наполовину верно и наполовину неверно, а в совокупности — абсолютная ничья:

• Документы, OCR и графики — 73,0 у MiniCPM-V 4.7 1B против 71,2 у LFM2.5-VL-3B. Утверждение подтверждается, но с минимальным перевесом.

• Видео — 53,7 против 41,3. Утверждение решительно подтверждено.

• Математика — 51,8 против 40,6. Утверждение подтверждено и не упоминалось в исходном утверждении.

• Визуальная привязка — 51,1 против 68,3. Утверждение явно несостоятельно.

• Понимание графического интерфейса — 45,3 против 66,0. Утверждение явно не выдерживает критики.

• Agentic — 16,9 против 21,1. Утверждение не подтверждается.

Итак, модель на 1,55 млрд параметров под Apache 2.0 соответствует модели на 3,1 млрд параметров от хорошо финансируемой лаборатории в общем наборе из 62 бенчмарков — и добивается этого, решительно выигрывая в одних категориях и решительно проигрывая в других. Это реальный результат о плотности возможностей, а также предупреждение о том, что скрывает среднее значение. Что возвращает сравнение к LFM3-VL-2B: модель, которая превосходит обе, — это та, чей режим рассуждений поднимает её самые слабые категории, а не та, что равномерно лучше.

Лицензия, загрузки и что вы действительно можете поставлять

Разница в лицензиях определит больше внедрений, чем любая строка выше. Apache 2.0 не требует разговоров с юридической командой. LFM Open License v1.0 содержит коммерческие условия, и хотя она достаточно открыта, чтобы Liquid выпускала каждую модель семейства под ней, это не то же самое разрешение.

С внедрением история похожая. На Hugging Face {{1}}MiniCPM-V 4.7 1B{{/1}} с 6 октября набрала примерно 155 000 загрузок и чуть более 400 лайков. {{2}}LFM3-VL-2B{{/2}} на момент написания имеет несколько сотен загрузок и 16 лайков: она публично доступна девять дней и была анонсирована один день назад. Число загрузок — шумный сигнал: CI-конвейеры и зеркала квантованных версий завышают его, — но разрыв в три порядка — не шум. Это отражает, что за одной моделью стоит месяц инструментов, руководств и квантованных версий от сообщества, а за другой — один день.

Инструментарий следует той же схеме. Для MiniCPM-V 4.7 1B указаны Transformers, SGLang, vLLM, llama.cpp, Ollama и OpenVINO, а также нативные приложения для iOS, Android и HarmonyOS. LFM3-VL-2B на момент запуска поддерживает SGLang, доступны веса GGUF, а поддержка llama.cpp всё ещё находится на рассмотрении — причём, согласно его собственной карточке, в ожидающей реализации отсутствует ввод видео.

Какая модель для какой задачи

• автоматизация пользовательских интерфейсов, чтение экрана, восприятие в робототехнике — LFM3-VL-2B, без колебаний, и режим без размышлений подойдёт. ScreenSpot-Pro — 55,5 против 4,9: это не тот разрыв, который можно обойти инженерными решениями.

• Анализ графиков, визуальная математика, вопросы по диаграммам — MiniCPM-V 4.7 1B, если вы работаете без рассуждений, и настоящее испытание, если нет. Проверьте We-Math на собственных данных; разрыв в 27,7 балла без режима рассуждений — это то, что сразу проявляется в продакшене.

• Длинное видео — ближе, чем предполагают средние показатели по категории. LFM3-VL-2B лидирует в категории видео со счётом 61,2 против 53,7, но MiniCPM-V 4.7 1B фактически побеждает в Video-MMMU 50,1 против 49,6 даже в конфигурации с рассуждением.

• Всё, что должно получить юридическое одобрение без проверки — MiniCPM-V 4.7 1B, только на Apache 2.0.

• Всё, что уже сегодня требует зрелого инференс-стека — MiniCPM-V 4.7 1B, по крайней мере в ближайшие несколько недель, пока llama.cpp не добавит поддержку LFM3-VL.

Где место роутера, когда на нём нет ни той, ни другой модели

Ни один из этих чекпоинтов не входит в каталог OrcaRouter; оба — это веса, которые вы скачиваете, квантуете и запускаете. Интересное применение слоя маршрутизации здесь заключается не в их обслуживании, а в композиции вокруг них. Model fusion позволяет панели моделей совместно отвечать на один и тот же вопрос, а локальный специалист на 1,55 млрд параметров в визуальной математике в паре с хостинговой моделью, которая сильнее в тех категориях, где он проигрывает — привязка к реальности, агентные задачи — это конфигурация, которая превосходит любую из моделей по отдельности. DSL маршрутизации — это способ выразить, какая часть обрабатывает какой вопрос, не переписывая приложение каждый раз, когда выходит новый чекпоинт.

Честный вывод таков: заголовочный показатель в 13,9 пункта реален, измерен на стенде одной лаборатории — и вводит в заблуждение как основание для решения о покупке. LFM3-VL-2B — лучшая модель для экранов и grounding с отрывом, к которому не приближается никто в её размерном классе. MiniCPM-V 4.7 1B — лучшая модель для визуальной математики без рассуждений, поставляется по лицензии, не требующей переговоров, и не уступает модели вдвое большего размера в том же наборе тестов. Правильный ответ зависит от того, какое из этих утверждений описывает вашу нагрузку, — и никакое среднее от обоих производителей вам этого не скажет.