LFM3-1.7B против MiniCPM5-2B: проверка таблицы результатов Liquid 23 к 4

27 октября 2026 года Liquid AI опубликовала таблицу бенчмарков из 27 строк, в которой LFM3-1.7B противостоит MiniCPM5-2B. Модель Liquid побеждает в 23 из этих строк. MiniCPM5 побеждает в четырёх. Этот подсчёт быстро разошёлся, и это проблема, потому что количество побед — наименее информативное, что можно извлечь из таблицы, где один производитель выбрал бенчмарки, написал тестовую обвязку и запустил обе модели. Это проверка того, что на самом деле говорит вам счёт 23–4, — и она начинается с признания: сравнение, на которое Liquid тихо отвечает, было опубликовано в этом блоге днём ранее, и он воздержался от приведения именно этого аргумента. В том материале сравнивались два базовых чекпойнта и делался вывод, что ни у одного нет пригодных для использования оценок. А вот версия, где с обеих сторон используются посттренированные веса.

MiniCPM5-2B — это плотная модель рассуждений OpenBMB на 2,52 млрд параметров, выпущенная в начале сентября 2026 года под лицензией Apache 2.0. LFM3-1.7B — это текстовая и агентная модель Liquid AI на 1,73 млрд параметров, выпущенная 27 октября 2026 года под LFM Open License v1.0. Они относятся к одному классу по числу параметров, конкурируют за одно и то же место на устройстве и созданы для заметно разных задач.

Два поставщика, два жгута, одна таблица

Счет 23–4 существует только потому, что Liquid повторно прогнал тест конкурента. Для запуска это законный и необычно строгий шаг — большинство вендоров сравнивают с публичным числом из таблицы лидеров и не раскрывают методическую обвязку. Но повторный прогон конкурента на собственном стенде не дает нейтрального результата, и выдает это в строках, где один и тот же бенчмарк фигурирует в карточках обоих вендоров.

Возьмём BFCL V4. Liquid измеряет MiniCPM5-2B на уровне 62.65. В собственной карточке OpenBMB указано 66.6. Возьмём Humanity's Last Exam: Liquid получает 8.20 для MiniCPM5, OpenBMB заявляет 8.9. Эти разрывы малы — в пределах четырёх пунктов по шкале 0–100 — и говорят о том, что различия в харнессе на стандартизированных бенчмарках невелики. Теперь возьмём SWE-bench Verified, где OpenBMB сообщает 46.4 для MiniCPM5-2B, а Liquid — 43.40 для LFM3-1.7B. Поставьте эти два числа рядом — и побеждает MiniCPM5. Поставьте собственную строку Liquid для MiniCPM5 рядом с собственной строкой Liquid для LFM3 — и побеждает LFM3. Один и тот же бенчмарк, одни и те же две модели, противоположный ответ — потому что числа получены из разных харнессов.

В этом одном примере — вся проблема. Ни один из поставщиков не опубликовал конфигурацию тестового стенда, политику повторных попыток или структуру промптов. Пока кто-то не прогонит обе модели через единый стенд, который они не контролируют, каждая строка сравнения между поставщиками в этой таблице — это подбрасывание монеты, замаскированное под измерение.

Там, где расхождение слишком велико, чтобы быть шумом измерительной установки

Некоторые строки невозможно объяснить. Агентная веб-навигация — самый наглядный пример:

• WebArena-Verified — LFM3-1.7B 38.42 против MiniCPM5-2B 9.11 на стенде Liquid.

• AutomationBench — 41,29 против 4,71.

• RULER 128K — 65.56 против 37.96.

• BFCL V4 — 71,39 против 62,65.

Разрыв в четыре пункта — это строительные леса. Разрыв в двадцать девять пунктов на WebArena-Verified или в тридцать семь пунктов на AutomationBench — уже нет. Это различия в том, способна ли модель вообще удержать многошаговый план, и они совпадают с тем, что каждый вендор говорит о себе: Liquid построила LFM3 вокруг агентного промежуточного обучения с трассировками вызовов инструментов, а в собственной документации OpenBMB MiniCPM5 отмечена как слабая на длительных многошаговых задачах и склонная к повторениям. Два независимых описания одного и того же недостатка, пришедшие с противоположных сторон, — сильнейшее доказательство во всём этом сравнении.

Строка про длинный контекст заслуживает отдельного внимания, потому что именно её люди поймут неправильно. RULER 128K на уровне 37,96 у MiniCPM5 — это оценка поиска/извлечения на 128K, а не утверждение, что модель ограничена 128K: MiniCPM5-2B официально поддерживает 131 072 токена. Это означает, что на такой длине MiniCPM5 находит меньше из того, что вы просите найти. LFM3 на той же длине набирает 65,56. Если ваша задача — «найти в длинном документе и ответить», этот разрыв решает всё.

Четыре строки, в которых побеждает MiniCPM5, — и почему это важно

В таблице Liquid MiniCPM5-2B одерживает четыре победы: τ³-bench — 69,44 против 68,01, GPQA Diamond — 65,15 против 63,37, HLE — 8,20 против 7,17 и AA-Omniscience — 9,13 против 7,07. Три из четырёх — это бенчмарки на знания. Разрывы составляют от одного до двух пунктов, что находится в пределах уровня шума большинства оценочных наборов.

Но эта картина согласуется с дизайном MiniCPM5. OpenBMB обучала её как модель рассуждений с явным режимом мышления — в цепочке, где сначала выполнялся SFT по глубокому мышлению на более чем 400 млрд токенов, затем обучение с подкреплением с учителями-специалистами, а после этого — on-policy дистилляция в единый dense-чекпоинт. Это рецепт, нацеленный на то, чтобы выжать больше из хранимых знаний на каждый параметр. Обучение LFM3 нацелено на вызовы инструментов и следование инструкциям. Преимущество MiniCPM5 на GPQA Diamond в 1,8 балла — не сюрприз; это две философии обучения, проявляющиеся там, где и следовало ожидать.

Гораздо интереснее сравнение, которое таблица Liquid составить не может. У MiniCPM5-2B индекс интеллекта Artificial Analysis равен 12. У LFM3-1.7B по состоянию на 28 октября 2026 года вообще нет записи в Artificial Analysis — ни индекса, ни независимо измеренной скорости, ни нейтрального показателя задержки. Так что модель, проигрывающая 23 строки из 27, — это та, по которой есть независимая точка данных, а модель, выигрывающая их, — та, которую предлагают принять на веру. Эта асимметрия должна весить больше, чем количество побед.

Характеристики, которые действительно можно корректно сравнить

Там, где ни один из поставщиков не запускает бенчмарк другого, цифры скучны и надёжны:

• Параметры — LFM3-1.7B: 1,73 млрд плотных против MiniCPM5-2B: 2,52 млрд всего, 1,98 млрд без эмбеддингов.

• Слои — 24 гибридных (13 свёрточных, 5 со скользящим окном, 6 глобальных) против 42 стандартных слоёв трансформера с группированным вниманием запросов при 16 головках запросов и 2 головках KV.

• Контекст — 256K против 131,072.

• KV-кэш при 128K — 1,6 ГБ против 5,6 ГБ, по измерениям Liquid для обоих.

Занимаемый объём при 4-бит — примерно 1 ГБ против примерно 1,1 ГБ по данным практических отчётов.

• Словарный запас — 128K против 130,560.

• Лицензия — LFM Open License v1.0: бесплатна при выручке ниже $10M, в отличие от Apache 2.0, где нет порога.

Строка KV-кэша — та, что определяет требования к аппаратному обеспечению. Разница в 3,5× при одинаковой длине контекста — это разница между агентом с длинным контекстом, который помещается на телефоне, и тем, который не помещается. Это также объясняет, почему LFM3 может предложить 256K, тогда как MiniCPM5 предлагает 131K: три-гибридная смесь слоёв дешевле в расчёте на токен контекста, и в этом весь смысл её создания.

Для некоторых команд разница в лицензиях важнее разницы в объёме памяти. Apache 2.0 не имеет порога по выручке, не требует коммерческого соглашения и не оставляет неоднозначности в отношении перераспределения. LFM Open License бесплатна при годовой выручке ниже $10 млн и требует разговора при превышении этого порога. Стартап ниже этой черты получает обе бесплатно. Компания выше неё получает одну бесплатно, а вторую — после звонка, и это реальные затраты на закупку, независимо от того, какая модель набирает больше баллов.

Поддержка экосистемы — вот где MiniCPM5 по-прежнему лидирует

Оба семейства моделей уже с первого дня получили широкую поддержку сред выполнения, поэтому этот разрыв меньше, чем был год назад. LFM3 поддерживает vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama и LM Studio, а также сборки BF16, FP8, NVFP4, GGUF, MLX и ONNX. MiniCPM5-2B поддерживает те же среды выполнения, а также GPTQ и DSpark — черновую модель для спекулятивного декодирования, которая используется в паре с основным чекпойнтом.

Практическая разница заключается в зрелости, а не в доступности. MiniCPM5-2B можно скачать с начала сентября — это семь недель отчетов об ошибках от сообщества, экспериментов с квантованием и патчей для фреймворков, которых у LFM3 не было. У модели, выпущенной вчера, будут недоработки в конвертации в GGUF и в упаковке для Ollama. Это не критика Liquid; так выглядит первый день. Если модель нужна вам в продакшене на этой неделе, семь недель, в течение которых другие люди первыми сталкивались с проблемами, чего-то да стоят.

Как принять решение и в каких случаях роутер оправдывает своё место

Ни одной из этих моделей нет в каталоге OrcaRouter — обе представляют собой открытые веса, которые вы запускаете сами, и мы предпочли бы сказать это прямо, а не намекать на обратное. Роутер важен на границе. Честный способ провести эту оценку — поставить обе модели за одну конечную точку и направить на них реальный трафик, а честный способ запустить любую из них в продакшене — не позволять модели 2B быть единственным, что может ответить.

Вот для чего автоматическое переключение при сбое нужно. Направьте запрос в LFM3-1.7B, позвольте ей обработать вызов инструмента или извлечение данных, для которого она обучена, и переключитесь на хостируемую модель, когда окажется, что задача требует больше шагов, чем способна удержать модель на 2B. Поскольку OrcaRouter передаёт прейскурантную цену провайдера с наценкой 0%, дорогой путь стоит ровно столько, сколько провайдер взимает, когда он действительно используется, — экономия от маршрутизации к небольшой локальной модели не съедается роутером. DSL маршрутизации позволяет выразить это как правило, а не переписывание: сначала специализированная модель, универсальная — при сбое или по порогу уверенности.

Слияние моделей — это недоиспользуемый вариант в данном случае. Когда две модели 2B расходятся в классификации, получить ответ от обеих и согласовать их часто дешевле, чем эскалировать к модели 27B, а сама частота расхождений — полезный сигнал о том, какие входные данные сложны. Когда на одной стороне вашего конвейера находится непроверенная модель, такая перекрёстная проверка дешевле, чем доверять таблице поставщика.

Что бы это решило?

Через тридцать дней кто-то должен опубликовать LFM3-1.7B и MiniCPM5-2B через один харнесс, а конфигурацию закоммитить вместе с результатами. Если LFM3 удержится где-то около 38 на WebArena-Verified и 65 на RULER 128K, то счёт 23–4 окажется приблизительно верным по неправильным причинам, а агентный разрыв реален. Если же он опустится к показателям MiniCPM5, значит, таблица запуска измеряла скаффолдинг.

До тех пор защитимая позиция уже́, чем маркетинг любого из двух вендоров. Если ваша нагрузка многошаговая, включает вызов инструментов или работу с длинными документами, LFM3-1.7B — более выгодная ставка, и преимущество в памяти делает её единственной из двух, что помещается на ограниченном оборудовании с запасом. Если ваша нагрузка — это поиск знаний, одношаговые рассуждения или вам нужна однозначная лицензия и модель с прикреплённой независимой оценкой, MiniCPM5-2B — более безопасный выбор, и четыре строки, которые она выигрывает, указывают именно в этом направлении. Счёт 23–4 не столько неверен, сколько незаслужен — а количество моделей в таблице запуска не то же самое, что результат.