LFM3-1.7B-Base против MiniCPM5 2B: два вендора, две системы оценки, один честный ответ

Liquid AI создала LFM3-1.7B-Base репозиторий на Hugging Face 26 октября 2026 года и на следующий день опубликовала анонс семейства LFM3 — и таблица бенчмарков в этом анонсе делает нечто необычайно полезное: она ставит дообученную LFM3-1.7B напрямую против MiniCPM5-2B — модели на 2,5 млрд параметров, которую OpenBMB с момента появления её весов в сентябре называет лучшей в классе 2B среди открытых моделей. В собственном наборе Liquid из 27 тестов LFM3-1.7B выигрывает в 23 строках, а MiniCPM5-2B — в четырёх. Однако чекпойнт в заголовке этой статьи — не тот, что в этой таблице, и он вообще не приводит никаких показателей бенчмарков. В этом разрыве и заключается суть истории.

В каждом сравнении малых моделей размываются три вещи, поэтому их стоит сразу разграничить: что измеряла Liquid, что измеряла OpenBMB и что ни один из поставщиков не опубликовал о базовых чекпоинтах, которые люди на самом деле дообучают. Только третья категория описывает честное сравнение двух названий на этой странице.

Таблица, опубликованная Liquid, и модель, которую она описывает

В карточке модели LFM3-1.7B представлено 27 строк, распределённых по семи категориям — агенты, использование инструментов, агентное программирование, программирование, следование инструкциям, знания и длинный контекст — со столбцами для LFM2.5-2.6B, MiniCPM5 2B, Gemma 4 E4B, Qwen3.5 4B и Qwen3.5 9B. Собственная модель Liquid побеждает во всех строках, кроме четырёх, а отрывы в агентных строках отнюдь не маленькие: LiveClaw — 45,60 против 30,37, WebArena-Verified — 38,42 против 9,11, AutomationBench — 41,29 против 4,71, BrowseComp-Plus — 37,00 против 16,83. Та же картина наблюдается в использовании инструментов (BFCL V4 — 71,39 против 62,65, ToolSandbox — 80,36 против 68,16) и в длинном контексте, где RULER 128K показывает 65,56 против 37,96 у MiniCPM5-2B.

Четыре победы MiniCPM5-2B — это всё преимущества в знаниях или устойчивости в многоходовых диалогах: τ³-bench — 69,44 против 68,01, GPQA Diamond — 65,15 против 63,37, Humanity's Last Exam без инструментов — 8,20 против 7,17, а точность AA-Omniscience — 9,13 против 7,07. Это небольшие перевесы на бенчмарках, где разница в доли балла часто оказывается шумом. А разрывы в агентных возможностях — нет.

Каждое число в этом абзаце приведено производителем. Liquid использовала собственные тестовые стенды, выбрала собственный набор для сравнения и не опубликовала на карточке методику проведения отдельных тестов. По состоянию на 28 октября 2026 года нам не удалось найти запись {{1}}LFM3{{/1}} на {{2}}Artificial Analysis{{/2}}, поэтому нет независимого воспроизведения, с которым можно было бы это сопоставить. Рассматривайте соотношение {{3}}23–4{{/3}} как довод Liquid, а не как отраслевой результат.

Что на самом деле представляет собой базовый чекпойнт

Если убрать постобучение, получится текстовая модель на 1.73B параметров с 24 слоями: 13 стробированных коротких свёрточных слоёв, пять слоёв внимания со скользящим окном размером 256 токенов и шесть слоёв глобального внимания. Цифра контекста 256K — это реальный показатель: max_position_embeddings в опубликованном конфиге равен 262,144, а не окно в 256 токенов, с которым его спутали в ранних публикациях. Словарь содержит 128,000 токенов, в карточке модели указано 16 языков, а лицензия — LFM Open License v1.0, коммерческое разрешение по которой перестаёт действовать для юридического лица с годовым доходом от 10 млн долларов США и выше.

Рецепт обучения задокументирован подробнее, чем у большинства базовых релизов: всего 22 трлн токенов, причём последние 3,5 трлн потрачены на курируемые данные промежуточного обучения, включая агентные трассы и вызовы инструментов, а также расширения контекста до 128K и 256K. При 4-битной точности чекпоинт, как указано, занимает около 1 ГБ — это та цифра, которая важна, если целевое устройство — телефон или ноутбук, а не сервер.

Чего карточка вам не даёт, так это какой-либо оценки самой базовой модели. Опубликованные оценки Liquid относятся к LFM3-1.7B после SFT, смешанного RL, многодоменной on-policy дистилляции и агентного RL. По публичным материалам невозможно разделить, какая часть этого среднего балла 49,37 получена из 22 трлн токенов предобучения, а какая — из стека постобучения. Это не критика, специфичная для Liquid — почти никто не публикует оценки базовых моделей — но это означает, что название в заголовке этой статьи не имеет собственной таблицы результатов.

Табло-счётчик OpenBMB

Карточка MiniCPM5-2B заявляет иные показатели по другому набору осей. Её радар возможностей оценивает девять измерений и выдаёт средний балл 53,9 против 51,1 у Qwen3.5-4B, 42,7 у granite-4.2-3B и 33,2 у LFM2.5-2.6B. В этой таблице модель является лучшей в классе 2B и конкурентоспособна с моделями класса 4B. В ней не указана LFM3-1.7B, которой не существовало на момент написания карточки.

Эти две таблицы результатов нельзя вычитать друг из друга. Они используют разные тесты, разную нормализацию и разные наборы сравнения — и единственный пересекающийся бенчмарк, τ³-bench, — это именно то место, где модель OpenBMB вырывается вперёд в таблице Liquid. Если вы поставите 53.9 рядом с 49.37 и заключите, что MiniCPM5-2B — более сильная модель, вы сравнили среднее по девяти осям от производителя со средним по 27 тестам от производителя и не узнали ничего.

Факты об аппаратной части менее двусмысленны. MiniCPM5-2B — это стандартная, ничем не модифицированная LlamaForCausalLM с 2 516 756 480 параметрами всего, из которых 1 981 982 720 приходятся на неэмбеддинговую часть, с 42 слоями, групповым attention (GQA) на 16 голов запроса и 2 KV-головы и контекстом в 131 072 токена в поставляемой конфигурации. Она распространяется под Apache 2.0, поставляется в сборках GGUF, MLX, GPTQ и LiteRT вместе с draft-моделью для спекулятивного декодирования, а OpenBMB выпустила вместе с ней и обучающие корпуса. Это готовый продукт, к которому прилагается завод.

Сравнение базы с базой — единственное чистое сравнение.

Оба семейства выпускаются с предобученным чекпоинтом, что впервые позволяет сравнить их на равных. MiniCPM5-2B-Base была создана 27 августа 2026 года, распространяется под лицензией Apache 2.0 и существует по той же причине, что и LFM3-1.7B-Base: чтобы её дообучили во что-то другое. Ни одна из карточек базовых моделей не публикует таблицу оценок. Поэтому решение приходится принимать по спецификации, лицензии и экосистеме, а не по баллам.

Такая переформулировка важна, потому что самая распространённая ошибка с этой парой — скачать базовую модель Liquid, промптить её как чат-модель и заключить, что она хуже MiniCPM5-2B. Так и будет. {{1}}LFM3-1.7B-Base{{/1}} — это результат промежуточного этапа обучения с чат-шаблоном и режимом размышлений, а не ассистент; в собственной карточке Liquid сказано, что для чата, вызова инструментов и агентов следует использовать {{2}}LFM3-1.7B{{/2}}. Готовый чекпойнт OpenBMB — правильный объект для сравнения с {{3}}LFM3-1.7B{{/3}}, и это сравнение уже есть в таблице Liquid. Сравнение base-to-base предназначено для тех, кто собирается обучать модель самостоятельно.

Технический паспорт, размер за размером

• Параметры — LFM3-1.7B-Base: 1,73 млрд на 24 слоях. MiniCPM5-2B: 2,52 млрд всего, 1,98 млрд без учёта эмбеддингов, на 42 слоях.

• Контекст — LFM3-1.7B-Base: 256K токенов, вход плюс выход. MiniCPM5-2B: 131 072 токена в поставляемой конфигурации.

• Архитектура — LFM3-1.7B-Base: три-гибрид с гейтированными короткими свёртками, а также вниманием со скользящим окном и глобальным вниманием, загружается с trust_remote_code. MiniCPM5-2B: стандартный декодер Llama, работающий на немодифицированном инструментарии.

• Лицензия — LFM3-1.7B-Base: LFM Open License v1.0, коммерческое использование при условии, что годовая выручка остаётся ниже $10 млн. MiniCPM5-2B: Apache 2.0, без условия по выручке.

• Поставляемые форматы — LFM3-1.7B-Base: только веса BF16 в базовой карточке; у дообученного варианта есть сборки GGUF, MLX, ONNX, FP8 и NVFP4. MiniCPM5-2B: BF16, GGUF, MLX, GPTQ и LiteRT, а также контрольные точки SFT и промежуточного обучения и драфт-модель DSpark.

• Занимаемая память — LFM3-1.7B-Base: около 1 ГБ при 4-битном квантовании, по данным Liquid. MiniCPM5-2B: плотная модель на 2,5 млрд параметров, для которой в карточке модели не опубликован объём памяти при 4-битном квантовании; ожидайте обычные затраты памяти класса 2,5B, а не 1 ГБ.

• Языки — LFM3-1.7B-Base: 16 именованных языков, включая арабский, хинди, тайский и вьетнамский. MiniCPM5-2B: карточка, ориентированная на английский и китайский, с опубликованными данными, на которых она основана.

• Обучающие данные — LFM3-1.7B-Base: 22 трлн токенов, рецепт описан, но данные не опубликованы. MiniCPM5-2B: корпуса UltraData выпущены вместе с весами.

Что репозитории расскажут вам о развёртывании

MiniCPM5-2B — это модель, которую сегодня проще всего установить на устройство. Архитектура стандартная, поэтому поддержка в llama.cpp, Ollama и LM Studio сводится к использованию опубликованного GGUF, а не к ожиданию ядра. Для Apple Silicon есть сборки MLX, для Android — путь через LiteRT, а драфт-модель DSpark существует специально для того, чтобы ускорить декодирование на оборудовании с ограниченными ресурсами.

LFM3-1.7B-Base предъявляет более высокие требования к среде выполнения. Ему нужен собственный код моделирования, а базовый чекпоинт опубликован только в BF16. Остальной части семейства повезло больше: Liquid указывает поддержку vLLM, SGLang и Transformers для BF16, SGLang для FP8 и NVFP4, llama.cpp и Ollama для GGUF, MLX для Apple Silicon и ONNX Runtime для кроссплатформенной работы. Загвоздка в том, что эти сборки относятся к LFM3-1.7B, а не к базовому чекпоинту. Pull request для SGLang, добавляющий поддержку LFM3, #46858, на момент написания всё ещё был открыт; сопутствующий pull request для cookbook уже объединён.

Если вопрос в том, какую модель на этой неделе использовать за эндпоинтом, учтите, что ни MiniCPM5-2B, ни LFM3-1.7B-Base сегодня нет в каталоге OrcaRouter. Пока что обе — это варианты «скачать и развернуть самостоятельно». Именно в такой ситуации слой маршрутизации начинает оправдывать себя не сразу, а со временем: один ключ, совместимый с OpenAI, для 200+ моделей, 0% наценки с передачей цены провайдера по прайс-листу как есть и автоматическое переключение при отказе, когда выходит из строя собственный сервер или отдельный апстрим. Вам ничего из этого не нужно, чтобы запустить модель на 1 ГБ на ноутбуке; это нужно, когда небольшая модель становится одним из звеньев продакшен-пути и кто-то должен перехватывать сбой.

Что пока ещё непознаваемо

Честный список короток и конкретен. Мы не смогли найти независимый бенчмарк ни для одной модели LFM3, поэтому все заявления о возможностях семейства принадлежат самой Liquid. Опубликованной оценки LFM3-1.7B-Base нет, так что никто не может сказать, насколько хорош исходный чекпойнт до постобучения. Для LFM3 нет цены за токен на размещённом API, из-за чего сравнение стоимости с MiniCPM5-2B — также в большинстве развёртываний самостоятельно размещаемой — превращается в упражнение по железу и электричеству, а не в сравнение по тарифной сетке. И пока нет доказательств — ни независимых, ни каких-либо ещё — того, чего стоит модели скользящее окно в 256 токенов на задачах длинного контекста с интенсивным извлечением; собственный показатель Liquid по RULER 128K, равный 65.56, заметно ниже 87.11, которые она сообщает для Qwen3.5 9B, и это сигнал, за которым стоит наблюдать, а не вердикт.

Три вопроса, на которые стоит ответить, прежде чем скачивать любой из них

Вам нужна модель или отправная точка?

Если вам нужно нечто, что отвечает на вопросы, вызывает инструменты и выдерживает демонстрацию в понедельник, MiniCPM5-2B — это готовое решение, а LFM3-1.7B-Base — нет. Если у вас есть доменный корпус, пайплайн постобучения и причина, по которой стандартная модель не подходит, то базовый чекпоинт — правильная покупка, а TRL-ноутбуки Liquid для SFT, DPO, GRPO и продолженного предобучения дают больше руководства, чем предлагают большинство поставщиков.

Сможет ли ваша организация когда-нибудь преодолеть отметку в 10 миллионов долларов годовой выручки?

LFM Open License v1.0 предоставляет коммерческие права только ниже этого порога. Выше него произведение вообще не лицензируется по этому соглашению, и вам нужна отдельная договорённость с Liquid. В Apache 2.0 нет такого обрыва. Для хобби-проекта или начинающего стартапа эта разница теоретическая; для устоявшейся компании она определяет шорт-лист ещё до проведения любого бенчмарка.

Оправдывает ли 256K контекст кастомную архитектуру?

LFM3-1.7B-Base предлагает вдвое больший контекст, чем MiniCPM5-2B, при меньшем числе параметров — это самый сильный технический аргумент в его пользу. Платой за это является нестандартная модель, которой требуется удалённый код, более узкий набор готовых сборок на базовом чекпоинте и интеграция в среду выполнения, которая всё ещё завершается. Если ваша рабочая нагрузка укладывается в 131K, вы платите эту цену за запас, который не будете использовать.

Какой выбрать?

Для большинства команд, сравнивающих эти два названия, ответ — MiniCPM5-2B: не потому, что он побеждает в конкурсе бенчмарков, а потому, что это готовый продукт под Apache-2.0 с квантованными сборками, опубликованными данными обучения и без лицензионного потолка. Это менее рискованный способ получить производительную модель на 2.5B на устройстве.

LFM3-1.7B-Base — более интересная ставка для более узкой аудитории: команд, которым нужен чекпоинт на 1,73 млрд параметров с контекстом 256K, 16 языками и нестандартной архитектурой, которую можно продолжать обучать на одном GPU, и которые готовы мириться с лицензией LFM и более скудной экосистемой базовых моделей. Liquid дала этой аудитории реальную отправную точку и необычно подробный рецепт обучения. Она пока не дала никому причин верить, что базовый чекпоинт лучше готового чекпоинта OpenBMB, и собственная таблица вендора не пытается утверждать, что это так.

Число, за которым стоит следить, — не соотношение 23–4. Это первая независимая оценка любой модели LFM3 — момент, когда таблица результатов Liquid перестаёт быть единственной таблицей результатов.