LFM3-1.7B против Gemma 4 12B: когда модель в семь раз меньше побеждает в бенчмарке по программированию

LFM3-1.7B — это текстовая модель с 1,73 млрд параметров, которую Liquid AI опубликовала на Hugging Face 26 октября 2026 года и на следующий день анонсировала в рамках запуска семейства LFM3. Gemma 4 12B — это плотная модель с 11,95 млрд параметров, выпущенная Google DeepMind 3 июня 2026 года; она понимает изображения и аудио, а также текст. В единственном бенчмарке по программированию, который публикуют оба вендора, — LiveCodeBench v6, — меньшая модель набирает 73,46, а большая — 72,0. Прочтите это дважды, потому что ради этого эта страница и существует, и это ещё и число, которое в интернете легче всего прочитать неправильно. Маршрутизация не добавляет наценку к прейскурантной цене провайдера. 0% наценки Посмотрите цены без наценки на нашей странице тарифов.

Оба показателя заявлены производителями. Ни один из них не был воспроизведён независимым оценщиком. Они были получены разными командами, на разных испытательных стендах, с разницей в несколько месяцев, и Liquid не опубликовала методическую записку, объясняющую, как был настроен её прогон LiveCodeBench. Поэтому честная версия приведённого выше утверждения звучит не как «модель на 1,7B превосходит модель на 12B в коде», а так: два производителя сообщают о почти идентичных результатах на бенчмарке с одинаковым названием, а разрыв в девять пунктов на GPQA Diamond в другую сторону говорит о том, что эти две модели вовсе не близки по возможностям.

Что действительно сопоставимо, а что нет

Большинство страниц «X vs Y» ставят две таблицы вендоров рядом и называют это сравнением. Это работает, только если таблицы пересекаются. Между публикацией Liquid о запуске LFM3 и карточкой модели Gemma 4 от Google ровно два названия бенчмарков фигурируют с обеих сторон с совместимыми определениями: LiveCodeBench v6 и GPQA Diamond. Всё остальное сообщается одним вендором и не сообщается другим, а пустая ячейка — не ноль.

По этим двум общим осям результат — чёткое разделение. {{1}}LFM3-1.7B набирает в LiveCodeBench v6 73,46 против 72,0{{/1}}. {{2}}Gemma 4 12B набирает в GPQA Diamond 78,8 против 63,37 — разрыв в 15,4 балла, что не является шумом для оценки с несколькими сотнями вопросов.{{/2}}

Эту закономерность стоит назвать, а не усреднять до исчезновения. LiveCodeBench измеряет, насколько модель справляется с задачами по спортивному программированию, — это узкий навык, сильно завязанный на паттерны, в котором небольшая модель, обученная на правильных данных, может добиться успеха. GPQA Diamond измеряет научное рассуждение уровня выпускника, зависящее от широты знаний, — именно то, что даёт количество параметров. Модель с 1,7 млрд параметров может быть конкурентоспособной в первом случае и проиграет во втором, и это согласованный результат, а не противоречие.

Поставщик предлагает цену ниже своего собственного лучшего предложения

Вот часть, которая должна изменить то, как вы читаете 73.46. Прокрутите до конца карточки модели LFM3-1.7B, и Liquid прямо пишет, что модель предназначена для локальных агентов, вызова инструментов и структурированных выходных данных, и что она не рекомендуется для агентного программирования или сложных многошаговых рассуждений из-за своего небольшого размера.

Это сам вендор, а не конкурент, говорит вам о потолке. Это неловко соседствует с результатом LiveCodeBench, который немного превосходит универсальную модель на 11.95B, и согласование здесь в том, что эти показатели измеряют разные вещи. Решение отдельной задачи соревновательного программирования — не та же задача, что удержание репозитория в контексте и внесение двадцати согласованных правок. Модель может быть сильна в первом и явно непригодна для второго, и Liquid говорит именно об этом, а не позволяет бенчмарку подразумевать обратное.

Верьте производителю на слово. Если ваша рабочая нагрузка — агентная разработка, это сравнение не должно заканчиваться на LFM3-1.7B. Если ваша рабочая нагрузка — вызов инструментов, структурированное извлечение, классификация или локальный ассистент на принадлежащем вам устройстве, предупреждение с карточки к вам не относится, и размер в 1 ГБ становится главным аргументом.

Где 12B — это просто другой класс вещей

Gemma 4 12B является мультимодальной таким образом, который невозможно добавить к LFM3-1.7B с помощью тонкой настройки. В карточке Google говорится, что входные изображения и аудио проецируются непосредственно в то же пространство, что и текстовые токены, без отдельных энкодеров — аудио нативно поддерживается в 12B и его меньших моделях. LFM3-1.7B принимает текст и выдаёт текст. Возможности обработки изображений в Liquid реализованы в LFM3-VL-2B — отдельном чекпоинте с отдельным энкодером, а текстовая модель не получает его в результате тонкой настройки.

• Параметры — 1,73 млрд плотных параметров для LFM3-1.7B; 11,95 млрд плотных параметров для Gemma 4 12B. Соотношение — 6,9 к 1.

• Модальность — только текст в сравнении с текстом, изображением и аудиовходом.

• Контекст — 262 144 токена в обоих. Это единственная строка, где малая модель ничего не уступает, и это настоящее достижение три-гибридной архитектуры, а не совпадение.

• Объём памяти — около 1 ГБ при 4-битном квантовании против примерно 7 ГБ. На телефоне эта разница решает, выйдет продукт или нет.

• Языки — 16 именованных языков против 140+ предварительно обученных с мощной поддержкой «из коробки». Для продукта с латинской письменностью этот разрыв редко бывает критичен; для регионального развёртывания он решающ.

• Лицензия — LFM Open License v1.0 бесплатна для коммерческого использования при годовом доходе ниже 10 млн долларов США и требует платной лицензии при превышении этого порога. Gemma 4 12B распространяется под Apache 2.0 без порога по доходу.

Эти два счёта номинированы не в одной и той же валюте.

Gemma 4 12B имеет рыночную цену, потому что третьи стороны предоставляют её как сервис. Artificial Analysis сообщает о смешанной медиане $0.10 за миллион входных токенов и $0.30 за миллион выходных токенов по платформам, размещающим открытые веса, — это медиана по провайдерам, а не прайс-лист, и она меняется вместе с предложением. При такой ставке большинство команд вообще не задумываются о том, чтобы запускать 12B самостоятельно.

У LFM3-1.7B такой цены нет. В карточке на Hugging Face прямо указано, что модель не развёрнута ни одним провайдером инференса, и это согласуется с тем, что мы видим у себя: OrcaRouter сейчас не маршрутизирует LFM3-1.7B. Если вы хотите её вызвать, скачайте 3,46 ГБ весов BF16 или сборку примерно на 1 ГБ в 4-битном формате и запустите vLLM, SGLang, llama.cpp, MLX или ONNX самостоятельно. Собственный API Liquid будет её обслуживать, и несколько сторонних платформ тоже.

Поэтому сравнение стоимости — это не токены против токенов. Это счёт за дообучение и обслуживание против счёта за каждый вызов. При малом объёме API побеждает безоговорочно; при устойчивом объёме на уже имеющемся у вас оборудовании модель на 1 ГБ, оставляющая остальную часть GPU свободной, имеет совершенно иную экономическую конфигурацию. Именно эта асимметрия — а не разрыв в четыре пункта в LiveCodeBench — является настоящей причиной рассмотреть небольшую модель.

Для чего на самом деле предназначен каждый из них

Выбирайте LFM3-1.7B, когда ограничением является целевая среда развёртывания: телефон, ноутбук, одна небольшая GPU, которой вдобавок приходится выполнять другую работу. Контекст в 256K действительно необычен для такого размера, словарь на 16 языков покрывает большинство региональных продуктов, а поддержка инференса шестью способами означает, что вы не ставите на один рантайм. Примите, что вы покупаете модель для вызова инструментов и извлечения данных, а не рассуждающую модель, и планируйте механизм поиска с учётом пробела в знаниях, о котором предупреждает сам поставщик.

Выберите Gemma 4 12B, когда задаче нужна широта, когда на входе скриншот или запись, или когда Apache 2.0 важен для процесса закупки. Он набирает на 15 баллов больше в научных рассуждениях уровня выпускника, нативно читает изображения и доступен по опубликованной медианной цене с первого дня. Цена — память: 7 ГБ в 4-битном режиме — это ноутбук или скромная видеокарта, а не телефон.

Выберите оба варианта — когда у вас есть высоконагруженный узкий путь и низконагруженный широкий. Направьте широкий путь к размещённой универсальной модели, а небольшую модель держите на устройстве для узких вызовов, чувствительных к задержке. OrcaRouter создан для первой половины такого разделения — один ключ для более чем 200 моделей, списочные цены провайдеров передаются с наценкой 0%, поэтому изменение цены применяется в тот же день, и автоматическое переключение при сбое, если провайдер деградирует. Это не поможет вам разместить LFM3-1.7B, потому что мы не обслуживаем эту модель, и было бы нечестно подразумевать обратное.

Что бы это решило?

Одна независимая оценка LFM3-1.7B на тестовом стенде, который выбрала не она, дала бы больше, чем вся эта страница. Таблица запуска от Liquid подробна и внутренне согласована, и этот блог рассматривает её как данные, сообщённые производителем, а не как проверенные — чем она и является. Конкретно стоит следить за сторонним прогоном LiveCodeBench или SWE-bench, который воспроизведёт 73.46, профилем Artificial Analysis, который поставил бы обе модели на одну шкалу, и любым сообщением о том, что модель справляется с реальной задачей в репозитории — именно тем применением, от которого предостерегает карточка модели.

До тех пор защитимая интерпретация уже, чем заголовок. Модель на 1.73B с контекстом 256K, объёмом 1 ГБ и сильным профилем вызова инструментов догнала универсальную модель на 12B в одном изолированном бенчмарке по программированию и сильно уступает ей в знаниях. Это не сенсация. Это две модели, созданные для разных задач, и полезный вопрос — какая задача у вас.