LFM3-1.7B-Base против LFM2.5-2.6B-Base: меньше параметров, меньше токенов, больше контекста

Арифметика указывает не в ту сторону. LFM3-1.7B-Base, опубликованная 26 октября 2026 года, на 36% меньше, чем LFM2.5-2.6B-Base, которую Liquid AI выпустила 4 августа 2026 года — 1,73 млрд параметров против 2,69 млрд. Она также обучалась на меньшем количестве токенов: 22 трлн против примерно 34 трлн. Если судить по двум цифрам, которые индустрия обычно использует для ранжирования предобученных моделей, более новый чекпоинт должен быть хуже. Liquid утверждает обратное — по крайней мере, для посттренированной модели, построенной на его основе, — а интересный вопрос для любого, кто выбирает ствол для дообучения, состоит в том, какие из этих различий реальны, а какие представляют собой историю, рассказанную с помощью набора бенчмарков. Запуск сравнения должен стоить вычислений, а не второго контракта. 0% наценки OrcaRouter передаёт прейскурантные цены провайдеров без наценки.

Это сравнение внутри одного семейства, что делает его необычно чистым. Один и тот же поставщик, одно и то же семейство лицензий, один и тот же словарь на 128 000 токенов, один и тот же скрытый размер 2 048, одна и та же роль «base-to-base». Две контрольные точки различаются архитектурой, объёмом данных, длиной контекста и объёмом постобучения, встроенного в ствол модели. Почти всё остальное остаётся неизменным.

Дельта, измерение за измерением

• Параметры — 1,73 млрд у LFM3-1.7B-Base против 2,69 млрд у LFM2.5-2.6B-Base. Сокращение на 35,7% — именно отсюда берётся фраза «на 35% меньше параметров» из поста Liquid о запуске.

• Слои — 24 против 30. Новая модель не только уже, но и мельче.

• Смесь слоёв — тринадцать стробируемых коротких свёрток, пять блоков внимания со скользящим окном и шесть блоков полного внимания для LFM3; двадцать две свёртки и восемь блоков полного внимания для LFM2.5, без уровня со скользящим окном.

• Внимание — шестнадцать голов запросов и четыре головы ключ-значение в LFM3 против тридцати двух и восьми в LFM2.5. В обоих сохраняются размерность головы 128 и скрытая размерность 2 048.

• Ширина прямой связи — 7 680 для LFM3 против 10 752 для LFM2.5. Именно здесь фактически сосредоточена большая часть сокращения параметров.

• Кэш свёртки — семь для LFM3 против трёх для LFM2.5, с добавленным скользящим окном на 256 токенов.

• Контекст — 262 144 токена против 128 000. Более новый чекпоинт удваивает этот показатель.

• Токены предварительного обучения — 22 трлн против примерно 34 трлн, причём последние 3,5 трлн в более новом запуске отведены на курированные данные среднего этапа обучения, включая агентные трассы и вызовы инструментов.

• Артефакты — LFM3-1.7B-Base поставляется только в виде BF16 safetensors, объёмом 3,46 ГБ. LFM2.5-2.6B-Base поставляется в формате Safetensors, а также в сборках GGUF, ONNX и MLX, работает в квантованном виде при объёме менее 2,5 ГБ и поддерживается Transformers, vLLM, SGLang, llama.cpp и MLX.

Куда делись параметры

Сокращение распределено неравномерно, и это важно для всех, кто оценивает стоимость дообучения. Эмбеддинги связаны в обеих моделях, а словарь идентичен — 128 000 токенов, поэтому матрица эмбеддингов не меняется. Размер скрытого слоя не меняется и составляет 2 048. Экономия достигается за счёт трёх мест: на шесть слоёв меньше, вдвое меньше голов внимания и блок прямой связи примерно на 29% уже.

Сужение блока прямой связи — самый дешёвый способ уменьшить трансформер, поскольку этот блок содержит большинство параметров в каждом слое. Уменьшение числа голов внимания вдвое сокращает как кэш ключей-значений, так и веса, поэтому модель с удвоенным контекстом всё ещё можно описать как помещающуюся примерно в 1 ГБ при 4-битном квантовании. Плата за это — ёмкость: у более узкой MLP меньше места для хранения фактических ассоциаций, а меньшее число голов даёт модели меньше независимых паттернов внимания. Liquid утверждает, что лучшие данные и лучшая смесь слоёв с лихвой это компенсируют. Этот аргумент можно проверить, и на момент публикации никто за пределами компании его не проверял.

Откуда взялся контекст

Удвоение контекста с 128K до 256K без удвоения затрат на внимание требует отказа от глобального внимания. Стек LFM3 делает это, направляя пять из своих двадцати четырёх слоёв в скользящее окно размером 256 токенов, а тринадцать — в свёртки, оставляя только шесть слоёв, которые видят всю последовательность. Конфигурация также содержит частичный коэффициент rotary 0,5 на слоях глобального внимания, применяя ротационные эмбеддинги к половине размерностей каждой головы, и ротационную тету в один миллион на этих слоях против десяти тысяч на скользящих.

{{1}}В сообщении Liquid о запуске{{/1}} приводится одна конкретная цифра, показывающая, что это даёт: при 128K токенов KV-кэш текстовой модели составляет 1.6 ГБ. Для LFM2.5-2.6B-Base эквивалентная цифра не опубликована. Поэтому сравнение носит скорее ориентировочный, чем точный характер — новая архитектура рассчитана на то, чтобы удерживать более длинный контекст при меньшем объёме памяти, а собственная цифра производителя — единственный доступный показатель.

Почему меньшее количество токенов — это интересное утверждение

С тридцати четырёх триллионов токенов до двадцати двух триллионов — это сокращение вычислений на предварительном обучении на уровне данных на 35%, и это противоположное направление по сравнению с большинством поколений моделей. Обычная история — больше данных, больше параметров, лучше модель. История Liquid — меньше и того, и другого, с новой архитектурой и смесью данных, которая добавляет научные статьи, код на уровне репозиториев, математику и более широкий спектр источников знаний.

Этап промежуточного обучения на 3,5 трлн токенов — это то, что отличает данный чекпоинт от обычного предобучения. На нём используются отобранные данные более высокого качества с большей долей агентных трасс и вызовов инструментов, и именно на этом этапе расширяется контекстное окно. Этот этап также объясняет, почему базовая модель содержит шаблон чата: данные промежуточного обучения были отформатированы как диалоги — с трассами рассуждений и без них.

Ничто из этого нельзя проверить извне. Количество токенов сообщается самостоятельно, составы данных не публикуются, и нет абляционного анализа, показывающего, какое изменение дало какой прирост. Утверждение правдоподобно — за последние два года качество данных неоднократно побеждало сырой объём, — но правдоподобность ещё не измерение.

Что может установить сравнение «база с базой»

Это может прояснить спецификации, стоимость и совместимость — и эта страница делает именно это. Это не может прояснить качество, потому что ни у одного из чекпоинтов нет опубликованного бенчмарка. Liquid не опубликовала никакой оценки для LFM2.5-2.6B-Base и не опубликовала ни одной для LFM3-1.7B-Base. Обе карточки рекомендуют чекпоинт для интенсивного дообучения и отсылают читателей в другое место для чата.

Единственное свидетельство качества в этом семействе — это пара моделей после постобучения. Liquid сообщает, что LFM3-1.7B показывает средний результат 49,37 в собственном наборе тестов против 31,55 у LFM2.5-2.6B, при этом более новая модель использует на 35% меньше параметров. Это большой разрыв, и это показатель производителя, измеренный в выбранном производителем наборе тестов, при сравнении двух моделей, которые различаются как постобучением, так и основной частью модели. Это свидетельствует о том, что рецепт LFM3 позволяет получить более качественную instruct-модель. Это не является доказательством того, что базовый чекпоинт — лучшая отправная точка, поскольку постобучение поверх него может объяснять всю разницу.

Заметки о миграции для всех, кто использует LFM2.5

Обе контрольные точки имеют одинаковый размер словаря, размер скрытого слоя и семейство токенизаторов, из-за чего миграция кажется проще, чем есть на самом деле. Код модели у них не общий: LFM2.5 загружается как Lfm2ForCausalLM, а LFM3 — как Lfm3ForCausalLM, причём обе через пользовательский код с trust_remote_code=True. Скрипт обучения, написанный для одной, не загрузит другую без изменения класса модели, а чат-шаблоны по-разному обрабатывают трассы размышлений.

Более существенное операционное различие — это упаковка. LFM2.5-2.6B-Base имеет сборки GGUF, ONNX и MLX и работает под llama.cpp, vLLM, SGLang, Transformers и MLX. LFM3-1.7B-Base поставляется в виде одного файла BF16 safetensors; квантованные и кроссплатформенные сборки существуют для прошедшей постобучение LFM3-1.7B, а не для базового чекпоинта. Если ваш пайплайн зависит от артефакта GGUF, вы конвертируете его самостоятельно и проверяете результат.

Поддержка тонкой настройки — это уравновешивающий фактор. LFM3-1.7B-Base содержит ссылки на блокноты TRL для обучения с учителем и продолженного предобучения, а документация описывает дальнейший путь. Меньший чекпойнт, контекст 256K и агентное промежуточное обучение нацелены именно на тот тип доменной адаптации, который демонстрируют эти блокноты.

С какого ствола начать

Начните с LFM3-1.7B-Base, если вы начинаете новый файнтюн, ваша задача выигрывает от длинного контекста и вы можете работать в BF16 с Transformers или самостоятельно конвертировать веса. Сокращение числа параметров на 35% — это реальная экономия при обучении на одной GPU, удвоенный контекст — это настоящее изменение возможностей, а шаблон чата сокращает фазу обучения с учителем.

Оставайтесь на LFM2.5-2.6B-Base, если у вас уже есть работающий пайплайн, вы зависите от артефакта GGUF или ONNX или вам нужен чекпоинт, за которым стоит год инструментов сообщества. Новой модели всего три дня. У её instruct-версии есть квантованные сборки и поддержка с первого дня в vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX и ONNX Runtime, а у базового чекпоинта — нет, и этот разрыв и есть практическая цена того, что вы оказались в числе первых.

Если вы не уверены, проведите эксперимент, а не читайте маркетинговые материалы. Возьмите небольшой фрагмент собственных данных, прогоните один и тот же рецепт продолженного предобучения на обоих стволах одинаковое число шагов и оцените на отложенной выборке, которую вы создали до начала. Это займёт несколько GPU-часов и ответит на вопрос, на который не ответит ни одна таблица от поставщика. Когда оба файнтюна готовы, разместите оба за одной конечной точкой: OrcaRouter — DSL маршрутизации может разделять трафик между ними, а автоматическое переключение при сбое означает, что неудачный эксперимент не превратится в неудачный день в продакшене. Платформа передаёт цены провайдеров по прайс-листу с наценкой 0%, поэтому стоимость запуска теста — это стоимость вычислений, а не второй контракт.

Число, за которым стоит следить

Утверждение, которое решило бы этот вопрос, — это не ещё одно среднее значение. Это оценка базовой модели — любая оценка базовой модели, — опубликованная Liquid или третьей стороной, в которой сравниваются LFM3-1.7B-Base и LFM2.5-2.6B-Base после одинакового рецепта дообучения. Пока такой оценки нет, разница между поколениями задокументирована в архитектуре и конфигурации, правдоподобна по количеству токенов и не доказана там, где это имеет значение. Более новый чекпоинт меньше, имеет более длинный контекст и лучше подготовлен для обучения. Лучше ли он — вопрос, на который репозиторий не отвечает.