LFM3-1.7B-Base: что говорит репозиторий и о чём умалчивает Liquid AI

Самый важный чекпойнт в новом семействе Liquid AI — тот, о котором меньше всего написано. LFM3-1.7B-Base — это предобученная текстовая модель с 1,73 млрд параметров, и 27 октября 2026 года она стала основой, на базе которой были созданы все дообученные модели LFM3: текстовая модель, визуальная модель, аудиомодель, omni-модель и обе модели принятия решений. В посте о запуске семейства она упомянута лишь в одном предложении. Для неё нет отдельного анонса, нет таблицы бенчмарков базовой модели и нет публикаций в прессе, посвящённых ей. При этом репозиторий на удивление явно описывает, что представляет собой этот чекпойнт и для чего он предназначен, из-за чего этот релиз легко описать и трудно переоценить. К сумме, которую взимает поставщик модели, не добавляется наценка. Списочные цены поставщиков Изменение цены поставщиком отражается в вашем счёте в тот же день.

То, что следует далее, разделяет эти две вещи. Всё в первой половине взято из карточки модели, файла конфигурации, текста лицензии или собственного анонса Liquid — и это можно проверить сегодня. Вторая половина — это то, что по-прежнему остаётся по-настоящему неизвестным спустя три дня после того, как веса были выложены.

Два репозитория, один пост о запуске и двенадцатичасовой разрыв

Метки времени рассказывают историю релиза, который состоялся публично ещё до того, как случился в маркетинге. Дообученный LFM3-1.7Bрепозиторий был создан 23 октября 2026 года. Базовый репозиторий был создан 26 октября в 16:28 UTC, а его карточка последний раз изменялась 27 октября в 04:15 UTC — менее чем через двенадцать часов. Запись в блоге «Представляем LFM3: каждая модальность для специализированного интеллекта» датирована 27 октября. К тому моменту, когда кто-либо за пределами компании мог прочитать спецификацию, веса уже сутки лежали на Hugging Face.

Эту очерёдность стоит обозначить прямо, потому что это самое близкое к «тихому релизу» в данной ситуации. Liquid действительно анонсировала семейство, и в анонсе LFM3-1.7B-Base назван чекпоинтом, на котором были обучены остальные шесть моделей. Чего компания не сделала — она не анонсировала базовый чекпоинт отдельно: ни отдельного поста, ни оценки специально для базовой модели, ни позиционирования сверх одного абзаца в карточке. Семейству достался запуск. Стволу — репозиторий и отсылка к семейству.

Что находится в репозитории

Карточка компактна и, в кои-то веки, полностью описывает базовые параметры. Один файл model.safetensors размером 3,46 ГБ в bfloat16. Токенизатор со словарём на 128 000 токенов. Код модели поставляется как пользовательский Python-код вместе с весами и загружается с trust_remote_code=True, а не через релиз Transformers в upstream, в который он был бы уже включён. Лицензия — LFM Open License v1.0, та же линейка условий, которую Liquid использует начиная с LFM2.

• Параметры — 1,73 млрд, плотная модель, каждый параметр считывается на каждом токене.

• Слои — 24: тринадцать стробированных блоков короткой свёртки, пять блоков внимания со скользящим окном, шесть блоков полного внимания.

• Контекст — 262,144 токена, ввод плюс вывод.

• Геометрия внимания — размер скрытого состояния 2048, шестнадцать голов запросов, четыре головы ключей-значений, размерность головы 128. Это групповое внимание запросов с соотношением четыре к одному, а не восемь к одному, как в LFM2.5.

• Локальное окно — 256 токенов, с кэшем свёртки размером семь. Это настройка внимания для каждого слоя, а не длина контекста, и она вызвала небольшую волну неверных сообщений, когда архитектура впервые появилась в пулл-реквесте движка за день до запуска.

• Словари и языки — 128 000 токенов, перечислено шестнадцать языков: английский, арабский, китайский, французский, немецкий, итальянский, японский, корейский, португальский, испанский, вьетнамский, тайский, индонезийский, хинди, русский, польский.

• Память — около 1 ГБ при 4-битной точности по данным Liquid, 3,46 ГБ в поставляемой версии BF16.

Об одной небольшой нестыковке стоит знать, прежде чем называть размер. В боковой панели Hugging Face модель округляется до «2B params», тогда как в таблице карточки указано 1.73B. Файл всё расставляет по местам: 3.46 ГБ в bfloat16 — это 1.73 млрд параметров по два байта каждый, так что подпись в боковой панели — соглашение об округлении, а не вторая спецификация. На момент написания репозиторий показывал пятнадцать загрузок за последний месяц и восемь лайков — типичный профиль чекпойнта, который вышел, получил ссылку из поста о запуске и пока не был подхвачен никем.

Архитектура без диаграммы

Эту архитектуру лучше всего понимать как рассуждение о бюджете. Полное внимание — дорогая часть трансформера при длинном контексте: каждый токен сравнивается с каждым другим токеном, а затраты растут как квадрат длины последовательности. Тригибридный стек Liquid тратит на эту операцию только шесть из своих двадцати четырёх слоёв. Тринадцать слоёв — это стробируемые короткие свёртки, которые смешивают информацию локально с фиксированной стоимостью на токен, а пять — блоки внимания со скользящим окном, которые обрабатывают 256 токенов за раз. Две трети сети вообще не выполняют глобальную операцию внимания.

Это та же ставка, которую Liquid делает начиная с LFM2, только продвинутая дальше. В LFM2.5-2.6B-Base использовалось тридцать слоёв, разделённых на двадцать две свёртки и восемь блоков полного внимания, без уровня со скользящим окном. LFM3 заменяет пару свёрток на блок скользящего внимания в пяти точках стека, увеличивает кэш свёрток с трёх до семи и добавляет настройки сэндвич-нормализации и частичного rotary, которые присутствуют в конфигурации. Улучшает ли этот конкретный компромисс качество — вопрос, на который может ответить только оценка, и на момент публикации нет оценки базовой модели, которая на него ответила бы. Что конфигурация действительно устанавливает, так это то, что контекст 256K достигается не масштабированием внимания до 256K, а сохранением большей части стека локальной.

Базовая модель поставляется с шаблоном чата

Именно эта деталь, скорее всего, запутает всех, кто скачивает чекпойнт, ожидая, что модель будет просто дописывать текст. LFM3-1.7B-Base содержит полный шаблон чата, и в карточке указано, что в mid-training входили чат-данные как с трассировками рассуждений, так и без них, отформатированные тем же шаблоном, что и у post-trained модели. Вызовите apply_chat_template — и режим рассуждений включится по умолчанию: ответ начинается внутри блока размышлений, если только не передать enable_thinking=False, что предзаполняет пустую трассировку и запрашивает прямой ответ.

Модель ведёт себя немного как instruct-модель, а в документации описана как нечто совершенно иное. Рекомендация в самой карточке модели однозначна: LFM3-1.7B-Base «рекомендуется только для задач, требующих интенсивного дообучения, таких как ассистенты для конкретного языка или конкретной предметной области, обучение на проприетарных данных или экспериментирование с новыми подходами к постобучению». Для чатов, вызова инструментов и агентов она указывает на LFM3-1.7B. Этот шаблон присутствует потому, что данные промежуточного обучения были отформатированы таким образом, и потому, что дообученная модель его наследует, — а не потому, что контрольная точка была настроена для диалога. Те, кто воспримет шаблон как сигнал готовности, будут разочарованы результатами, и карточка сообщает об этом ещё до того, как они начнут.

Цифры, которые будут приводить люди, — это не цифры этой модели.

В посте о запуске приведена обширная таблица бенчмарков, и почти ничего из неё не относится к контрольной точке, которой посвящена эта статья. Средний показатель из заголовка — 49,37 — принадлежит LFM3-1.7B, модели, прошедшей посттренировку; он измерен на собственном наборе тестов Liquid. В строках сравнения — LFM2.5-2.6B с 31,55, MiniCPM5-2B с 39,19, Gemma 4 E4B с 31,74, Qwen3.5-4B с 39,27, Qwen3.5-9B с 47,24 — модели, прошедшие посттренировку, сопоставляются с моделями, прошедшими посттренировку. Показатели 43,40 на SWE-bench Verified и 73,46 на LiveCodeBench v6 также являются результатами дообученной модели.

При поверхностном чтении с базовым чекпойнтом связывают два утверждения, которых там быть не должно. Первое — «на 35% меньше параметров»: речь идёт о превосходстве LFM3-1.7B над LFM2.5-2.6B, то есть об утверждении о паре после посттренировки, а не о результате сравнения базовых моделей. Второе — утверждение, что LFM3 «не уступает Gemma 4 12B». Это предложение относится к LFM3-VL-2B, визуальной модели, по 62 визуальным бенчмаркам. Оно ничего не говорит о текстовом базовом чекпойнте, у которого вообще нет опубликованной оценки. Базовая модель без таблицы бенчмарков — не редкость: Liquid намеренно не опубликовала ни одной и для LFM2.5-2.6B-Base, — но из-за этого отсутствия любое текущее утверждение о качестве этого чекпойнта на самом деле является утверждением о модели, которую он породил.

Обучение и то, что действительно отличает

Liquid сообщает, что контрольная точка прошла 22 триллиона токенов в два этапа. Основной этап предобучения изменил состав данных по сравнению с LFM2: добавлено больше научных статей, кода на уровне репозиториев, математики и более широкий набор источников знаний. Последние 3,5 триллиона токенов — это этап mid-training на отобранных данных более высокого качества с большей долей агентных трассировок и вызовов инструментов, и именно на этом этапе контекстное окно расширяется до 256K.

Необычно здесь не количество токенов; необычно то, что агентные данные попали в базовую модель, а не только в постобучение. Большинство вендоров хранят трассировки вызовов инструментов для этапа инструкционной донастройки. Liquid поместила их в ствол, а затем дообучила на его основе шесть разных моделей с помощью SFT, смешанного RL, многодоменной on-policy дистилляции и агентного RL. Это согласованная стратегия для семейства, которое должно использовать один общий бэкбон для разных модальностей, и именно поэтому базовый чекпоинт содержит шаблон чата. Это утверждение о методологии обучения, которое невозможно проверить извне, и независимого воспроизведения не существует.

Что можно делать с этим сегодня

Карточка ссылается на два ноутбука TRL: один для дообучения с учителем по извлечению структурированного JSON из необработанных документов, а другой для продолжения предварительного обучения на новом языке — на примере турецкого языка из сырого текста. Оба написаны под LFM3-1.7B и требуют изменения одного model_id, чтобы указать на базовый чекпойнт. Страница документации описывает остальную часть процесса дообучения. У instruct-версии модели есть полный набор вариантов для сред выполнения — BF16 для vLLM, SGLang и Transformers; FP8 и NVFP4 для SGLang; GGUF для llama.cpp, Ollama и LM Studio; MLX для Apple silicon; ONNX Runtime. У базового чекпойнта есть ровно один артефакт: файл BF16 safetensors. Ни GGUF, ни сборки MLX, ни квантованного релиза. Если вы хотите запустить его на телефоне, эту конвертацию придётся выполнять самостоятельно.

Как это вписывается, если вы зарабатываете на жизнь обслуживанием моделей

Предварительно обученный чекпойнт — это не чат-эндпоинт, и стоит сказать об этом прямо. LFM3-1.7B-Base на момент написания не представлен в каталоге OrcaRouter, а базовую модель было бы странно маршрутизировать: у неё нет следования инструкциям, на которое можно было бы направить запрос. Полезное применение роутера начинается на шаг позже — после того, как появляется дообученная версия. OrcaRouter размещает более 200 моделей за одним API с наценкой 0% к прайс-листам провайдеров, автоматическим переключением при сбое и DSL маршрутизации, поэтому дообученный под конкретную предметную область чекпойнт LFM3 может находиться рядом с более крупной универсальной моделью, и его можно сравнивать или переключаться на него при сбое без второй интеграции. Объединение моделей — панель, отвечающая вместе, — это другой вариант, когда специалист с 1,73 млрд параметров хорош в одном деле, а вам нужно второе мнение. Ничего из этого не требует, чтобы сам базовый чекпойнт где-либо размещался.

Что ещё не подтверждено

• Базовое качество. Ни таблицы бенчмарков, ни выходных данных оценочного стенда, ни сравнения с LFM2.5-2.6B-Base ни по одной задаче.

• Независимая проверка. Ни одна сторонняя лаборатория не опубликовала результатов прогона ни базовой, ни дообученной модели. Все цифры в посте о запуске — собственные данные Liquid.

• Поддержка в upstream-версии Transformers. Репозиторий использует собственный код моделирования и trust_remote_code. Это нормально при запуске, но позже становится затратами на сопровождение.

• Как предоставляется базовая модель. В посте о запуске говорится, что базовая и дообученная модели доступны на Hugging Face, в Liquid Playground и через Liquid API. Что API делает с необученным базовым чекпоинтом, не объясняется, и цены на него не опубликованы.

• Пограничные случаи лицензирования. LFM Open License v1.0 бесплатна для коммерческого использования при годовой выручке ниже $10 млн; выше этого порога применяется коммерческая лицензия. Текст является открытым, но то, как она трактует производную модель, обученную на базовой и затем предоставляемую на коммерческой основе, — вопрос к юристу, а не к карточке модели.

Что посмотреть

Следующий значимый сигнал — это не очередное объявление, а первая независимая оценка модели после постобучения и первый публичный файнтюн, в котором сообщается, каково было обучать базовый чекпоинт. Формулировки самой Liquid приглашают к такой проверке: ствол на 1,73 млрд параметров, из которого получились шесть моделей и который, как утверждается, превосходит предшественника на 2,69 млрд, — это либо действительно эффективная архитектура, либо удачно подобранный набор бенчмарков, и только независимые прогоны позволят различить эти два варианта. До тех пор вся история — в репозитории: файл размером 3,46 ГБ, ясная спецификация, шаблон чата, который не является приглашением, и лицензия, которую стоит прочитать, прежде чем дело дойдёт до выручки.