d1-2B против Liquid AI d1-3B: меньшая модель выигрывает на табло, но проигрывает при развёртывании

Этот матч решают четыре вопроса, и ни один из них не звучит как «какая модель лучше». Включает ли состояние видео? Превышает ли оно 32K токенов? Нужно ли запускать её под llama.cpp? Можете ли вы позволить себе первым протестировать её? d1-2B — это модель принятия решений от Liquid AI на 1,92B параметров, построенная на LFM3-VL-2B и набравшая 51,1 в таблице Decision Index производителя. Liquid AI d1-3B — это модель на 3,12B параметров, выпущенная 7 октября, построенная на LFM2.5-VL-3B и набравшая 49,0 в той же таблице. Более новая и меньшая модель в среднем лидирует. Но она всё ещё проигрывает в трёх строках, которые действительно важны при развёртывании, и из этих двух именно у неё нет пути через llama.cpp и нет независимого результата тестирования. Эта страница построена вокруг этих четырёх вопросов, а не вокруг таблицы лидеров, потому что таблица лидеров не отвечает ни на один из них.

Краткий ответ — по нагрузке

• Триаж только по тексту в больших объёмах — d1-2B, за счёт 1 132 решений в секунду для 64 пакетных состояний и 3,84 ГБ весов. Преимущество 3B в Typed Decisions не имеет значения, когда выходом является метка.

• Чтение диаграмм и графиков — Liquid AI d1-3B. Она выигрывает на AI2D со счётом 79,9 против 76,7, и это модель, за которой стоит независимый запуск.

• Длинные документы, длинные формы, длинные расшифровки звонков — d1-2B. Его окно — 128K токенов против 32 768, и в карточке честно указано, что надёжность падает после примерно 64K, что всё равно даёт вдвое больше общей ёмкости, чем у 3B.

• Edge-устройства, запускающие llama.cpp — Liquid AI d1-3B, по умолчанию, а не по заслугам. У неё есть репозиторий GGUF и сборка с квантованными весами и активациями; у d1-2B нет ни того, ни другого.

• Всё, где ошибочное решение дорого стоит и не проверено — ни то, ни другое, пока вы не запустили оба на собственных данных. Только один из них вообще запускала третья сторона.

Та же семья, с разницей в одно поколение

Две модели не являются «родственными» в том смысле, который подразумевают названия. Liquid AI d1-3B происходит от LFM2.5-VL-3B, которая, в свою очередь, ведёт начало от LFM2.5-2.6B-Base, и несёт в себе 400M-визуальный энкодер SigLIP2 NaFlex. d1-2B происходит от LFM3-VL-2B — следующего семейства — и построена на backbone из 24 слоёв, разделённых между 13 стробированными короткими свёртками, 5 слоями attention со скользящим окном и 6 слоями глобального attention. Именно из-за этого поколенческого разрыва и возникает инверсия в бенчмарках: более новая архитектура делает больше на каждый параметр, поэтому меньший checkpoint может обойти больший по большинству строк.

• Параметры — 1,92 млрд для d1-2B против 3,12 млрд для Liquid AI d1-3B.

• Скачать — 3,84 ГБ против 6,25 ГБ для BF16 safetensors, оба в одном файле.

• Контекст — 128K токенов против 32,768.

• Словарь — 128 000 токенов против словаря LFM2.5.

• Входные данные — текст или JSON, изображения или видео, а также именованные вопросы для d1-2B; текст или JSON плюс изображения для 3B. Видео — самое явное различие в возможностях между ними.

• Языки — по шестнадцать каждого, тот же набор.

• Лицензия — LFM Open License v1.0 для обоих, при этом коммерческое использование разрешено при условии, что годовая выручка не превышает 10 000 000 $. С точки зрения лицензирования нет ни одной причины предпочесть какой-либо из них.

• Выпуск — веса d1-3B были выложены 5 октября, а анонсированы 7 октября. Репозиторий d1-2B был создан 24 октября, и у него никогда не было собственного поста; единственное предложение вендора, где он упоминается, находится в анонсе LFM3 от 27 октября.

Одну деталь в документации стоит воспринимать скорее как сигнал, чем как факт: на странице документации Liquid AI по decision-моделям теперь перечислены d1-2B, d1-omni-2B, d1-omni-600M, d1.1 и d1-ultra. Модели d1-3B там больше нет. Модель 3B не выведена из эксплуатации — её репозиторий, сборки GGUF и MLX по-прежнему доступны — но собственный индекс поставщика перенёс позицию open-weights на 2B.

Табло, читаемое построчно

Все приведённые ниже цифры взяты из таблицы бенчмарка в карточке модели d1-2B, где четыре открытые модели d1 оцениваются на одних и тех же заданиях с одним и тем же оценщиком. Это важно, потому что в собственной карточке Liquid AI d1-3B указано 48.57 по Decision Index 0.2.1, тогда как в этой таблице указано 49.0 по версии 0.3; расхождение связано с редакцией индекса, а не с изменением модели, и карточка отмечает это в примечании. Прямое сравнение двух карточек — 48.57 против 51.1 — было бы вычитанием результатов из двух разных тестов. Сравнение внутри этой таблицы правомерно, и именно это делается в остальной части данного раздела.

• Публичный набор Decision Index v0.3 — 51,1 против 49,0.

• DecisionBench (Hanno Labs) v1 — 77,1 против 73,1.

• Decision Bench (decisionbench.ai) v4 — 85.2 против 83.6.

• JevBench v1.4.1 — 77,9 против 76,2.

• ImajevBench v2.0-lite — 75,5 против 64,0, наибольший разрыв на стороне принятия решений.

• WorkflowEvals — 81,6 против 74,4.

• внутренний рейтинг Liquid AI — 63,2 против 58,8.

• Средний показатель Vision — 70,2 против 65,4 по восемнадцати бенчмаркам.

Каждый названный набор решений в этой таблице — в пользу 2B; именно это имеет в виду пост о запуске LFM3, когда называет d1-2B заменой d1-3B «с на треть меньшим числом параметров» и более высокими оценками «во всех четырёх наборах решений». Утверждение корректно в том виде, в каком написано, — и оно сформулировано более узко, чем «превосходит 3B», поэтому следующий абзац и существует. А вот три строки, где результат обратный. Быстрые решения — 58,8 у d1-2B против 59,3 у 3B. Типизированные решения — 61,3 против 65,0. AI2D — 76,7 против 79,9. Ни один из этих разрывов не велик, и два из трёх укладываются в один пункт, но это те строки, где дополнительные 1,2 млрд параметров всё ещё дают что-то измеримое: решения, ориентированные на скорость, типизированное извлечение и чтение диаграмм. Если задачи вашего пайплайна — типизированное извлечение из форм, то 3B — не устаревший вариант, как подразумевает страница документации.

Задержка: эти два ключевых показателя несопоставимы

Liquid AI указывает 5,7 мс на одно решение для d1-2B и 8 мс для Liquid AI d1-3B, и это не одно и то же измерение. Показатель для 2B получен на H100 PCIe; показатель для 3B — на RTX 4090. Разница в 2,3 мс между двумя разными GPU ни о чём не говорит о том, какая модель быстрее на вашем оборудовании, и повторять её как сравнение было бы ровно тем видом отмывания чисел, которого этот блог старается избегать.

Есть одна машина, данные по которой приводятся в обеих карточках. На Apple M5 Pro d1-2B тратит 18,6 мс на вопрос, а 3B — 30 мс, то есть сокращение на 38% на одном и том же кремнии. Это честное сравнение скорости, и оно указывает в ту же сторону, что и разница в размере. При пакетной обработке d1-2B обрабатывает 1 132 решения в секунду на H100 PCIe и 1 699 в секунду на MI325X при 64 состояниях в одном вызове; карточка 3B сообщает о 475 в секунду на RTX 4090 и 1 106 в секунду на MI325X. Строка MI325X присутствует в обеих карточках, и там 2B опережает примерно на 54%.

Единственный существующий независимый тест прогнал 3B

В середине октября Эфраин Гарай запустил восемь моделей принятия решений против Decision Index 0.3 и трёх задач на реальных данных и опубликовал результаты вместе с кодом. Два вывода имеют отношение к этому сравнению.

Первое обнадёживает в отношении таблицы результатов. Он восстановил публичный набор тестов из его комплекта, проверил, что загруженные файлы совпадают с официальными, отобрал 6000 запросов и оценил Liquid AI d1-3B в 49,11 — против собственных 49,04 у Liquid на тех же строках и 48,99 на полном наборе. Это самое сильное из имеющихся свидетельств того, что числа v0.3 в таблице выше вычисляются правильно. Это свидетельство относится к 3B, а не к d1-2B, который он не тестировал.

Второй — предостережение о том, что измеряет индекс. На синтетическом наборе данных для выявления мошенничества с картами из 10 000 платежей Liquid AI d1-3B получила AUC 0,314 — ниже случайного уровня, ранжируя аномалии как менее подозрительные, чем обычные платежи, потому что серии следующих подряд платежей имели медианную вероятность 0,41 против 0,56 у обычного платежа. Модель заняла второе место в публичном индексе и последнее — в этой задаче. Вывод переносится напрямую: 51,1 у d1-2B — это оценка на общем наборе задач принятия решений, и никто не показал, что она предсказывает производительность в вашей конкретной задаче. Поставщик говорит об этом же в собственной карточке — в указании калибровать пороги на ваших собственных данных.

Что вы можете реально запустить сегодня

Именно здесь соперничество перестаёт быть близким. Liquid AI d1-3B имеет репозиторий GGUF с 6 октября, 8-битную сборку с квантованием весов и активаций с 7 октября и четыре варианта MLX с 12 октября. d1-2B получила три сборки MLX и экспорт в ONNX 27 октября, и больше ничего. Для d1-2B нет GGUF, нет квантования, кроме 4-битного и 8-битного от MLX, и поэтому нет опубликованного пути llama.cpp для головы принятия решений — хотя у базовой модели LFM3-VL-2B есть собственный GGUF с 19 октября.

При развертывании в Transformers разница исчезает: обе загружаются с trust_remote_code=True и предоставляют одинаковые вызовы system_one и system_one_batch. При развертывании на периферии это не так. Если ваш стек — llama.cpp на Jetson или телефоне, 3B — единственный из двух, который можно запустить без написания интеграции со средой выполнения, а его опубликованные показатели для периферии — 16 мс на Jetson AGX Thor, 26 мс на AGX Orin 64GB, 50 мс на Orin Nano — это те, на которые можно ориентироваться при планировании.

Ни одна из этих моделей не обслуживается OrcaRouter, поэтому выбор между ними в любом случае сводится к решению о самостоятельном хостинге. Роутер оправдывает себя на один уровень дальше: модели принятия решений редко работают в одиночку, а генеративный шаг, который действует по метке маршрутизации, обычно выполняется моделью, размещённой у провайдера. Один ключ, совместимый с OpenAI, для более чем 200 моделей, DSL маршрутизации, позволяющий объединить эти шаги в один вызов, и автоматическое переключение при сбоях не дают этой половине конвейера превратиться во второй интеграционный проект, пока узел принятия решений остаётся на вашем собственном оборудовании.

Если вы выполняете миграцию, меняются три вещи

Поверхность API достаточно близка, чтобы портирование казалось тривиальным, но это не так. Во-первых, контракт входа: d1-3B принимает изображения; d1-2B принимает медиа-список, который может включать видео, а в его карточке указано, что медиа кодируется один раз для всех вопросов в вызове. Код, передающий одно изображение, будет работать, но не будет использовать то, для чего модель была создана.

Во-вторых, порог. Обе модели возвращают вероятности, и обеим нужен порог принятия решения, подобранный на ваших данных. Порог, настроенный на калибровке d1-3B, не переносится — калибровочные таблицы поставляются внутри каждого репозитория и подбираются отдельно — поэтому миграция с сохранением старого порога отсечения даст другую рабочую точку и, в сценарии модерации или борьбы с мошенничеством, другой профиль ошибок.

Третье — обрыв надёжности. Окно в 128K — это главная цифра; в карточке сказано, что после примерно 64K токенов состояния ответы становятся менее надёжными. У 3B потолок составляет 32 768, поэтому переход на d1-2B обычно будет чистым приростом ёмкости — но пайплайн, который начинает подавать состояния размером 100K токенов только потому, что теперь может, проверяет ту часть диапазона, которую поставщик отметил как более слабую.

Вывод менее симметричен, чем таблица результатов. Для нового проекта на Transformers — с текстом, изображениями или видео и состояниями, которые могут быть долгими, — d1-2B лучше подходит как вариант по умолчанию и дешевле в эксплуатации. Для развёртывания на периферийных устройствах под llama.cpp, для извлечения типизированных данных или для визуальных задач с обилием диаграмм по-прежнему стоит выбирать Liquid AI d1-3B — и это единственная из двух моделей, за которой стоят какие-либо внешние свидетельства. Единственное, чего делать не стоит, — выбирать только по строке 51,1 против 49,0. Два пункта в индексе вендора между двумя моделями, которые никто не проверял на вашей задаче, — это не решение, а тай-брейк.