LFM2.5-24B-A2B-DSpark против LFM2.5-24B-A2B: стоит ли на самом деле подключать драфтер?

Вот решение одной строкой: LFM2.5-24B-A2B-DSpark — это файл с 327,7 млн параметров, который вы кладёте рядом с LFM2.5-24B-A2B, чтобы 24B-модель быстрее выдавала вывод того же типа. Это не альтернатива модели и не то, что выбирают вместо неё. Единственный действительно важный вопрос, который поднимают эти два названия, — инженерный: подключать ли драфтер к вашему развёртыванию или оставить его отключённым, — и ответ зависит не столько от заявленного Liquid AI ускорения, сколько от двух чисел, которые никто не рекламирует: сколько токенов драфта принимается на вашем трафике и какую конкурентность вы уже поддерживаете. Документированные сбои ИИ и инциденты с агентами, связанные с подобными релизами, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, степень уверенности и флаг спорности.

Liquid AI не опубликовала анонс запуска драфтера. Репозиторий стал публичным 2026-10-19 вместе с весами, CSV-файлом бенчмарков и флагами запуска SGLang, тогда как собственная карточка целевой модели всё ещё помечает драфтер как «скоро», а страница документации Liquid по спекулятивному декодированию перечисляет только целевые модели 1.2B, 2.6B, 8B и VL-3B. Таким образом, это сравнение выпущенного артефакта с выпущенной моделью, написанное на основе репозитория, а не пресс-релиза, — а значит, все приведённые ниже показатели производительности заявлены производителем, и ни один из них не был независимо воспроизведён.

Что драфтер на самом деле меняет, а что нет

Этот механизм заслуживает тридцати секунд внимания, потому что он определяет всё остальное. Декодирование токена ограничено памятью: GPU большую часть времени тратит на потоковую передачу весов в SRAM, а не на арифметические операции. Спекулятивное декодирование использует это так: небольшая модель угадывает следующие несколько токенов сразу, а затем настоящая модель проверяет всю догадку за один прямой проход. Если догадка оказалась удачной, вы получили девять токенов примерно за стоимость одного. Если неудачной, целевая модель оставляет свой собственный токен, а вы заплатили немного сверху.

Что меняется: количество токенов в секунду и профиль загрузки вашего GPU. Что не меняется: веса модели, её контекстное окно, её поведение при вызове инструментов или её цены там, где она продаётся. LFM2.5-24B-A2B сохраняет 24,0 млрд общих параметров при 2,45 млрд активных на токен, 40 слоёв, разделённых между стробированными короткими свёртками и вниманием с группированными запросами, 64 эксперта на блок с маршрутизацией top-4, контекст на 131 072 токена и словарь на 128 000 токенов. Драфтер добавляет пять слоёв внимания, марковскую голову ранга 256 и голову уверенности, а также повторно использует эмбеддинги и LM-голову целевой модели вместо собственных.

Одна оговорка перешла между двумя релизами и заслуживает отдельной строки. В августе в материале Liquid о DSpark говорилось, что выдаваемая последовательность «по построению идентична базовому жадному декодированию». В карточке же модели-драфтера 24B вместо этого сказано, что различия в плавающей запятой между пакетной верификацией и обычным декодированием «могут давать разный текст, в том числе при жадной выборке». Оба утверждения имеют право на существование — первое верно в точной арифметике — но если ваш стенд оценки сравнивает выходные данные побайтово, ждите, что он это заметит.

Расходная сторона учёта

Драфтер не бесплатен. Он занимает 655 МБ в BF16 на GPU (или 664 МБ F16 GGUF на CPU), находится в том же пуле памяти, что и целевая модель, а каждый предлагаемый им шаг требует проверочного прямого прохода по блоку токенов, а не по одному токену. Для целевой MoE-модели последнее оказывается дороже, чем звучит: проверка девяти токенов активирует больше экспертов, чем декодирование одного, поэтому объём перемещаемых байтов на проверенный токен растёт, а не снижается. Компания Liquid назвала именно это причиной, по которой её 8B-драфтер обеспечил лишь 1,18× на M4 Max, несмотря на высокую долю принятия.

В противовес этому экономия достаточно велика, чтобы измерять её в GPU-часах. Используя собственные показатели B300 от производителя из benchmarks/b300-fp8.csv, и не делая ничего, кроме деления миллиарда выходных токенов на наблюдаемую пропускную способность:

• MATH-500, параллелизм 1 — 324 tok/s отдельно (857 GPU-часов на миллиард токенов) против 853 tok/s с драфтером (326 GPU-часов). Сокращение времени вычислений в 2,63 раза.

• MATH-500, конкурентность 256 — 15 423 ток/с без драфтера (18,0 GPU-часов) против 27 579 ток/с с драфтером (10,1 GPU-часа). Сокращение в 1,79 раза.

GSM8K, параллелизм 256 — 4 491 ток/с без драфтера (61,9 GPU-часа) против 9 660 ток/с с драфтером (28,8 GPU-часа). Сокращение в 2,15 раза.

• {{1}}LiveCodeBench, параллелизм 256 — 18 812 ток/с в одиночку (14,8 GPU-часа) против 25 231 ток/с с драфтером (11,0 GPU-часа). Сокращение всего в 1,34×, самая слабая ячейка в таблице.{{/1}}

Эти коэффициенты пропускной способности пересчитаны во время, а не в деньги, потому что деньги зависят от того, сколько вы платите за GPU-час, и эта статья не собирается выдумывать тариф. Но порядок сохраняется при любом тарифе: подключение драфтера при низкой конкурентности даёт выигрыш в две–три часа на каждые десять для трафика рассуждений и генерации кода, а при высокой конкурентности — примерно треть этого. Если ваше развёртывание 24B — это агент для одного пользователя на рабочей станции, аргумент сильный. Если это насыщенный пакетный эндпоинт, аргумент реальный, но гораздо слабее, чем предполагает заголовок про 2,4×.

Где драфтер оправдывает своё содержание — с точки зрения рабочей нагрузки

Разброс по восьми наборам данных в таблице поставщика — это не шум; он соотносится с типами промптов, и это соответствие — самое полезное в релизе. Показатель acceptance варьировался от 6,70 токена на шаг на MBPP до 4,02 на LiveCodeBench. Высокие результаты были у наборов, где вывод модели ограничен промптом — короткие функции в стиле юнит-тестов, арифметика с проверяемым решением, ответы с выбором из нескольких вариантов. Низкие результаты были там, где модели приходится придумывать длинное неограниченное решение: задачи по спортивному программированию и математика в стиле AIME.

Вот эту интуицию и стоит перенести на собственную оценку. 24B-модель рассуждений, продаваемая для агентных задач, тратит большую часть выходных токенов внутри цепочки рассуждений, что больше похоже на LiveCodeBench, чем на MBPP. Модель, используемая для структурированного извлечения, классификации по схеме или фиксированного формата вызова инструментов, гораздо больше похожа на строки с высоким уровнем принятия. Если ваша нагрузка относится к первому типу, ожидайте, что окажетесь ближе к нижней границе диапазона — 1,34×, чем к верхней — 3,28×. Никто не публиковал уровень принятия для этой draft-модели в разбивке по нагрузкам, и восемь наборов данных из карточки — это самое близкое к ориентиру, что есть.

В противовес этому: 24B — это модель только для рассуждений. Liquid утверждает, что она всегда думает перед ответом, — шаблон чата вставляет<think> тег автоматически. Это худшая из возможных конфигураций для спекулятивного декодирования, потому что участок рассуждений — это как раз длинный отрезок с низкой долей принятия. Драфтер всё равно поможет; больше всего он поможет с финальным ответом и меньше всего — с той частью, которая занимает больше всего времени.

Как определить на собственном оборудовании за полдня

Вы не обязаны доверять ничему из вышесказанного. Оба пути инференса предоставляют счётчик принятия — единственное число, которое решает, окупает ли себя драфтер на вашем трафике.

В SGLang запустите целевую модель с подключённым драфтером, размером блока 9 и десятью драфт-токенами, затем прочитайте метрики спекулятивного декодирования, которые сервер сообщает для каждого запроса. Доля принятия в таблице поставщика находится между 0,33 и 0,65 в зависимости от набора данных; прогон, который оказывается значительно ниже соответствующей строки, означает, что драфтер угадывает неправильно, и вы платите за верификацию, не получая ускорения. В llama.cpp с боковым файлом F16 GGUF тайминги для каждого ответа содержат draft_n и draft_n_accepted напрямую. Разделите одно на другое.

Две детали эксплуатации будут стоить вам часа, если их упустить. Серверу SGLang нужна сборка, включающая путь LFM2-MoE DSpark, влитый 31.08.2026 — на любой более старой сборке архитектура драфтера просто неизвестна. А размер блока — это свойство контрольной точки, а не свободный параметр: llama.cpp ограничивает --spec-draft-n-max значением 9 из метаданных сайдкара, поэтому просить 12 бессмысленно.

Вопрос, на который это сравнение не может ответить

Есть версия вопроса «стоит ли подключать драфтер», которая вообще не связана с GPU, и именно с ней сталкивается большинство команд. Если вы вызываете LFM2.5-24B-A2B через хостинговый API, решение о драфтере не за вами. Стек обслуживания либо подключает спекулятивный декодер, либо нет; вы видите показатель токенов в секунду и цену, и оба были определены на стороне провайдера. Собственная Console Liquid указывает для 24B $0.10 за миллион входных токенов, $0.05 за кэшированный ввод и $1.00 за миллион выходных — опубликованный тариф, который уже отражает тот путь декодирования, который они используют, и который может измениться без уведомления.

Это тот самый стык, где маршрутизация помогает, а не усложняет. Обращение к хостинговому API и развёртывание self-hosted — не столько конкурирующие планы, сколько два положения одного и того же регулятора затрат: self-hosting плюс драфтер минимизирует стоимость за токен, если ваш объём нагрузки держит GPU загруженным, а хостинговая конечная точка минимизирует усилия по получению ответа. OrcaRouter создан для второго — один ключ для более чем 200 моделей с наценкой 0% к прайс-листу провайдера, поэтому изменение цены у поставщика отражается на нашей стороне в тот же день, с автоматическим переключением при сбое, если провайдер деградирует, и DSL маршрутизации для разделения трафика вместо жёсткого указания одного бэкенда. Сейчас мы не предоставляем семейство LFM2.5, поэтому для этой конкретной модели хостинговая сторона означает собственный API Liquid или ваши собственные GPU; сравнение имеет смысл проводить с моделями, которые у нас действительно есть, например Qwen3.6-35B-A3B — моделью, с которой Liquid сравнивает в агентных задачах — или Gemma 4 26B-A4B.

Итак: прикреплять это или нет

Подключайте его, если вы сами обслуживаете LFM2.5-24B-A2B при умеренном параллелизме, особенно для структурированного вывода или вывода в формате извлечения, и если у вас есть 655 МБ запаса памяти помимо целевой модели. По цифрам вендора, время декодирования в этом случае сократится примерно вдвое или втрое, а негативная сторона ограничена: плохой драфтер стоит одного прохода верификации, а не неверного ответа.

Не включайте её, если ваш эндпоинт уже насыщен сотнями запросов, если на выходе у вас длинные рассуждения в свободной форме или если вам нужны цифры по Apple Silicon перед тем, как принять решение, — у карточки их нет, а ближайший аналог из того же семейства вышел с показателем 1,18× на MacBook. И, разумеется, не включайте её, если вы вообще не запускаете модель: драфтер — это оптимизация для развёртывания, а оптимизировать нечего, пока развёртывания не существует.

Окончательно закрыть вопрос мог бы пост от вендора и измерение на Mac. По состоянию на 2026-10-21 ни того, ни другого не существует — странное положение для релиза, веса которого уже доступны для скачивания, и, для любого, кто готов сам прогнать приёмочный счётчик, необычайно дешёвая возможность первым вписать независимую цифру в таблицу.