Nemotron 3.5 Bolt 74B vs LFM2.5 24B A2B: два способа уместить агента в 24 ГБ

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

Цифры достаточно близки, чтобы запутать. Bolt — это чекпоинт на 74 миллиарда параметров с 9 миллиардами активных параметров на токен, хранящийся примерно по два бита на вес эксперта в файле размером 24 ГБ. LFM2.5-24B-A2B — это чекпоинт на 24 миллиарда параметров с 2,45 миллиарда активных параметров на токен при обычной точности. Оба — смеси экспертов. Оба работают без сети. За похожей по звучанию подачей почти каждое инженерное решение — иное.

Что на самом деле представляет собой LFM2.5-24B-A2B

Чекпоинт Liquid AI — самый крупный и финальный представитель семейства LFM2.5 и последний в этом семействе, которому ещё только предстоит выйти. Его веса появились на Hugging Face в начале октября, а компания объявила о нём 13 октября 2026 года, так что он примерно так же нов, как Bolt, и тоже пока не накопил много независимых результатов.

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

Она работает только с текстом и всегда думает перед ответом — трассировка рассуждений обязательна. Liquid позиционирует её на агентных задачах против моделей, которые в полтора раза крупнее, и в подтверждение этого приводит результат LiveClaw: 48,09 против 38,19 у Qwen3.6-35B-A3B. Это сравнение вендора на выбранном вендором бенчмарке, и воспринимать его следует именно так, но количество активных параметров, которым она хвастается, можно проверить в собственной конфигурации модели.

Что такое Bolt на самом деле

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

Сжатие агрессивно, но количество параметров Bolts это скрывает. Top-K экспертов снизился с 22 в родительской модели до 9, что почти совпадает с top-4 у LFM2.5, несмотря на то что модель несёт втрое больше параметров. Визуальная башня была позже присоединена обратно от родительской модели, поэтому Bolt принимает изображения и видео, тогда как LFM2.5-24B-A2B принимает только текст, и он унаследовал контекстное окно на 256K, вдвое больше, чем у Liquid.

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

Сравнение характеристик, обе стороны в одной строке

• Общее и активное количество параметров — Bolt: 74B всего, 9B активных на токен. LFM2.5-24B-A2B: 24.0B всего, 2.45B активных на токен.

• Бэкбон — Bolt: блоки пространства состояний Mamba-2, чередующиеся со смесью экспертов и вниманием. LFM2.5-24B-A2B: тридцать блоков коротких свёрток с двойным гейтированием плюс десять слоёв группового внимания с запросами.

• Маршрутизация — Bolt: топ-9 экспертов после сжатия, снижено с 22 в родительской модели. LFM2.5-24B-A2B: 64 эксперта на блок, топ-4.

• Точность хранения — Bolt: эксперты IQ2-XXS — 2,0625 бита на элемент, слои Mamba — NVFP4, эмбеддинги и выход — Q8_0. LFM2.5-24B-A2B: полноточные веса; производитель также опубликовал GGUF, FP8, ONNX и несколько вариантов разрядности MLX как родственные модели.

• Контекст — Bolt: до 262 144 токенов. LFM2.5-24B-A2B: 131 072 токена.

• Модальность — Bolt: на входе — текст, изображения и видео; на выходе — текст. LFM2.5-24B-A2B: на входе — текст, на выходе — текст.

• Лицензия — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0, бесплатно для коммерческого использования при годовом доходе ниже $10 млн, а выше — платная коммерческая лицензия.

• Индекс интеллекта — Bolt: 21, по оценке Artificial Analysis. LFM2.5-24B-A2B: для этого чекпоинта профиль Artificial Analysis отсутствует, поэтому сопоставимой независимой оценки нет, и эта статья не будет её выдумывать.

• Опубликованная цена — Bolt: нигде не указана, и нет размещённого эндпоинта. LFM2.5-24B-A2B: $0,10 за миллион входных токенов со ставкой $0,05 для кэшированных и $1,00 за миллион выходных, на собственном размещённом эндпоинте Liquid, с $2 стартового кредита.

Эта последняя пара — самый яркий факт в сравнении, и он направлен туда, куда большинство людей не ожидает: более компактная модель — это та, у которой есть цена, а более крупная — та, у которой её нет. Bolt нельзя попробовать, не купив оборудование. LFM2.5 можно попробовать уже сегодня днём за сущие копейки.

Скорость и то, насколько внимательно читать числа

Ни одна из моделей не располагает независимым измерением в дата-центре. Это честное состояние доказательств, и оно ограничивает то, что можно утверждать.

Для LFM2.5-24B-A2B Liquid сообщает о 184 токенах в секунду на Apple M5 Max и 114 на AMD Ryzen AI Max+ 395, а также заявляет о до 1,7× более быстром инференсе по сравнению с сопоставимыми MoE на устройстве. Это вендорские показатели на кремнии класса ноутбуков, никем не воспроизведённые, и они ничего не говорят о том, как модель работает на GPU дата-центра при множестве одновременных запросов.

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

Что является структурным, а не измеренным: Bolt считывает 9 млрд параметров на токен, а LFM2.5 — 2,45 млрд. При одинаковой пропускной способности памяти MoE считывает примерно пропорционально своим активным параметрам, а низкобитные веса экспертов дополнительно помогают, сокращая количество байтов, перемещаемых на параметр. У LFM2.5 активный набор меньше в 3,7 раза, и работает она с более высокой точностью на каждый вес, поэтому именно на байтовый трафик на токен стоит смотреть. Это довод в пользу того, что модель Liquid должна быть быстрее, а не измерение того, что она действительно быстрее.

Какой из них скачать?

Разделение здесь — не противостояние возможностей, потому что они не выполняют одну и ту же задачу. Bolt — это мультимодальный агент, который читает скриншоты и управляет браузером в масштабе 74B, сжатый настолько, чтобы уместиться. LFM2.5-24B-A2B — текстовый агент, созданный для быстрых ответов на машине, вообще не имеющей дискретного GPU.

Выбирайте Bolt, когда агенту нужно видеть — WebArena, PDF-файлы, видеокадры — или когда рабочая нагрузка выполняется офлайн на машине, в которой уже установлен ускоритель класса Blackwell, и когда вы готовы принять, что именно вам первому предстоит измерить его пропускную способность. Выбирайте LFM2.5-24B-A2B, когда задача текстовая, машина — ноутбук, задержка важнее глубины рассуждений, и весь смысл в том, что модель помещается в унифицированную память вместе с остальными вашими приложениями.

Две вещи, которые изменили бы ответ: независимый бенчмарк, проведённый на обоих, и любой опубликованный хостинг для Bolt. Ни того, ни другого сегодня не существует.

Запуск их рядом с хостинговой моделью

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

Локальный 24B-агент на ноутбуке выполняет рутинную работу: маршрутизацию, суммирование, форматирование вызовов инструментов, те девяносто процентов ходов, которым никогда не требовалась большая модель. Ходы, которым она всё-таки нужна, всё равно должны куда-то идти, и именно здесь маршрутизатор оправдывает своё место. OrcaRouter открывает доступ к более чем 200 моделям через один ключ по прайсовой цене провайдера с нулевой наценкой, поэтому снижение цены поставщиком вступает в силу на нашей стороне в тот же день, и его DSL маршрутизации позволяет описать композицию — дешёвую модель для первого прохода, правило эскалации, запасной вариант — как один вызов, а не как код приложения. Автоматическое переключение при сбое между провайдерами означает, что проблема с мощностями на стороне провайдера повторяется, а не показывается вашим пользователям.

Для всех, кто создаёт решения на базе локального исполнителя, такое разделение труда — причина, по которой небольшой чекпоинт остаётся жизнеспособным: небольшая модель выполняет основной объём работы, а к дорогостоящей модели можно обратиться без второго контракта или второго SDK.

Что бы это уладило

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

До тех пор выбор — это решение о бюджете памяти, а не о результатах бенчмарков. Одна модель требует, чтобы у вас был GPU с 24 ГБ вычислений класса Blackwell, и взамен даёт зрение и 74B дистиллированного рассуждения. Другая требует лишь ноутбук, стоит копейки в час, чтобы попробовать на чужих серверах, и отказывается от зрения и половины окна контекста, чтобы этого добиться.

Чего цифры не могут вам сказать, так это того, не пошло ли что-то не так на практике: задокументированные инциденты с ИИ и сбои агентов, связанные с моделями этого класса, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись сопровождается собственными источниками, оценкой серьёзности, уровнем достоверности и отметкой о спорности.