Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: два способа уместить агента в 24 ГБ

Here is a problem for anyone comparing these two. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and Nemotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

Это не скандал. Так выглядит самостоятельный запуск тестового стенда, и именно поэтому это сравнение построено вокруг того, что можно проверить, а не вокруг счёта в очном противостоянии. Эти две модели также, в некотором смысле, — ответы на один и тот же вопрос, полученные с противоположных концов.

Ограничение, в соответствии с которым были построены обе модели.

Обе — 24-гигабайтные модели. Ни одна из лабораторий не говорит об этом именно такими словами, и в каждом случае это число появляется по-разному.

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

LFM2.5-24B-A2B имеет 24 млрд параметров всего, из которых 2,45 млрд активны, а объём памяти зависит от выбранного вами файла, а не от архитектуры. Опубликованный репозиторий GGUF предлагает Q4_K_M размером 14,53 ГБ, учитывающий квантизацию QAD-Q4_0 — 13,58 ГБ, Q5_K_M — 17,03 ГБ, Q6_K — 19,69 ГБ и Q8_0 — 25,49 ГБ. Число 24 в названии — это количество параметров, а не занимаемый объём; занимаемый объём — это меню.

Это различие решает многое. У Bolt ровно одна поставочная конфигурация для инференса, и квантовать нечего, потому что модель уже поставляется квантованной. LFM2.5-24B-A2B имеет нативный чекпойнт BF16 объёмом 47,96 ГБ, который вы не стали бы запускать на ноутбуке, и набор сборок от сообщества и самих разработчиков, которые вы бы запустили, а оценка качества остаётся на ваше усмотрение.

Из чего на самом деле сделан каждый из них

• Параметры — Bolt: 74B всего, 9B активных на токен. LFM2.5-24B-A2B: 24B всего, 2,45B активных на токен.

• Архитектура — Bolt: слои пространства состояний Mamba-2, чередующиеся со смесью экспертов и механизмом внимания, маршрутизация LatentMoE, а также визуальный энкодер C-RADIO v4-H. LFM2.5-24B-A2B: 40 слоёв — тридцать блоков короткой свёртки с двойным гейтированием и десять блоков внимания с группированными запросами — с 64 экспертами на блок MoE и маршрутизацией top-4.

• Происхождение — Bolt: сжат из Nemotron 3.5 Super VL 120B-A12B с помощью поиска архитектуры под управлением маршрутизатора, затем квантован с помощью дистилляции с учётом квантования. LFM2.5-24B-A2B: обучен напрямую, начиная с предварительного обучения на 33 триллиона токенов, через двухфазный этап промежуточного обучения и пятиэтапный конвейер постобучения, который завершается обучением с подкреплением внутри агентных обвязок.

• Входные данные — Bolt: текст, изображения и видео на входе, текст на выходе. LFM2.5-24B-A2B: только текст. Это самая трудная граница между ними, и она обусловлена архитектурой, а не различиями в настройке.

• Контекст — Bolt: 262 144 токена. LFM2.5-24B-A2B: 131 072 токена, удвоено с 32 768 у предыдущего поколения, наряду с расширением словаря с 65 000 до 128 000 токенов.

• Языки — LFM2.5-24B-A2B поддерживает шестнадцать языков, включая арабский, корейский, тайский, хинди и русский. В карточке модели Bolt английский и языки программирования указаны как основные, также поддерживаются испанский, французский, немецкий, итальянский и японский.

• Лицензия — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: LFM Open License 1.0. Ни одна из них не является Apache 2.0, и обе достаточно разрешительны для коммерческой работы и достаточно незнакомы, чтобы заслуживать десяти минут юриста.

• Поддержка сред выполнения на момент выпуска — обе перечисляют llama.cpp, vLLM и соответствующие edge-форматы; LFM2.5-24B-A2B дополнительно поставляется со сборками MLX и ONNX и указывает SGLang.

Таблицы бенчмарков, читайте внимательно.

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

В таблице Liquid AI для LFM2.5-24B-A2B указано: LiveClaw — 48,09 против 38,19 у Qwen3.6 35B-A3B, AutomationBench — 27,69 против 8,72 и ToolSandbox — 80,71 против 75,02, при этом она уступает более крупным моделям в GPQA Diamond с 74,42, HLE с 7,40 и SWE-Bench Verified с 51,00. Её показатель AA-Omniscience отрицательный — минус 24,90, что в системе оценки этого бенчмарка означает, что модель штрафуется за уверенные неверные ответы, а не оценивается по одной лишь точности.

Обе таблицы согласуются в общей картине результата, даже там, где цифры различаются: каждая модель сильна в агентном использовании инструментов относительно своего размера и слабее в задачах на воспроизведение, требующих глубоких знаний. Ни у одной из них нет записи в Artificial Analysis, и ни у одной нет хостингового эндпоинта, поэтому нет сторонних цифр, которые могли бы разрешить ничью, и нет способа провести A/B-тестирование на собственном трафике, не скачав обе.

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

Какую машину хочет каждый из них

Аппаратные истории пересекаются меньше, чем предполагает подача через 24 ГБ.

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B — более портативная из двух на бумаге и заявляет об этом: сборки MLX для Apple Silicon, ONNX для кроссплатформенных сред выполнения, GGUF для инференса на CPU, FP8 для сервинга на GPU и драфтер DSpark, указанный как «скоро». Квантованная сборка размером 13,58 ГБ оставляет больше запаса на карте с 24 ГБ, чем единственный файл Bolt на 22,02 ГБ плюс его визуальный проектор на 1,73 ГБ.

Эта последняя арифметика — практическая суть. Веса и проектор Bolt занимают 23,75 ГБ из 24 ГБ, отражённых в названии модели, а контексту и параллелизму остаётся конкурировать за остаток. LFM2.5-24B-A2B при Q4 или QAD-Q4 оставляет примерно десять гигабайт для той же цели. Если ваша нагрузка — это долгосрочная работа агентов с большим извлечённым контекстом, меньший объём активных и хранимых данных — не утешительный приз.

Где место слою маршрутизации

Ни одну из этих моделей мы не обслуживаем, и об этом стоит сказать прямо, а не приукрашивать: в каталоге OrcaRouter нет ни Bolt, ни LFM2.5-24B-A2B, так что здесь нет эндпоинта ни для одной из них и не с чем сравнивать цену. Общее у них то, что они представляют собой локальную половину стека, а локальные половины почти никогда не остаются в одиночестве — агент, который запускает модель на 24 ГБ на машине перед собой, всё равно тянется к чему-то более крупному, когда задача превышает её возможности.

Вот эту часть мы как раз берём на себя. Один ключ к более чем 200 хостируемым моделям по прейскурантной цене провайдера без наценки, автоматическое переключение при сбое, так что провайдер, давший сбой посреди запроса, получает повторную попытку, а не всплывает перед тем, кто ждёт, и DSL маршрутизации, который выражает цепочку резервирования как конфигурацию, а не как код приложения. Если вы выбираете между этими двумя контрольными точками, решение принимается на вашем собственном оборудовании и в вашем собственном тестовом стенде — а эскалации, побочные запросы и оценки вокруг этого — это та часть, которая проходит через шлюз.

Как выбирать без общего табло

Четыре вопроса уладят это быстрее любой таблицы.

Нужно ли агенту видеть? Если он читает скриншоты, PDF-файлы или видео, то Bolt — единственный из двух, кто на это способен, и вопрос закрыт. Если он работает с текстом и вызовами инструментов, мультимодальность — это бесполезный груз, который вы тащите зря.

Сколько контекста на самом деле нужно за один ход? Четверть миллиона токенов против 131 072 — это реальная разница для работы масштаба репозитория или документа, и это единственное измерение, где сжатие Bolt дало нечто такое, что не отображается ни в одной колонке бенчмарков.

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

И чьим числам вы верите? Обе лаборатории опубликовали таблицы, в которых их собственная модель выигрывает в большинстве строк. Честная позиция состоит в том, что каждая сильна в рамках выбранной ею группы сопоставимых моделей, что расхождение между двумя таблицами на одних и тех же базовых показателях напоминает о разбросе из-за тестового стенда, и что результат бенчмарка, полученный от лаборатории, создавшей модель, — это утверждение о возможностях, а не их измерение.

Короткий ответ

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

Обе вышли с разницей в четыре дня в октябре 2026 года — LFM2.5-24B-A2B 13 октября, Bolt 15 октября, — а значит, ни у одной пока нет независимой истории результатов, ни одну из них не измеряли в сравнении с другой на одном и том же оборудовании, и любой, кто объявляет победителя, читает таблицы вендора, а не результаты бенчмарка. Скачайте обе, запустите свой собственный набор для оценки и оставьте ту, которая доводит работу до конца. Это единственное сравнение здесь, которое ещё не опубликовала одна из двух лабораторий.

Этот разрыв между тем, что измеряет табло результатов, и тем, с чем сталкивается реальное развёртывание, — как раз поэтому этот реестр важен: задокументированные сбои ИИ и инциденты с агентами, связанные с моделями этого класса, собраны в Архиве инцидентов ИИ OrcaRouter, где каждая запись содержит собственные источники, уровень серьёзности, оценку уверенности и отметку об оспаривании.