Титульная карточка: NVIDIA Nemotron 3.5 Lightning 30B A3B — рабочая лошадка открытых агентов Nvidia, объясняем — с плашками характеристик: 30B всего, 3B активных, контекст 1M.
Guides & Insights

NVIDIA Nemotron 3.5 Lightning 30B A3B: рабочая лошадка открытых агентов Nvidia — разбор

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Nvidia анонсировала Nemotron 3.5 Lightning 11 августа 2026 года и выпустила его вместе с тем, чего не хватает в большинстве релизов моделей: маршрутизатором. NeMo Switchyard, библиотека с открытым исходным кодом, которая решает, какая модель должна обработать следующий вызов внутри агентного цикла, вышла в тот же день, что и модель смеси экспертов с 30 миллиардами параметров, но всего лишь с 3 миллиардами активных параметров — в этом и суть. Этот разбор посвящён чекпоинту, который Nvidia выпустила первой, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 — сырому предобученному базовому чекпоинту, а не чат-версии, и тому, что всё семейство в целом говорит о том, куда движется обслуживание открытых моделей.

Одно примечание об источниках перед цифрами: все бенчмарки, заявления о скорости и показатели партнёров в этом материале взяты у самой Nvidia, и ни одно из них ещё не было воспроизведено независимо — модели всего несколько часов. Относитесь к показателям производительности как к заявлению вендора: информативно и ориентировочно, но пока не как к результатам независимых тестов.

Что такое Nemotron 3.5 Lightning на самом деле

Nemotron 3.5 Lightning — новейший и самый компактный представитель открытого семейства Nemotron 3 от Nvidia. Это модель MoE с 30 млрд параметров, из которых активно лишь 3 млрд на токен, построенная на гибридной архитектуре Mamba-2 и MoE с выборочными слоями внимания и головками многотокенного предсказания (MTP), встроенными на специальном этапе предварительного обучения. По словам Nvidia, модель была дистиллирована из флагманской модели Nemotron 3 Ultra и обучена на более чем 20 триллионах токенов, а также поддерживает контекстное окно объёмом до 1 миллиона токенов.

Цель дизайна — низкая задержка и стоимость при масштабировании, а не универсальность уровня frontier. Nvidia позиционирует Lightning для «исполнительного уровня» постоянно активных агентов — высокочастотных, менее сложных вызовов, которые агент выполняет постоянно: вызовы инструментов, ревью кода, триаж оповещений безопасности, вопросы биллинга, делегирование субагентам. Это та работа, для которой не нужна фронтирная модель на каждом шаге; нужна дешёвая и быстрая модель, которая достаточно хороша. Заявления о скорости вытекают из архитектуры: до 4× более быстрый вывод, чем у моделей аналогичного размера, и примерно на 30% более быстрое выполнение агентных задач, по измерениям Nvidia. Две черновые модели, DSpark и DFlash, обеспечивают спекулятивное декодирование, оптимизированное для обслуживания со средней и высокой степенью параллелизма.

{{1}}Три контрольные точки{{/1}} — и {{2}}какую из них вы хотите{{/2}}

Запуск — это на самом деле три загрузки, и освещение, которое рассматривает "Nemotron 3.5 Lightning" как одну модель, упускает различие, которое важнее всего для разработчика.

Тема данной статьи — NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 — это исходная предобученная контрольная точка без применения дообучения с учителем, RL или дистилляции. Это базовая модель в строгом смысле: она не ведёт диалог из коробки и существует как отправная точка для дальнейшего предобучения, кастомного SFT, RL или дистилляции. Если вы намерены создать собственную модель поверх предобучения Nvidia, вам нужен именно этот файл.

Сопутствующий релиз, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, представляет собой эталонные веса, прошедшие полный конвейер — предобучение, продолжение MTP, SFT и RL. Это универсальная модель для логических рассуждений и чата, но Nvidia по-прежнему позиционирует её как отправную точку для кастомизации, а не как готовый артефакт для продакшн-обслуживания. Для обслуживания предназначена контрольная точка NVFP4 (выпущенная вместе с ней и разделяющая квантованные ядра, которые Nvidia использует для Nemotron 3 Ultra) — именно она нацелена на низкую задержку и высокую пропускную способность.

Практические рекомендации, по одной строке на каждый контрольный пункт:

• Base-BF16 — продолжение предварительного обучения, пост-обучение на домене, дистилляция с нуля. Дальше вы сами.

• BF16-референсподдерживает чат и рассуждения, но предназначен как основа для вашего собственного SFT или RL, а не как размещенный эндпоинт.

• NVFP4 — чекпоинт, оптимизированный для инференса при развертывании на GPU Nvidia.

Большинство читателей, приходящих за продакшн-API, хотят дообученные модели, а не базовую. Базовая всё равно важна: Nvidia выпустила её под открытой лицензией OpenMDW-1.1, которая покрывает веса, обучающие данные и рецепты — сырое предварительное обучение — это то, чего не получить от закрытого вендора, и именно оно делает всё семейство вашим.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, showing the Text Generation task, Transformers, Safetensors and the OpenMDW-1.1 license

Эталонный реестр с честной маркировкой

Вот что Nvidia сообщает для базового чекпоинта в своих собственных оценках: MMLU 78.59, MMLU-Pro (5-shot) 67.94, GSM8K 91.28, HumanEval 77.44, MBPP 78.59, ARC-Challenge 92.66, HellaSwag 85.55, WinoGrande 79.95 и долгоконтекстный показатель RULER 69.62 при 1M токенов. Настроенный референс сдвигает показатели там, где и следовало ожидать: MMLU-Pro 81.94, GPQA Diamond (без инструментов) 75.44, SWE-bench Verified 51.56, Terminal-Bench 2.1 24.58.

Указанные в заголовке показатели скорости также приводятся со слов вендора: до 4× более быстрый вывод результатов и на 30% более быстрое выполнение агентных задач по сравнению с моделями своего класса, плюс результат PinchBench — 86% точности на прогоне из 10 000 задач, что примерно на 30% быстрее, чем Qwen3.6-35B при сопоставимой точности. Nvidia также ссылается на индекс Artificial Analysis Intelligence Index, равный 24, — вровень с gpt-oss-120b, но обратите внимание на источник: Nvidia ссылается на оценку для модели, которая по состоянию на 11 августа ещё не появилась в публичном рейтинге Artificial Analysis. Независимые лаборатории не публиковали показатели Lightning.

Чтобы понять, какое место 24 занимает в семействе, индексы, измеренные AA, для других открытых моделей Nvidia составляют 25,4 для Nemotron 3 Ultra и Nemotron 3 Super, и 14,2 для Nemotron 3 Nano. Lightning не является моделью переднего края, и Nvidia не утверждает, что это так; это ставка на участок границы Парето, отвечающий за скорость и стоимость.

Scoreboard for NVIDIA Nemotron 3.5 Lightning 30B A3B: Active params 3B, Total params 30B, Context up to 1M tokens, MMLU 78.6 (vendor), Output speed up to 4x vs class (vendor), AA Index 24 (Nvidia-cited); footer reads 'Vendor-reported as of Aug 11, 2026 — no independent run yet.'

Для чего это: исполнительный слой агентов

Концепция Nvidia — это разделение труда: передовая модель планирует и рассуждает, а дешёвый исполнитель обрабатывает тысячи рутинных вызовов, которые позволяют агенту реально работать весь день. Именно поэтому в том же анонсе представлена библиотека маршрутизации — Lightning задумана как один уровень в более крупной системе, а не как вся система.

Партнёрские примеры использования предоставлены Nvidia, так что воспринимайте их как маркетинг с приложенными цифрами. Лучше всего суть модели иллюстрирует CodeRabbit: там говорится, что Lightning был дообучен для ревью кода менее чем за три часа и менее чем за 100 долларов, получив при этом примерно на 4% более высокую точность по сравнению с базовой моделью класса GPT при примерно вдвое меньших затратах на инференс. Верите вы в точные цифры или нет, важна суть: активная модель с 3B параметров достаточно дёшева, чтобы дообучать её на собственных данных и обслуживать в масштабе, а это и есть вся ценность предложения.

Математика затрат

У Nemotron 3.5 Lightning нет рекомендованной цены, потому что покупать нечего — веса распространяются бесплатно по лицензии OpenMDW-1.1 вместе с обучающими данными и рецептами. Цена — это то, что хост запрашивает за обслуживание модели, и она будет варьироваться сильнее, чем качество, как только сторонние API начнут поддерживать это семейство. Для прототипирования Nvidia предлагает модель в виде NIM-микросервиса на собственной платформе build.nvidia.com, где её можно бесплатно попробовать с ограничением по запросам и без кредитной карты.

Прежде чем оценивать это, нужно учесть две реалии, связанные со стоимостью. Во-первых, «30B total, 3B active» означает, что инференс обходится дёшево в пересчёте на токен, но все 30B по-прежнему должны находиться в памяти на каждом GPU — сервинг не бесплатен, и именно конкурентность батчей определяет, насколько быстро он реально работает. Во-вторых, когда модель с открытыми весами появляется на нескольких хостинговых API, цены за токен у разных провайдеров могут различаться в разы, и это различие не является сигналом качества. Именно здесь сквозной шлюз оправдывает себя: OrcaRouter передаёт цены провайдеров по прайс-листу напрямую с нулевой наценкой, так что снижение цены у провайдера вступает в силу в тот же день, а ценовой разброс остаётся на стороне рынка. Nemotron 3.5 Lightning пока нет на OrcaRouter — веса появились всего несколько часов назад — но безопасный способ внедрения модели, которой всего один день, — это маршрутизировать её через автоматический фейловер, чтобы проблема холодного старта на одном хосте не могла вывести из строя продакшн-контур.

Маршрутизатор, который поставлялся с ним.

NeMo Switchyard стоит изучить, потому что это ставка Nvidia на то, как должен работать открытый агентный ИИ: не одна большая модель, а система, которая отправляет каждый шаг самой способной и эффективной из доступных моделей. Это библиотека с открытым исходным кодом, которую вы интегрируете в свой контур, с настройками для баланса качества, задержки и стоимости. Собственный бенчмарк Nvidia обещает точность уровня передовых моделей примерно за треть стоимости работы передовой модели в одиночку.

Результаты партнеров, опять же по данным Nvidia, демонстрируют ту же направленность: Boomi сообщает, что направил 59% трафика на специализированную модель, работающую в 5 раз быстрее, с задержкой на 21% ниже на последующих ходах диалога; Cognition сообщает о снижении средней стоимости на 28%; Ramp заявляет, что достиг производительности передовой модели на собственном SWE-bench при снижении затрат на 58%. Самый честный показатель — у LangChain: снижение затрат на 74% на 145 многошаговых задачах агентов, при этом только 7% вызовов приходится на передовую модель — ценой потери точности в 6%. Маршрутизация не бесплатна; это осознанный компромисс.

Switchyard — это библиотека, то есть путь «сделай сам»: вы определяете политику, интегрируете её и управляете ею. Управляемая альтернатива — размещённый API маршрутизации, где один ключ открывает каталог из более чем 200 моделей, отказоустойчивость работает по умолчанию, а не требует ручной настройки, а DSL маршрутизации позволяет объединять несколько моделей в один вызов. Собственные тестовые показатели Nvidia — 59%, 74%, 58% — самый веский аргумент в пользу этой схемы, на каком бы уровне вы её ни запускали.

Как запустить это сегодня

Поддержка с первого дня широкая. Контрольные точки запускаются локально на ПК с RTX, DGX Spark, DGX Station и оборудовании Jetson, а в дата-центре — на GPU Hopper и Blackwell. Анонсированная экосистема охватывает vLLM, SGLang, llama.cpp, Ollama, LM Studio, Unsloth и TensorRT-LLM, а также контейнер NIM для инфраструктуры Nvidia. Для пост-обучения Nvidia также выпустила открытый набор данных RL — Nemotron-RL-Agentic-Terminal-Pivot, нацеленный на возможности кодинг-агентов. Он полезен, если вы планируете выполнить собственный этап RL поверх базовой модели.

Screenshot of the NVIDIA developer blog post announcing Nemotron 3.5 Lightning for long-running agent workloads, dated August 11, 2026

Кто должен действовать сейчас

Три группы получают пользу от этого релиза, и каждой стоит делать что-то своё. Если вы создаёте модели — продолженное предобучение, доменное пост-обучение, дистилляция — то чекпоинт Base-BF16 — самая интересная загрузка, и он действительно новый: Nvidia ещё не открывала сырое предобучение класса 30B под такой лицензией. Если вы обслуживаете модели, чекпоинт NVFP4 и путь NIM стоит прогнать через бенчмарки в сравнении с тем, что вы уже используете для агентных нагрузок; профиль с 3B активных параметров — это и есть вся суть. А если вы разработчик приложений, честный ответ — немного подождать: настроенные модели пока недоступны на хостинговых API в какой-либо стабильной форме, независимые цифры появятся через несколько недель, а картина затрат станет яснее, когда рынок оценит открытую MoE-модель на 30B.

За чем следить дальше: первый независимый прогон на Artificial Analysis, который подтвердит или развенчает заявление об Index-24; цены, которые первые хостинг-провайдеры установят за настроенные чекпоинты; и как часто собственные показатели Switchyard от Nvidia будут появляться в чужих бенчмарках. Это запуск об эффективности и маршрутизации, а не о новом рубеже — и именно это, а не технические характеристики, и есть главная история.

Часто задаваемые вопросы

Могу ли я использовать чекпоинт Base-BF16 для чата сразу из коробки?

Нет. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 — это исходная предварительно обученная контрольная точка без применения SFT или RL; она не настроена под инструкции. Вариант, поддерживающий чат и рассуждения, — это родственный ссылочный релиз NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, который прошёл полный четырёхэтапный конвейер; базовая модель существует для дальнейшего пост-обучения, а не для развёртывания как есть.

Является ли индекс Artificial Analysis, равный 24, независимой оценкой?

{{1}}Нет — пока нет.{{/1}} {{2}}Эта цифра — оценка, которую Nvidia приводит для модели, по состоянию на 11 августа 2026 года ещё не появившейся в публичном рейтинге Artificial Analysis.{{/2}} {{3}}Независимые лаборатории пока не публиковали результатов Nemotron 3.5 Lightning, поэтому относитесь к каждой цифре в релизных материалах как к заявленной производителем, пока не появится сторонний прогон.{{/3}}

© 2026 OrcaRouter