Nanbeige4.3-33B против Nemotron 3.5 Lightning 30B A3B: учитель против исполнителя

NVIDIA Nemotron 3.5 Lightning 30B A3B выдаёт 294,9 выходных токена в секунду. У Nanbeige4.3-33B вообще нет опубликованной скорости, потому что её никто не обслуживает. Эти два факта говорят об этом противостоянии больше, чем любая строка бенчмарка: одна модель — это инженерно оптимизированный продукт для пропускной способности с тарифной сеткой и сценарием развёртывания на одном GPU, а другая — плотный чекпоинт на 33 миллиарда параметров, который появился на Hugging Face 24 октября 2026 года с карточкой модели и без провайдера инференса. Обе относятся к «классу 30B». Но это не объекты одного типа.

Сравнение стоит провести, потому что оба решения предлагаются одному и тому же покупателю — тому, кто создаёт долго работающего агента, которому нужно выполнять множество мелких шагов без затрат на фронтирную модель. Ответ NVIDIA — сократить вычисления на токен. Ответ Nanbeige — сделать более крупную и плотную модель достаточно хорошей в агентной работе, чтобы вам понадобилась только одна. Это противоположные ставки, и свидетельства в пользу каждой из них по своему характеру сильно различаются.

3,6 млрд активных параметров — вот и весь аргумент

Nemotron 3.5 Lightning 30B A3B — это гибридная модель со смесью экспертов: 31,6 млрд параметров всего, 3,6 млрд активных на токен, распределённых по 52 слоям — 23 Mamba-2, 23 MoE и 6 слоёв внимания. Она маршрутизирует запросы к 128 экспертам и активирует 6 из них плюс общего эксперта. Именно благодаря этой архитектуре она способна поддерживать примерно 295 токенов в секунду на управляемой конечной точке, тогда как плотная модель класса 30B обычно показывает 40–80.

Nanbeige4.3-33B — плотная модель. Все 33,1 млрд параметров срабатывают на каждом токене. Здесь нет маршрутизации, разреженности экспертов, слоя Mamba. Это осознанный выбор с ясным следствием: каждый токен требует примерно в девять раз больше активных вычислений, чем у Lightning, и модели нужно около 66 ГБ весов в BF16 — или примерно 20 ГБ в 4-битном формате — постоянно находиться в памяти, прежде чем она что-либо сгенерирует.

Ни одна из архитектур не лучше сама по себе. Плотные модели, как правило, проще дообучать, и они более предсказуемы по качеству; разреженные модели обычно дешевле и быстрее в обслуживании при одинаковом номинальном размере. Вопрос в том, какого из этих свойств не хватает вашей рабочей нагрузке.

Для чего была создана каждая модель

NVIDIA позиционирует Lightning как слой исполнения для постоянно работающего агента — модель, которая получает план от более крупной системы и с низкими затратами проделывает вызовы инструментов, правки файлов и шаги в браузере. Она дистиллирована из Nemotron 3 Ultra, поставляется со встроенным в предварительное обучение спекулятивным декодированием с предсказанием нескольких токенов, а также с отдельными draft-моделями, и настроена для harness-сред, а не для чата. Опубликованный набор её бенчмарков это отражает: PinchBench 85,4–86, BrowseComp 36,8–36,97, SWE-bench Verified 51,56–52,8, Terminal-Bench 2.1 около 23,5–24,6.

Nanbeige4.3-33B позиционируется как модель-учитель. В карточке прямо сказано: это флагман серии 4.3, предназначенный для дистилляции в меньшие модели, такие как невыпущенная Nanbeige4.3-3B. Его набор бенчмарков соответственно широк — 20 строк, охватывающих агентное программирование, агентную совместную работу и рассуждения — а рекомендуемые настройки — это настройки модели, которую вы запускаете сами: размер тензорного параллелизма 4, XML-вызовы инструментов, preserve_thinking=true для многоходового использования инструментов.

Один — компонент в чужой системе. Другой — исходная модель для семейства. Эта формулировка объясняет почти каждое различие ниже.

Единственный общий для них ориентир нельзя вычесть.

Обе карточки сообщают результат Terminal-Bench 2.1. Nanbeige заявляет 80,9. Опубликованный компанией NVIDIA диапазон для Lightning — примерно 23,5–24,6. На первый взгляд это разрыв в 56 пунктов, и именно эту цифру будут цитировать.

Это не должно быть так. Terminal-Bench измеряет модель внутри агентного каркаса, а два поставщика описывают не один и тот же каркас. В карточке Nanbeige говорится, что в её прогоне Terminal-Bench 2.1 использовался Terminus 2 и что её модели оценивались при максимальном уровне усилий на размышление с общим каркасом и общими параметрами инференса. Цифры NVIDIA получены из её собственного внутреннего каркаса, который сама компания отмечает как потенциально отличающийся от сторонних результатов. Плотная 33B-модель, получившая выгодный цикл, и модель с 3,6B активных параметров, получившая стандартный, могут различаться на десятки пунктов, при этом ни одна из моделей не представлена неверно.

Честная интерпретация — это оценка направления, а не чисел: Nanbeige заявляет о существенно более высокой производительности в агентных терминальных задачах, и это утверждение не подтверждено ни с одной из сторон. Та же осторожность относится к GPQA Diamond (Nanbeige 89.5, Lightning 74.3–75.6) и к AA-LCR (Nanbeige 84.0, Lightning 52.0–60.3). Эти разрывы достаточно велики, поэтому часть различия, вероятно, отражает реальные возможности, а не особенности тестового стенда. Но слово «вероятно» несёт в этом предложении большую нагрузку, и ни одна третья сторона не проводила это сравнение.

Что не вызывает двусмысленности — это независимое освещение. Artificial Analysis присваивает Nemotron 3.5 Lightning 13 баллов в своём Intelligence Index. Для Nanbeige4.3-33B у него нет записи. У одной модели есть второе мнение; у другой — карточка модели. Эта асимметрия — информация, и она говорит не в пользу вендора, чья таблица громче.

1M контекста на бумаге, 256K на практике

Artificial Analysis указывает контекстное окно Lightning в 1 миллион токенов. Документация самой NVIDIA более консервативна: 262 144 токена — это практический предел на одном H100. Оба числа могут быть верными — архитектура поддерживает более длинное окно, но оборудование, на котором вы, скорее всего, будете его запускать, не позволяет комфортно его разместить.

524 288 токенов в Nanbeige4.3-33B — это обученное окно на плотной модели, и затраты памяти на KV-кэш масштабируются вместе с ним. Рецепты vLLM и SGLang из карточки используют коэффициент использования памяти GPU 0,8 и размер тензорного параллелизма 4, что говорит о том, что предполагаемое развёртывание — не на одной карте.

Для агентной работы практическая разница связана не столько с максимумом, сколько с тем, что сохраняется в ходе длительного прогона. Гибридные слои Mamba в Lightning спроектированы так, чтобы удерживать состояние малозатратным на длинных последовательностях; плотное внимание Nanbeige — нет. NVIDIA также публикует AA-LCR на уровне 52,0–60,3 — это оценка рассуждений на длинном контексте, — а Nanbeige публикует 84,0 на том же бенчмарке. Если верить обеим таблицам, рассуждения Nanbeige на длинном контексте значительно сильнее. Если верить только независимо проведённой оценке, единственный результат, который можно проверить, — это результат Lightning.

Арифметика размещения плотной 33B-модели

Именно здесь сравнение перестаёт быть вопросом качества и становится вопросом использования.

Lightning указан по цене $0,06 за миллион входных токенов и $0,20 за миллион выходных на управляемом эндпоинте. У Nanbeige нет тарифной карты, потому что ни один провайдер не развёртывает её; в карточке это сказано прямо. Чтобы использовать её, нужно арендовать или купить GPU и следовать схеме четырёхпутевого тензорного параллелизма.

Предположим, чисто ради арифметики, что четыре GPU класса H100 стоят по $2 в час каждый — $8 в час за узел. Чтобы выйти в ноль при цене Lightning за выходные токены, этот узел должен производить 40 миллионов выходных токенов в час, что составляет около 11 100 токенов в секунду при устойчивой работе. Плотная модель 33B на четырёх GPU этого не сделает. Даже при десятой части стоимости GPU безубыточная пропускная способность превышает тысячу токенов в секунду при устойчивой работе, а это уже серьёзная операция по обслуживанию, а не побочный эксперимент.

Вывод не в том, что Nanbeige — дорогое решение. А в том, что самостоятельный хостинг плотной 33B-модели превосходит исполнителя за $0,20 за миллион токенов только при очень высокой и очень стабильной загрузке — или когда работа не может покинуть вашу инфраструктуру, и в этом случае сравнение никогда не было о цене. При импульсной или низкой нагрузке управляемая разреженная модель с большим отрывом выигрывает по стоимости ещё до того, как в обсуждение вступает качество.

Где маршрутизатор вписывается в систему из двух моделей

Архитектура, которую продаёт NVIDIA — передовой планировщик, дешёвый исполнитель — это та архитектура, к которой большинство команд агентов всё равно в итоге приходит. Именно под такую схему и создаётся слой маршрутизации: наш DSL маршрутизации объединяет несколько моделей в один вызов, так что планировщик и исполнитель могут находиться за одним эндпоинтом, а автоматическое переключение при сбое не позволяет испытывающему трудности исполнителю превратиться в застрявшего агента.

Сегодня у нас нет Nemotron 3.5 Lightning 30B A3B или Nanbeige4.3-33B, так что это не предложение о доступности ни того, ни другого. Это замечание о том, где возникают затраты на интеграцию. Если вы размещаете Nanbeige у себя как планировщик и вызываете хостинговую модель как исполнитель, эту схему разделения стоит выражать в виде правил маршрутизации, а не жёстко прописывать в приложении — потому что модель, которую вы захотите видеть в каждой роли, изменится раньше, чем закончится квартал.

Бюджет задержки решает больше, чем таблица лидеров.

• Если один шаг агента должен выполняться менее чем за секунду: Lightning. При 295 токенах в секунду ответ на 300 токенов приходит примерно за секунду; плотная модель 33B на вашем собственном оборудовании — нет, а у Nanbeige нет hosted-варианта для сравнения.

• Если этот шаг представляет собой длительный проход рассуждений в начале рабочего процесса: заявленные Nanbeige преимущества по GPQA, AA-LCR и в строках по агентным сценариям говорят в пользу этого — с учётом оговорки о тестовом стенде, приведённой выше.

• Если произведение на китайском языке: Nanbeige. Языки публикаций Lightning — английский, испанский, французский, немецкий, итальянский и японский.

• Если работа многоязычная европейская: Lightning. Nanbeige указывает только английский и китайский.

• Если у вас нет GPU и нет желания их заводить: Lightning, вне конкуренции.

• Если данные не могут покидать вашу сеть: Nanbeige, и сравнение затрат превращается в решение об инфраструктуре, а не о цене за токены.

Открытый вопрос

Nanbeige4.3-33B существует всего два дня, и об истории её сервинга сказать нечего. Именно этот факт и датирует данную статью. Если какой-нибудь провайдер её подхватит — а следить стоит как раз за утверждением из карточки модели о том, что сегодня этого не делает никто, — затратная сторона этого сравнения изменится полностью, потому что размещённая у провайдера плотная модель на 33B по конкурентной цене за токен подорвала бы весь аргумент в пользу меньшего разреженного исполнителя на работе, чувствительной к качеству.

До тех пор оправданная позиция остаётся узкой. Nemotron 3.5 Lightning 30B A3B — это модель, которую можно развернуть уже сегодня, по опубликованной цене, с независимой оценкой и примерно в девять раз меньшими вычислениями на токен. Nanbeige4.3-33B на бумаге выглядит как более мощная модель: с нативным окном 512K и самостоятельно заявленными агентными показателями, которые никто не воспроизвёл. Если для вашего агента критичны задержка и стоимость, выбор уже сделан. Если узкое место — качество и у вас есть собственное оборудование, этот вариант стоит протестировать — и такой тест ещё не проводился.