Granite Switch 4.1 8B: один 8B-чекпоинт, который общается, принимает решения и транскрибирует

Восемь миллиардов триста восемьдесят миллионов параметров на входе. Восемь миллиардов семьсот семьдесят шесть миллионов — на выходе. Эти 4,72% — вся разница между базовой моделью IBM и Granite Switch 4.1 8B, и это самое интересное число в релизе, потому что в этой крошечной доле упакованы классификатор безопасности, движок принятия решений и распознаватель речи — все отвечают из одной конечной точки, все читают и записывают один и тот же KV-кэш, который базовая модель всё равно бы создала.

Веса появились на Hugging Face 14 октября 2026 года. Собственный блог IBM о запуске, Granite Switch 4.1: чат, решения и речь через единую точку доступа, вышел 15 октября, и это стоит сразу сказать прямо: это не тихий релиз, который кто-то обнаружил в зеркале. Это анонсированный выпуск, которому на момент написания около двух дней, и важна здесь не версия «что заявила IBM», а «что вы действительно можете проверить по чекпоинту, лежащему на Hub прямо сейчас». Это не одно и то же, и в этом материале мы их разделяем.

Что на самом деле содержит чекпойнт

Granite Switch — это не новая архитектура. Это композиция: замороженная базовая модель, набор низкоранговых адаптеров, которые можно включать и выключать для каждого токена, и — в данной конкретной сборке — энкодер, прикрученный для аудио. Композитор живёт в репозитории granite-switch, а манифест сборки для этого чекпоинта закоммичен рядом с весами, а значит, каждое структурное утверждение ниже можно прочитать прямо на Hub, а не из пресс-релиза.

Базовая модель — Granite 4.1 8B: плотная decoder-only модель, grouped-query attention с 32 query-головами против 8 key/value-голов, SwiGLU, RMSNorm, окно в 131 072 токена и словарь на 100 352 токена. Скомпонованный чекпойнт наследует всё это и добавляет два активированных LoRA-адаптера:

• guardian-core — ранг 16, альфа 64, подключён только к проекциям внимания (k_proj, o_proj, q_proj, v_proj), взят из релиза Guardian Library и описан как выявляющий вред, джейлбрейк, нецензурную лексику, насилие, сексуальный контент, социальную предвзятость и неэтичное поведение.

• решение — ранг 64, альфа 128, прикреплён ко всем семи проекциям, включая MLP (down_proj, gate_proj, up_proj), и обучен делать нечто более узкое и странное: по заданному состоянию и вопросу с размеченными вариантами возвращать калиброванное распределение вероятностей по меткам этих вариантов за один прямой проход.

Оба активируются управляющими токенами — <|guardian-core|> и <|decision|> — которые шаблон чата вставляет для вас, когда вы передаёте adapter_name в качестве аргумента. Вы не пишете эти токены сами, и эта деталь важнее, чем кажется: это означает, что выбор адаптера — это параметр запроса, а не вторая модель, которую нужно развёртывать.

Почему дельта параметра такая маленькая?

Арифметика — это и есть суть. Базовая модель содержит 8 380 551 168 параметров. Скомпонованная модель — 8 776 400 896. Это +395,8 миллиона, или +4,72%, для двух адаптеров. Причина, по которой число остаётся таким низким, — это проектное решение под названием нормализация KV-кэша: каждый адаптер видит кэш ключей/значений базовой модели, а не поддерживает собственный. В традиционной конфигурации с несколькими адаптерами каждый дополнительный адаптер — это второй набор состояний внимания, и затраты памяти растут с числом адаптеров, между которыми вы переключаетесь. Здесь это не так. В IBM утверждают в посте о запуске, что скомпонованная модель занимает «примерно столько же VRAM на GPU, сколько заняла бы сама базовая модель», и хотя никто за пределами IBM это пока не измерил, дельта весов в 4,72% согласуется с этим — и в отличие от утверждения о VRAM, дельта весов — это просто число в манифесте, которое можно прочитать.

Адаптер решений — это интересная половина.

Извлечение распределения вероятностей из языковой модели — не новость; сделать это за один прямой проход с фиксированным словарём меток вариантов и получить числа, достаточно откалиброванные, чтобы на них можно было опираться, — вот что стоит понять. Рецепт вызова описан в карточке: фиксированный системный промпт движка принятия решений, State: ход, оцениваемый на замороженной базе, затем ход ### DECISION, представляющий вопрос и варианты с однотокенными метками. Затем вы запрашиваете у сервера logprobs именно этих id токенов-меток — vLLM предоставляет это через logprob_token_ids — и возводите в степень. Пример из документации возвращает что-то вроде A: 0.982, B: 0.0035, C: 0.014.

Здесь есть настоящая инженерная загвоздка, которую маркетинговая версия этого релиза обходит стороной. vLLM ограничивает logprob_token_ids значением 128 id на запрос. Если в вашем вопросе для принятия решения больше 128 вариантов, вы получите HTTP 400, и решение состоит в том, чтобы разбить id меток на блоки по 128, отправить по одному запросу на каждый блок с идентичным промптом и объединить результаты — поскольку возвращаемые logprobs охватывают весь словарь, значение каждой метки не зависит от того, какой блок его запросил, так что один softmax по полному набору меток математически идентичен вызову без ограничения. Это один дополнительный запрос на каждые 128 вариантов. Это по-настоящему полезная деталь, и она как раз из тех, что существуют только в репозитории.

Единственное опубликованное число, привязанное к этому адаптеру, — это Decision Index (JEV), редакция v0.3, публичный быстрый поднабор из 1 068 строк: Общий 42.9, Знания 29.1, Язык 48.9, Извлечение 49.8, Инструменты 59.8, Искусство 18.0. Относитесь к этому как к данным, заявленным вендором, — потому что так оно и есть: IBM провела тестирование, опубликовала результаты, и ни одна третья сторона их не воспроизвела. Также стоит смотреть на форму профиля, а не на заголовок: 59.8 по Инструментам рядом с 18.0 по Искусству — это очень неровный профиль, а в самой карточке предупреждают, что вероятности вариантов — это «априорная оценка для принятия решения, а не сертифицированная классификация» в доменах, для которых адаптер не обучался.

Распознавание речи — это реальность, но оно уже, чем обещает заголовок.

Аудиотракт встраивает Granite Speech 5.0 TurboCTC — неавторегрессионный conformer CTC-энкодер с 470 млн параметров — и транскрибирует входящее аудио, прежде чем вставить транскрипт в контекст чата вместо части содержимого с аудио. Его вызов не меняет форму запроса: это input_audio — часть содержимого обычного chat completion, при этом транскрибирование выполняется на том же эндпоинте, что и чат и решения, поэтому не нужно поднимать второй сервер распознавания речи.

Оговорки — все они из собственной карточки модели IBM, а не от критика: энкодер поддерживает только английский, его вывод — в нижнем регистре и без знаков препинания, нет управления на этапе декодирования, а — та, что должна вас остановить, — речевой энкодер и LLM не обучались совместно. Нет обученной проекции, которая связывала бы их. Поэтому ошибка транскрипции может незаметно изменить то, на что реагирует модель или адаптер. Если вы создаёте что-либо, где ошибка транскрипции имеет последствия, это предложение — и есть весь аудит безопасности.

Что подтверждено, что заявлено поставщиком, а что никто не проверял

• Подтверждено из репозитория — идентичность базовой модели и число слоёв, ранги двух адаптеров и их целевые модули, идентификаторы управляющих токенов, итоговое число параметров, окно в 131 072 токена, лицензия Apache-2.0, а также задокументированные версии vLLM и Transformers, которые требует карточка.

• Сообщено производителем, без воспроизведения — оценки Decision Index, утверждение, что Granite Speech 5.0 TurboCTC — самая быстрая ASR-модель в таблице лидеров OpenASR, заявление о «том же объёме VRAM, что и у базовой модели», а также попутное замечание из поста о запуске о том, что кастомная модель Granite Switch на 3B играет в Doom со скоростью 60–100 решений в секунду против заявленных 10 в секунду у закрытой модели принятия решений. IBM говорит, что опубликует больше данных «в ближайшие недели», что является признанием того, что текущих доказательств недостаточно.

• Никто не проверял — всё остальное. Нет независимой оценки, нет записи в стороннем лидерборде, нет размещённого API от IBM, нет опубликованных измерений задержки или пропускной способности от кого-либо, кроме IBM. Репозиторий на Hub показывает несколько десятков загрузок и горстку лайков: этой модели два дня, и она по большей части остаётся непрочитанной.

Сколько стоит запуск и где место OrcaRouter

Granite Switch 4.1 8B сейчас — это история про самостоятельный хостинг. В карточке в качестве бэкендов указаны HuggingFace Transformers и vLLM, зафиксировано довольно узкое окно поддержки (Transformers 5.16–5.17, vLLM 0.26–0.28), и чекпоинт работает с обоими без изменений кода. Управляемого эндпоинта, на который можно было бы указать, нет, а для большинства команд это означает одну GPU и контейнер до первого запроса.

Скажем прямо об остальном: Granite Switch сегодня нет в каталоге OrcaRouter, как и любой другой модели Granite, — так что если вам нужен этот чекпоинт, то путь к нему — собственный релиз вендора и ваше собственное железо, а не мы. А что OrcaRouter действительно даёт, так это сопутствующее решение. Платформа маршрутизирует более 200 моделей через единый ключ с автоматическим переключением при сбое, и передаёт прайс-листовую цену провайдера без наценки — 0 %, поэтому, когда у модели, которую вы тестируете, всё-таки появляется хостируемый эндпоинт, сравнить её с текущим решением на своём трафике — это изменение конфигурации, а не второй контракт. Это важнее всего именно в такой ситуации: чекпоинт, которому два дня и у которого нет независимой оценки, — это кандидат, а не действующее решение, и дешёвый способ обойтись с кандидатом — держать его в параллельном сравнении, а не перестраивать вокруг него продакшн-путь.

Открытый вопрос

Granite Switch 4.1 8B — это ставка на то, что композиция побеждает масштаб для определённого класса задач: приложений, которым нужно отвечать, принимать решения и транскрибировать, где запуск трёх моделей означает три развёртывания, три задержки и три счёта. Инженерия, позволяющая сделать эту ставку дешёвой — общий KV-кэш, переключение адаптеров на уровне токенов, управляющие токены, разрешаемые в шаблоне чата, — действительно необычна, и именно эта часть релиза будет иметь значение и через год.

Что ещё не решено — это то, является ли составленный ответ хорошим. Опубликованный профиль адаптера решений неравномерен, речевой тракт поддерживает только английский и не обучался совместно, а всей этой штуке всего два дня, и за ней не стоит ни одного независимого запуска. Прочитайте манифест сборки, сами запустите команду compose и проведите бенчмарк адаптера решений на собственном наборе меток, прежде чем поверить чьим-то 42.9.