Granite Switch 4.1 30B: IBM reduziu doze adaptadores para apenas dois

Há cinco meses, a IBM colocou uma prévia do Granite Switch 30B no Hugging Face com doze adaptadores dentro dela e um acréscimo de 11,68% de parâmetros sobre o modelo base. Em 14 de outubro de 2026, o modelo final chegou — Granite Switch 4.1 30B — e ele tem exatamente dois adaptadores e um acréscimo de 3,89%. O número principal caiu em dois terços, e esse é o lançamento.

Para ser preciso sobre o que "chegou" significa, porque é aqui que muita cobertura fica descuidada: os pesos chegaram ao Hub em 14 de outubro de 2026, e a própria postagem de lançamento da IBM, Granite Switch 4.1: Chat, Decisões e Fala a partir de um Único Endpoint, foi publicada em 15 de outubro. Isso é dois dias antes de este texto ser escrito. É um lançamento anunciado, não um lançamento discreto que alguém encontrou em um mirror, e não é uma nova listagem da prévia de maio — o artefato é diferente, o número de adaptadores é diferente, e o caminho de áudio não existia de modo algum na prévia. O que se segue separa o que você consegue ler no repositório daquilo que apenas a IBM disse.

O que está realmente no checkpoint

Granite Switch 4.1 30B é uma composição, não uma nova arquitetura. Ele pega o Granite 4.1 30B — um transformer denso somente decodificador, janela de 131.072 tokens, vocabulário de 100.352 tokens — congela-o e acopla dois adaptadores LoRA ativados mais um codificador de fala. O manifesto de build está versionado no repositório ao lado dos pesos, e é por isso que toda afirmação estrutural abaixo pode ser lida em vez de apenas relatada.

• guardian-core — aLoRA, rank 16, alpha 64, anexado apenas às projeções de atenção (k_proj, o_proj, q_proj, v_proj), retirado da Guardian Library e apontado para danos, jailbreaking, profanidade, violência, conteúdo sexual, viés social e comportamento antiético. Token de controle <|guardian-core|>, id 100352.

• decisão — aLoRA, rank 64, alpha 128, aplicado a todas as sete projeções, incluindo o MLP, e treinado para fazer algo mais restrito do que chat: dado um estado e uma pergunta com opções rotuladas, retornar uma distribuição de probabilidade calibrada sobre esses rótulos em uma única passagem direta. Token de controle <|decision|>, id 100353.

• Fala — granite-speech-5.0-470m-turboctc, um codificador CTC conformer não autorregressivo de 470M parâmetros, somente em inglês, integrado como um caminho de entrada de áudio em vez de um segundo serviço.

A aritmética dos pesos é o número mais limpo da versão. Base: 28.865.728.512 parâmetros. Composto: 29.989.814.272. A diferença é de 1.124.085.760 parâmetros, ou +3,89%. Você não escreve os tokens de controle por conta própria — o template de chat os insere quando você passa um adapter_name argumento, o que significa que alternar a capacidade é um parâmetro de requisição em vez de uma segunda implantação.

A prévia trouxe doze adaptadores. A versão final traz dois.

Esta é a decisão que vale a pena entender, porque à primeira vista parece uma regressão. O checkpoint de pré-visualização — ainda no Hub, ainda Apache-2.0, datado de 5 de maio de 2026 — carrega doze adaptadores de três Granite Libraries: citation, query rewrite, query clarification, hallucination detection, answerability, factuality detection, policy guardrails, factuality correction, guardian-core, uncertainty, requirement check e context attribution. Esse é um pacote genuinamente útil, e é um pacote sobre o qual você precisa raciocinar, porque doze adaptadores significam doze receitas de invocação e doze contratos de saída diferentes.

O Granite Switch 4.1 30B mantém dois deles e adiciona um codificador de fala. A troca que a IBM fez é legibilidade por cobertura: o modelo final é um modelo de chat que também consegue responder a uma pergunta de decisão com uma probabilidade e transcrever áudio, e essas são três coisas que um interlocutor consegue ter em mente ao mesmo tempo. Os outros dez adaptadores não desapareceram — continuam publicados, continuam combináveis, e o compositor no repositório do granite-switch criará para você um checkpoint com qualquer subconjunto que desejar, incluindo todos os doze. O que mudou é o que vem ativado por padrão.

Isso é um custo real, e vale a pena nomeá-lo em vez de minimizá-lo: se você estava esperando que os adaptadores de detecção de alucinações e atribuição de contexto da prévia chegassem a um checkpoint 1.0, não é isso. É um modelo mais restrito, com menor sobrecarga, e o ferramental de composição é o que fecha a lacuna.

O adaptador de decisão é a metade que não é um modelo de chat

Ler uma distribuição de probabilidade de um modelo de linguagem não é novidade. Fazer isso em uma única passagem direta contra um conjunto fixo de rótulos de opção, com números calibrados bem o suficiente para rotear com base neles, é a parte que precisa de explicação. A receita documentada é um prompt de sistema fixo de mecanismo de decisão, um turno Estado: avaliado na base congelada, depois um turno ### DECISÃO apresentando a pergunta e opções rotuladas com um único token. Você solicita os logprobs exatamente desses ids dos tokens de rótulo e exponencia. O próprio exemplo do card retorna algo como A: 0.982, B: 0.0035, C: 0.014 — e a parte interessante é que esses valores vieram de um endpoint de completion normal, não de um classificador.

Há uma complicação de engenharia que o anúncio omite. O mecanismo logprob-token-id é limitado a 128 ids por requisição, então uma pergunta de decisão com mais de 128 opções falha de imediato. A correção documentada é dividir os ids dos rótulos em blocos de 128, enviar uma requisição por bloco com um prompt idêntico e concatenar — o que é matematicamente idêntico a uma chamada sem limite, porque os logprobs retornados abrangem todo o vocabulário e, portanto, o valor de cada rótulo não depende de qual bloco o solicitou. Uma requisição extra a cada 128 opções. Esse é o tipo de detalhe que só existe dentro de um repositório.

O único número publicado associado ao adaptador é o Decision Index, edição v0.3, subconjunto rápido público de 1.068 linhas: Geral 50,1, com Conhecimento 32,4, Linguagem 58,6, Recuperação 49,8, Ferramentas 76,5 e Artes 26,4. Leia o formato em vez da manchete — 76,5 em Ferramentas ao lado de 26,4 em Artes é um perfil muito desigual, e diz mais sobre onde é seguro direcionar este adaptador do que o número geral. A IBM também relata que os resultados de servir o adaptador localmente e de servi-lo atrás de um endpoint vLLM hospedado concordaram dentro de cerca de 0,6 pontos, o que é uma verificação de sanidade útil no caminho de serviço, embora a IBM tenha executado as duas metades.

Conversão de fala em texto, e a ressalva que a IBM escreveu em seu próprio cartão

O caminho de áudio passa a transcrição pelo codificador incorporado e a insere no contexto do chat no lugar da parte de conteúdo de áudio, então um pedido com áudio parece uma conclusão de chat normal com uma input_audio parte. Nenhum segundo servidor de fala, nenhum segundo orçamento de latência.

Os limites vêm todos da própria documentação da IBM, e não de um cético: apenas inglês, saída em minúsculas e sem pontuação, nenhum direcionamento no momento da decodificação e — a que deveria fazer você desacelerar — o codificador de fala e o modelo de linguagem não são treinados em conjunto. Não há nenhuma projeção treinada que os acople. Uma transcrição incorreta pode, portanto, mudar aquilo a que o modelo, ou o adaptador de decisão, responde, e nada no pipeline sinalizará isso. Se você estiver implantando algo em que um erro de transcrição tenha consequências, essa frase é todo o seu modelo de ameaça.

Confirmado, reportado pelo fornecedor, não verificado

• Confirmado a partir do repositório — identidade do modelo base, os ranks de ambos os adaptadores e seus módulos-alvo, os ids dos tokens de controle, a contagem de parâmetros composta e o delta de +3,89%, a janela de 131.072 tokens, o licenciamento Apache-2.0 e a janela de suporte fixada (Transformers 5.16–5.17, vLLM 0.26–0.28, PyTorch 2.11+).

• Relatado pelo fornecedor, não reproduzido — os números do Decision Index, a alegação de que o Granite Speech 5.0 TurboCTC é o modelo de ASR mais rápido no leaderboard do OpenASR, a alegação de que o modelo composto consome aproximadamente a mesma VRAM que o modelo base, a afirmação de que o adaptador Guardian supera vários modelos de decisão fechados nomeados em tarefas relacionadas à segurança, e a observação no post de lançamento de que uma build personalizada do Granite Switch 3B rodava Doom a 60–100 decisões por segundo, contra 10 por segundo relatadas. A IBM diz que mais dados virão "nas próximas semanas", o que é uma admissão de que as evidências de hoje são escassas.

• Ninguém verificou — todo o resto. Nenhuma avaliação de terceiros, nenhuma entrada em ranking, nenhuma medição independente de latência ou throughput, nenhum endpoint IBM hospedado. O repositório mostra um punhado de curtidas e, no momento em que escrevo, efetivamente nenhum download. Dois dias de idade e em grande parte não lido.

Onde isto se encaixa em uma pilha

Granite Switch 4.1 30B é uma história de auto-hospedagem. A ficha lista Hugging Face Transformers e vLLM, fixa uma janela estreita de versões, e o checkpoint roda nos dois sem conversão. Não há endpoint gerenciado, então o primeiro passo prático é uma GPU e um contêiner.

Sendo honesto quanto ao resto: nenhum modelo Granite está no catálogo do OrcaRouter hoje, então, se você quer este checkpoint, o caminho é o lançamento da IBM e o seu próprio hardware. O que a plataforma oferece é a decisão em torno disso — mais de 200 modelos atrás de uma única chave, com failover automático, preço de lista do provedor repassado com 0% de margem — o que importa mais exatamente nesta situação. Um checkpoint de dois dias, sem avaliação independente, é um candidato, não um incumbente, e a coisa mais barata a fazer com um candidato é mantê-lo ao lado do modelo que já está em produção e comparar com o seu próprio tráfego, em vez de reformular um caminho de produção em torno dele.

A questão em aberto

A aposta por trás do Granite Switch é que a composição supera a escala para uma classe específica de trabalho — aplicações que respondem, decidem e transcrevem, onde três modelos significam três implantações, três latências e três faturas. Compartilhar um único KV cache entre adaptadores e pagar 3,89% por isso é um trabalho de engenharia genuinamente incomum, e é a parte deste lançamento que ainda importará daqui a um ano.

O que não está resolvido é se a resposta composta é boa. O perfil publicado do adaptador de decisão é irregular, o caminho de fala é apenas em inglês e não foi treinado em conjunto, e o modelo tem dois dias de vida, sem nenhuma execução independente por trás dele. Leia o manifesto de build, monte seu próprio subconjunto e avalie o adaptador de decisão em comparação com seu próprio conjunto de rótulos antes de confiar no 50.1 de qualquer pessoa.