Granite Switch 4.1 8B: En 8B-checkpoint som chattar, beslutar och transkriberar

Åtta miljarder trehundraåttio miljoner parametrar går in. Åtta miljarder sjuhundrasjuttiosex miljoner kommer ut. De 4,72 % är hela skillnaden mellan IBM:s basmodell och Granite Switch 4.1 8B, och det är det mest intressanta talet i lanseringen, för inpackat i den tunna remsan finns en säkerhetsklassificerare, en beslutsmotor och en taligenkännare – alla svarar från en och samma slutpunkt, alla läser och skriver i samma KV-cache som basmodellen ändå skulle ha byggt upp.

Vikterna landade på Hugging Face den 14 oktober 2026. IBMs egen lanseringsblogg, Granite Switch 4.1: Chatt, beslut och tal från en enda slutpunkt, följde den 15 oktober, vilket är värt att säga rakt ut på en gång: detta är inte ett tyst släpp som någon hittade i en spegel. Det är en aviserad lansering som är ungefär två dagar gammal när detta skrivs, och den version av historien som spelar roll är inte "vad påstod IBM" utan "vad du faktiskt kan verifiera från checkpointen som ligger på Hubben just nu." De två sakerna är inte samma sak, och den här artikeln håller isär dem.

Vad kontrollpunkten faktiskt innehåller

Granite Switch är inte en ny arkitektur. Det är en komposition: en fryst basmodell, en uppsättning lågrankade adaptrar som kan slås på och av per token, och – i just den här byggversionen – en encoder påmonterad för ljud. Kompositören finns i granite-switch-repot och byggmanifestet för denna checkpoint är incheckat bredvid vikterna, vilket innebär att alla strukturella påståenden nedan kan läsas direkt från Hub i stället för att hämtas från ett pressmeddelande.

Basen är Granite 4.1 8B – en tät decoder-only-modell, grouped-query-attention med 32 query-huvuden mot 8 key/value-huvuden, SwiGLU, RMSNorm, ett fönster på 131 072 tokens och en vokabulär på 100 352 tokens. Den sammansatta checkpointen ärver allt detta och lägger till två aktiverade LoRA-adaptrar:

• guardian-core — rang 16, alfa 64, kopplad endast till attention-projektionerna (k_proj, o_proj, q_proj, v_proj), hämtad från Guardian Library-utgåvan och beskrivs som att upptäcka skada, jailbreaking, svordomar, våld, sexuellt innehåll, social bias och oetiskt beteende.

• beslut — rank 64, alpha 128, fäst vid alla sju projektioner, inklusive MLP:n (down_proj, gate_proj, up_proj), och tränad att göra något snävare och underligare: givet ett tillstånd och en fråga med märkta alternativ, returnera en kalibrerad sannolikhetsfördelning över dessa alternativetiketter i en enda framåtpassning.

Båda aktiveras av kontrolltoken – <|guardian-core|> och <|decision|> – som chattmallen infogar åt dig när du skickar ett adapter_name-argument. Du skriver inte token själv, och den detaljen är viktigare än den verkar: det betyder att val av adapter är en parameter i begäran, inte en andra modell att driftsätta.

Varför är parameterdelta så litet?

Aritmetiken är berättelsen. Basmodellen har 8 380 551 168 parametrar. Den sammansatta modellen har 8 776 400 896. Det är +395,8 miljoner, eller +4,72 %, för två adaptrar. Anledningen till att siffran hålls så låg är ett designbeslut som kallas KV-cache-normalisering: varje adapter ser basmodellens nyckel-/värdcache i stället för att hålla en egen. I en konventionell uppsättning med flera adaptrar är varje ytterligare adapter en andra uppsättning attention-tillstånd, och minnesnotan växer med antalet adaptrar du växlar mellan. Här gör den inte det. IBMs påstående i lanseringsinlägget är att den sammansatta modellen tar "ungefär lika mycket VRAM på en GPU som basmodellen skulle göra på egen hand", och även om ingen utanför IBM har mätt det ännu, är viktdeltat på 4,72 % förenligt med det – och till skillnad från VRAM-påståendet är viktdeltat bara en siffra i ett manifest som du kan läsa.

Beslutsadaptern är den intressanta halvan

Att läsa ut en sannolikhetsfördelning ur en språkmodell är inte nytt; att göra det i en enda framåtpassning med ett fast vokabulär av alternativetiketter, och få tal som är tillräckligt kalibrerade för att agera på, är den del som är värd att förstå. Anropningsreceptet dokumenteras i kortet: en fast systemprompt för beslutsmodorn, en State: tur utvärderad på den frysta basen, sedan en ### DECISION tur som presenterar frågan och alternativ märkta med en enda token. Du ber sedan servern om logprobs för exakt dessa etikett-token-id:n — vLLM exponerar detta genom logprob_token_ids — och exponentierar. Det dokumenterade exemplet returnerar ungefär A: 0.982, B: 0.0035, C: 0.014.

Det finns en verklig teknisk hake här som marknadsföringsversionen av den här utgåvan hoppar över. vLLM begränsar logprob_token_ids till 128 id per begäran. Om din beslutsfråga har fler än 128 alternativ får du en HTTP 400, och lösningen är att dela upp etikett-id:na i chunkar om 128, skicka en begäran per chunk med en identisk prompt och sammanfoga — eftersom de returnerade logprobsen täcker hela ordförrådet är varje etiketts värde oberoende av vilken chunk som frågade efter det, så en enda softmax över hela etikettuppsättningen är matematiskt identisk med ett anrop utan tak. Det är en extra begäran per 128 alternativ. Det är en genuint användbar detalj, och det är precis den typen av sak som bara finns i repot.

Det enda publicerade numret som är kopplat till denna adapter är Decision Index (JEV), utgåva v0.3, offentlig snabb delmängd på 1 068 rader: Totalt 42,9, Kunskap 29,1, Språk 48,9, Hämtning 49,8, Verktyg 59,8, Konst 18,0. Betrakta det som leverantörsrapporterat, för det är det: IBM körde det, publicerade det, och ingen tredje part har reproducerat det. Det är också värt att läsa formen snarare än rubriken – 59,8 på Verktyg bredvid 18,0 på Konst är en mycket ojämn profil, och kortet självt varnar för att alternativsannolikheterna är ”en prior som ska ligga till grund för ett beslut, inte en certifierad klassificering” på domäner som adaptern inte har tränats för.

Tal-till-text är verkligt, och snävare än rubriken

Ljudvägen bäddar in Granite Speech 5.0 TurboCTC, en icke-autoregressiv conformer-CTC-kodare med 470 miljoner parametrar, och transkriberar inkommande ljud innan transkriptionen fogas in i chattkontexten i stället för ljudinnehållsdelen. Att anropa den ändrar inte begärans form: den är en input_audio-innehållsdel i en vanlig chattkomplettering, och transkriberingen körs på samma slutpunkt som chatt och beslut, så det finns ingen andra talserver att sätta upp.

Förbehållen, alla från IBM:s eget modellkort snarare än från en kritiker: kodaren hanterar bara engelska, dess utdata är i gemener och utan skiljetecken, det finns ingen styrning vid avkodning, och — den som borde få dig att stanna upp — talkodaren och LLM:en är inte tränade tillsammans. Det finns ingen tränad projektion som kopplar dem samman. En feltranskription kan därför i tysthet ändra vad modellen, eller en adapter, reagerar på. Om du bygger något där ett transkriptionsfel får konsekvenser, är den meningen hela säkerhetsgranskningen.

Vad är bekräftat, vad är leverantörsrapporterat, vad ingen har kontrollerat

• Bekräftat från repot — basmodellens identitet och antal lager, de två adapter-rangerna och deras målmoduler, kontrolltoken-ID:n, det sammansatta parameterantalet, fönstret på 131 072 token, Apache-2.0-licensiering och de dokumenterade vLLM- och Transformers-versionerna som kortet efterfrågar.

• Leverantörsrapporterat, ej reproducerat — poängen i Decision Index, påståendet att Granite Speech 5.0 TurboCTC är den snabbaste ASR-modellen på OpenASR-topplistan, påståendet om "samma VRAM som basmodellen", och sidokommentaren i lanseringsinlägget att en anpassad 3B Granite Switch-modell spelar Doom med 60–100 beslut per sekund jämfört med rapporterade 10 per sekund för en sluten beslutsmodell. IBM säger att de kommer att publicera mer data "under de kommande veckorna", vilket är ett erkännande av att de nuvarande bevisen är tunna.

• Ingen har kontrollerat — allt annat. Det finns ingen oberoende utvärdering, ingen tredjepartspost på en resultattavla, inget hostat API från IBM och ingen publicerad mätning av latens eller genomströmning från någon som inte är IBM. Hub-repot visar några dussin nedladdningar och en handfull gillningar: den här modellen är två dagar gammal och till stora delar oläst.

Vad det kostar att driva, och var OrcaRouter passar in

Granite Switch 4.1 8B är just nu en historia om egen drift. Kortet listar HuggingFace Transformers och vLLM som backends, låser ett ganska snävt supportfönster (Transformers 5.16–5.17, vLLM 0.26–0.28), och checkpointen fungerar med båda utan kodändringar. Det finns ingen hanterad slutpunkt att peka mot, vilket för de flesta team innebär en GPU och en container före den första förfrågan.

Ärligt talat om resten: Granite Switch finns inte i OrcaRouters katalog i dag, och inte heller någon annan Granite-modell – så om du vill ha den här checkpointen är vägen via leverantörens egen release och din egen hårdvara, inte oss. Vad OrcaRouter däremot ger dig är beslutet runtomkring.Plattformen dirigerar över 200 modeller bakom en enda nyckel med automatisk failover, och förmedlar leverantörens listpris vidare med 0 % påslag, så när en modell du benchmarkar väl får en hostad endpoint är jämförelsen mot den etablerade modellen på din egen trafik en konfigurationsändring snarare än ett andra avtal. Det spelar störst roll i precis den här situationen: en två dagar gammal checkpoint utan oberoende utvärdering är en kandidat, inte en etablerad modell, och det billiga att göra med en kandidat är att hålla den i en sida-vid-sida-jämförelse i stället för att koppla om en produktionsväg runt den.

Den öppna frågan

Granite Switch 4.1 8B är en satsning på att komposition slår skala för en specifik typ av arbete: applikationer som behöver svara, besluta och transkribera, där tre modeller innebär tre driftsättningar, tre latenser och tre räkningar. Ingenjörsarbetet för att göra den satsningen billig — delad KV-cache, adapterväxling per token, kontrolltoken som löses i chattmallen — är verkligen ovanligt, och det är den del av den här lanseringen som fortfarande kommer att spela roll om ett år.

Det som ännu inte är avgjort är huruvida det sammansatta svaret är bra. Beslutsadapterns publicerade profil är ojämn, talvägen är enbart engelskspråkig och inte gemensamt tränad, och hela saken är två dagar gammal utan någon oberoende körning bakom sig. Läs byggmanifestet, kör kommandot compose själv och benchmarka beslutsadaptern på din egen etikettuppsättning innan du tror på någons 42,9.