Granite Switch 4.1 8B vs LFM2.5 2.6B Base: Finns det ett verkligt val här?

Det här är den parning i uppsättningen som minst av allt ser ut som en rättvis kamp, så låt oss ta itu med det omedelbart i stället för att låtsas något annat.Granite Switch 4.1 8B är en sammansatt checkpoint på 8,78 miljarder parametrar som IBM publicerade den 14 oktober 2026: en fryst Granite 4.1 8B med två växlingsbara adaptrar och en talencoder, som utför chatt, beslutsbedömning och transkribering från en enda slutpunkt.LFM2.5 2.6B Base är en förtränad textmodell på 2,69 miljarder parametrar som Liquid AI publicerade den 1 augusti 2026, byggd specifikt för driftsättning på enheten — och, viktigt nog, dess eget modellkort säger att den är en bascheckpoint ”endast rekommenderad för uppgifter som kräver omfattande finjustering.” Att jämföra dem som om den ena kunde ersätta den andra är ett kategorifel. Att jämföra dem säger dig något mer användbart: var gränsen för var och en faktiskt ligger, och varför nästan ingen kommer att välja mellan dessa två.

Så det här är inte en bake-off. Det är en karta över det beslut du faktiskt skulle fatta – det där du har ett edge-mål och ett servermål, och du försöker lista ut vilken modell som ska vara var.

Vad var och en är till för

LFM2.5 2.6B Base är en hybridarkitektur, och det är hybriden som är poängen. Trettio lager, varav 22 är dubbelgrindade kortkonvolutionsblock och 8 är grouped-query attention – så större delen av stacken är konvolution snarare än attention, vilket är det som håller minnesavtrycket och kostnaden per token nere på små hårdvaror. Dold storlek 2 048, 32 query-huvuden mot 8 KV-huvuden, en kontext på 131 072 tokens, ett ordförråd på 128 000 tokens och en förträningsbudget på 34 biljoner tokens. Sexton språk listas: engelska, arabiska, kinesiska, franska, tyska, italienska, japanska, koreanska, portugisiska, spanska, vietnamesiska, thailändska, indonesiska, hindi, ryska och polska. Liquid beskriver familjen som byggd för driftsättning på enheter och levererar systermodellen instruct i GGUF-, ONNX- och MLX-format tillsammans med den nativa checkpunkten.

Granite Switch 4.1 8B är den motsatta instinkten tillämpad på det motsatta problemet. Istället för att krympa modellen behåller den en ganska stor textryggrad och lägger till kapacitet i sidled. Basen är Granite 4.1 8B: 40 lager, dold storlek 4 096, 32 query-huvuden mot 8 KV-huvuden, ett fönster på 131 072 tokens, ett ordförråd på 100 352 tokens. Ovanpå det sitter guardian-core, en rank-16 aktiverad LoRA-adapter över uppmärksamhetsprojektionerna som upptäcker skada, jailbreaking, svordomar, våld, sexuellt innehåll, social bias och oetiskt beteende; decision, en rank-64 adapter över alla sju projektioner som returnerar en kalibrerad softmax över märkta alternativ-tokens i en enda framåtpassning; och Granite Speech 5.0 TurboCTC, en icke-autoregressiv conformer-kodare med 470M parametrar för transkription. Den sammansatta totalen är 8 776 400 896 parametrar mot en bas på 8 380 551 168 — en ökning med 4,72 %.

Dimensionen som avgör det: instruct kontra base

Den enskilt största skillnaden mellan dessa två checkpoints är inte storlek eller arkitektur. Det är att den ena är en färdig modell och den andra är råmaterial.

Granite Switch 4.1 8B levereras redo att anropas. Adaptrarna är inbyggda, kontrolltoken är kopplade genom chattmallen, anropsrecepten för beslutsadaptern är dokumenterade med fungerande kod, och kortet listar de exakta versionerna av Transformers och vLLM som den vill ha. Du laddar ner den, kör den, och den utför de tre uppgifterna.

LFM2.5 2.6B Base gör inget av detta, med avsikt. Liquids egen vägledning är att denna checkpoint är avsedd för "språkspecifika (t.ex. japanska) eller domänspecifika (t.ex. medicinska) assistenter, träning på proprietära data, eller experiment med nya metoder för efterträning" – och om det du vill ha är en modell som svarar på frågor direkt ur lådan pekar modellkortet i stället på det eftertränade syskonet. En bascheckpoint har inget instruktionsföljande beteende att jämföra, ingen alignment och ingen disciplin för chattmallar. Kör de två på samma utvärdering och Granite-modellen kommer att se dramatiskt bättre ut av en anledning som inte har något att göra med vilken som är den bättre modellen: den ena har eftertränats och den andra inte.

• Parametrar — 8,78B sammansatta mot 2,69B.

• Lager — 40 täta transformerblock mot 30 hybrid (22 dubbelgrindade kortkonvolutioner + 8 GQA).

• Kontext — 131,072 tokens mot 131,072 tokens. Helt jämnt, vilket är ovanligt och värt att notera.

• Ordförråd — 100 355 (tre reserverade id:n för adaptrarna) mot 128 000.

• Modaliteter — text och ljud in, text ut kontra endast text.

• Checkpoint-typ — sammansatt, eftertränad, redo att anropa vs förtränad bas för finjustering.

• Licens — Apache-2.0 kontra LFM 1.0-licensen, som inte är Apache. Den skillnaden har kommersiell betydelse och är lätt att missa.

• Publicerad evidens — ett leverantörsstyrt Decision Index på 42,9 totalt, ingen oberoende utvärdering, jämfört med ingen jämförbar offentlig benchmark för bascheckpointen.

Vad 2,69 miljarder ger dig som 8,78 miljarder inte kan

Portabilitet, och det är ingen mjuk fördel. En 2,69B-modell med 22 av dess 30 lager byggda av korta faltningar är designad för att leva på en enhet – en laptop, ett SoC i telefonklass, en inbäddad box – och Liquid levererar kvantiserade GGUF-, ONNX- och MLX-varianter för just det. En sammansatt checkpoint på 8,78B med en 470M-talsencoder är en artefakt på serversidan. Den körs på en GPU, i en container, bakom en slutpunkt.

Det betyder att driftsättningsformerna inte överlappar: den ena är för fallet där begäran inte kan lämna enheten, den andra är för fallet där den kan. Om begränsningen är "inget nätverk" är jämförelsen över innan den börjar, och ingen mängd sammansättning ändrar det. Lägg till licenspunkten ovanpå — LFM 1.0 i stället för Apache-2.0 — och 2.6B-checkpointen är den du skulle välja när du tänker finjustera din egen modell på dina egna data och leverera den i en produkt, medan Granite Switch är den du väljer när du vill ha tre förmågor idag under en tillåtande licens.

Vad kan komposition ge dig som 2,69B inte kan?

Tre jobb från en och samma slutpunkt, och en sannolikhet i stället för ett svar.

Beslutsadaptern är den del som inte har någon motsvarighet på andra sidan. Givet ett tillstånd och en fråga med märkta alternativ returnerar den en kalibrerad softmax över dessa etiketter i en framåtpassning – det dokumenterade anropet ber vLLM om logprobs för exakt etikett-token-id:na via logprob_token_ids och exponentierar dem, vilket ger utdata av formen A: 0,982, B: 0,0035, C: 0,014. Prompter ger dig en token; detta ger dig ett tal som du kan sätta ett tröskelvärde på, medelvärdesberäkna och logaritmera. Det finns också en dokumenterad hake värd att känna till innan du bygger vidare på det: vLLM begränsar logprob_token_ids till 128 id:n per begäran, så en fråga med fler än 128 alternativ behöver sina etikett-id:n delas upp i grupper om 128, en begäran med identisk prompt per grupp, där resultaten sammanfogas och en enda softmax tillämpas över hela etikettuppsättningen. Eftersom de returnerade logprobsen omfattar hela vokabulären är varje etiketts värde oberoende av vilken grupp som begärde det, så det uppdelade resultatet är matematiskt identiskt med ett anrop utan begränsning.

Tal på samma slutpunkt är det andra. Skicka en input_audio-innehållsdel i en vanlig chattkomplettering och 470M-kodaren transkriberar den innan den fogar in transkriptionen i kontexten. IBMs förbehåll är specifika och värda att upprepa: endast engelska, utdata i gemener och utan skiljetecken, och kodaren och språkmodellen är inte tränade gemensamt – det finns ingen tränad projektion som kopplar dem, så en felaktig transkription kan i tysthet ändra vad modellen svarar på. En edge-modell helt utan ljudväg har ett annat problem snarare än inget problem.

Och säkerhetsadaptern är den tredje: en klassificerare för skadligt innehåll och jailbreak som åker på samma checkpoint, aktiverad av en kontrolltoken som chattmallen infogar när du skickar in ett adapter_name, i stället för en andra modell att distribuera och betala för.

Var en router passar in när svaret är 'båda'

Den realistiska versionen av den här jämförelsen slutar med att båda modellerna hamnar i samma produkt. LFM2.5 2.6B Base, finjusterad, på enheten, som hanterar det som inte får lämna den; Granite Switch 4.1 8B, självhostad, som hanterar beslut och transkribering på serversidan. Det är en tvåskiktsarkitektur, och den operativa frågan den väcker är vad som händer i skarven — en enhetsmodell som fallerar, en server som är mättad, en förfrågan som behöver falla vidare till något annat. Ingen av checkpointsarna finns i OrcaRouters katalog i dag, så vi är inte vägen till någon av dem; punkten där vi blir relevanta är reservkedjan bakom dem. En API-nyckel täcker över 200 hostade modeller med automatisk failover, routnings-DSL:en låter dig komponera flera modeller till ett enda anrop i stället för att handrulla utspridningen, och leverantörens listpris förs vidare med 0 % påslag så att en leverantörs prissänkning gäller samma dag. img src="4.png" alt="En skärmbild av OrcaRouters modellkatalog med rubriken 210 modeller, 16 leverantörer, en API-nyckel, en faktura, och modalitetsfasetter som visar 173 text-, 12 bild-, 5 embedding-, 10 video- och 10 TTS-modeller, en filtersidopanel för indatamodaliteter, kontextlängd, indatapris, status, åtkomstnivå, serie och parametrar som stöds, samt en lista med modellkort i ordningen nyast först som börjar med OrcaCyber Zero 1.5, OpenAI GPT-6.1 Sol och Anthropic Claude Sonnet 5.5 med deras priser per miljon tokens för indata och utdata." /> Det är skiktet som gör en tvåskiktsdesign överlevnadsduglig i stället för skör, och det är värt att ha på plats innan edge-skiktet börjar fallera ute i fält.

Domen, sådan den nu är.

Välj LFM2.5 2.6B Base om du ska finjustera, om inferensen måste ske på enheten, eller om ett fotavtryck på 2,69B är den hårda begränsningen. Välj Granite Switch 4.1 8B om du behöver en kalibrerad beslutsfördelning, en infogad säkerhetsklassificerare, eller transkribering från samma slutpunkt som chatten, och om en GPU-stödd container är acceptabel. Överlappningen mellan dessa två användningsfall är nästan noll, vilket är varför det ärliga svaret på "vilken som vinner" är att frågan är felaktigt ställd — och varför det mer användbara att ta med sig är att en bascheckpoint på 2,69B och en sammansatt instruktionsmodell på 8,78B inte är två punkter på en och samma kvalitetslinje. De är två olika produkter som råkar ha närliggande parameterantal.