Granite Switch 4.1 8B vs LFM2.5 2.6B Base: Is er hier een echte keuze?

Dit is het paar in de set dat het minst op een eerlijk gevecht lijkt, dus laten we dat onmiddellijk aanpakken in plaats van te doen alsof het anders is. Granite Switch 4.1 8B is een samengesteld checkpoint met 8,78 miljard parameters dat IBM op 14 oktober 2026 publiceerde: een bevroren Granite 4.1 8B met twee schakelbare adapters en een spraakencoder, die chat, beslissingsscoring en transcriptie vanaf één eindpunt verzorgt. LFM2.5 2.6B Base is een vooraf getraind tekstmodel met 2,69 miljard parameters dat Liquid AI op 1 augustus 2026 publiceerde, speciaal gebouwd voor implementatie op het apparaat zelf — en, belangrijker nog, de eigen modelkaart zegt dat het een basis-checkpoint is dat "alleen wordt aanbevolen voor taken die zware fine-tuning vereisen." Ze met elkaar vergelijken alsof de een de ander kan vervangen, is een categoriefout. Ze met elkaar vergelijken vertelt je iets nuttigers: waar de grens van elk daadwerkelijk ligt, en waarom bijna niemand tussen deze twee zal kiezen.

Dit is dus geen bake-off. Het is een kaart van de beslissing die je in werkelijkheid zou nemen — de beslissing waarbij je een edge-target en een server-target hebt, en je probeert uit te zoeken welk model waar komt.

Waarvoor elk dient

LFM2.5 2.6B Base is een hybride architectuur, en het hybride aspect is juist het punt. Dertig lagen, waarvan 22 dubbelgegate korte-convolutieblokken en 8 grouped-query attention — dus het grootste deel van de stack is convolutie in plaats van attention, wat de geheugenvoetafdruk en de kosten per token op kleine hardware laag houdt. Verborgen grootte 2.048, 32 query-heads tegenover 8 KV-heads, een context van 131.072 tokens, een vocabulaire van 128.000 tokens, en een pre-trainingsbudget van 34 biljoen tokens. Zestien talen worden vermeld: Engels, Arabisch, Chinees, Frans, Duits, Italiaans, Japans, Koreaans, Portugees, Spaans, Vietnamees, Thais, Indonesisch, Hindi, Russisch en Pools. Liquid beschrijft de familie als gebouwd voor implementatie op het apparaat zelf en levert het zustermodel in instruct-vorm in GGUF-, ONNX- en MLX-indelingen naast het native checkpoint.

Granite Switch 4.1 8B is het tegenovergestelde instinct toegepast op het tegenovergestelde probleem. In plaats van het model te verkleinen, behoudt het een tamelijk grote tekst-backbone en voegt het capaciteit zijwaarts toe. De basis is Granite 4.1 8B: 40 lagen, verborgen grootte 4.096, 32 query-heads tegenover 8 KV-heads, een venster van 131.072 tokens, een vocabulaire van 100.352 tokens. Daarbovenop zitten guardian-core, een rank-16 geactiveerde-LoRA-adapter over de attention-projecties die schade, jailbreaking, godslastering, geweld, seksuele inhoud, sociale vooringenomenheid en onethisch gedrag detecteert; decision, een rank-64-adapter over alle zeven projecties die in één forward pass een gekalibreerde softmax over gelabelde optietokens retourneert; en Granite Speech 5.0 TurboCTC, een niet-autoregressieve conformer-encoder met 470M parameters voor transcriptie. Het samengestelde totaal is 8.776.400.896 parameters tegenover een basis van 8.380.551.168 — een toename van 4,72%.

De dimensie die de doorslag geeft: instruct versus base

Het grootste verschil tussen deze twee checkpoints is niet de omvang of de architectuur. Het is dat de ene een afgerond model is en de andere ruw materiaal.

Granite Switch 4.1 8B wordt geleverd klaar om aan te roepen. De adapters zijn erin verwerkt, de controletokens zijn via het chatsjabloon aangesloten, de aanroeprecepten voor de beslissingsadapter zijn gedocumenteerd met werkende code, en de kaart vermeldt de exacte versies van Transformers en vLLM die het nodig heeft. Je downloadt het, draait het, en het doet de drie taken.

LFM2.5 2.6B Base doet niets van dat alles, per ontwerp. Liquid's eigen richtlijn is dat dit checkpoint bedoeld is voor "taalspecifieke (bijv. Japanse) of domeinspecifieke (bijv. medische) assistenten, training op propriëtaire data, of experimenteren met nieuwe post-trainingsbenaderingen" — en als je een model wilt dat direct uit de doos vragen beantwoordt, verwijst de kaart naar het post-getrainde zusje. Een base-checkpoint heeft geen instructievolgend gedrag om te vergelijken, geen alignment en geen chat-templatediscipline. Zet je de twee in dezelfde eval, dan zal het Granite-model er dramatisch beter uitzien om een reden die niets te maken heeft met welk model het betere is: het ene is post-getraind en het andere niet.

• Parameters — 8,78 mld. samengesteld vs. 2,69 mld.

• Lagen — 40 dense transformerblokken vs 30 hybride (22 dubbel-gated short-convolutie + 8 GQA).

• Context — 131.072 tokens vs 131.072 tokens. Volledig gelijk, wat ongewoon is en het vermelden waard.

• Vocabulaire — 100.355 (drie gereserveerde id's voor de adapters) vs 128.000.

• Modaliteiten — tekst en audio als invoer, tekst als uitvoer versus alleen tekst.

• Type checkpoint — samengesteld, nagetraind, klaar om aan te roepen versus een vooraf getrainde basis voor fine-tuning.

• Licentie — Apache-2.0 versus de LFM 1.0-licentie, die geen Apache-licentie is. Dat onderscheid is commercieel van belang en het is makkelijk te missen.

• Gepubliceerd bewijs — één door de leverancier uitgevoerde Decision Index van 42,9 in totaal, geen onafhankelijke evaluatie, tegenover geen vergelijkbare publieke benchmark voor het basischeckpoint.

Wat 2,69 miljard je oplevert, kan 8,78 miljard niet

Draagbaarheid, en dat is geen gering voordeel. Een model van 2,69B waarvan 22 van de 30 lagen zijn opgebouwd uit korte convoluties, is ontworpen om op een apparaat te leven — een laptop, een SoC uit de telefoonklasse, een embedded box — en Liquid levert gekwantiseerde GGUF-, ONNX- en MLX-varianten precies daarvoor. Een samengesteld checkpoint van 8,78B met een spraakencoder van 470M is een server-side artefact. Het draait op een GPU, in een container, achter een endpoint.

Dat betekent dat de deploymentvormen elkaar niet overlappen: de ene is voor het geval waarin het verzoek het apparaat niet kan verlaten, de andere voor het geval waarin dat wel kan. Als de beperking "geen netwerk" is, is de vergelijking al voorbij voordat ze begint, en geen enkele compositie verandert daar iets aan. Zet daar het licentiepunt nog bovenop — LFM 1.0 in plaats van Apache-2.0 — en het 2,6B-checkpoint is wat je zou kiezen wanneer je van plan bent je eigen model op je eigen data te fine-tunen en het in een product uit te brengen, terwijl Granite Switch de keuze is wanneer je vandaag drie capaciteiten onder een permissieve licentie wilt.

Wat levert compositie je op dat 2.69B niet kan?

Drie taken vanaf één endpoint, en een waarschijnlijkheid in plaats van een antwoord.

De beslissingsadapter is het onderdeel zonder equivalent aan de andere kant. Gegeven een toestand en een vraag met gelabelde opties, retourneert hij in één forward pass een gekalibreerde softmax over die labels — de gedocumenteerde aanroep vraagt vLLM om de logprobs van precies de label-token-id's via logprob_token_ids en exponentieert ze, wat uitvoer oplevert in de vorm A: 0.982, B: 0.0035, C: 0.014. Prompts geven je een token; dit geeft je een getal waarop je een drempel kunt toepassen, en dat je kunt middelen en loggen. Er is ook een gedocumenteerde eigenaardigheid die het weten waard is voordat je erop voortbouwt: vLLM beperkt logprob_token_ids tot 128 id's per aanvraag, dus een vraag met meer dan 128 opties vereist dat de label-id's in groepen van 128 worden opgedeeld, één aanvraag met identieke prompt per groep, waarbij de resultaten worden samengevoegd en één enkele softmax wordt toegepast over de volledige labelset. Omdat de geretourneerde logprobs het volledige vocabulaire bestrijken, is de waarde van elk label onafhankelijk van welke groep erom vroeg, dus het opgedeelde resultaat is wiskundig identiek aan een aanroep zonder limiet.

Spraak op hetzelfde endpoint is de tweede. Stuur een input_audio content-deel mee in een gewone chat completion en de 470M-encoder transcribeert het voordat de transcriptie in de context wordt ingevoegd. IBM's kanttekeningen zijn specifiek en het is de moeite waard ze te herhalen: alleen Engels, uitvoer in kleine letters en zonder interpunctie, en de encoder en het taalmodel zijn niet gezamenlijk getraind — er is geen getrainde projectie die hen koppelt, dus een verkeerde transcriptie kan stilzwijgend veranderen waarop het model reageert. Een edge-model zonder enig audiopad heeft niet zozeer geen probleem, maar een ander probleem.

En de veiligheidsadapter is de derde: een harm- en jailbreak-classifier die op dezelfde checkpoint meelift, geactiveerd door een controletoken dat de chatsjabloon invoegt bij het doorgeven van een adapter_name, in plaats van een tweede model om te implementeren en voor te betalen.

Waar een router past wanneer het antwoord 'beide' is

De realistische versie van deze vergelijking eindigt met beide modellen in hetzelfde product. LFM2.5 2.6B Base, fijn afgestemd, op het apparaat, en verwerkt wat het apparaat niet mag verlaten; Granite Switch 4.1 8B, self-hosted, en verwerkt beslissingen en transcriptie aan de serverzijde. Dat is een tweelaagse architectuur, en de operationele vraag die dat oproept, is wat er gebeurt op de naad — een on-device model dat faalt, een server die verzadigd raakt, een verzoek dat moet terugvallen op iets anders. Geen van beide checkpoints staat vandaag in de OrcaRouter-catalogus, dus wij zijn niet de weg om een van beide te verkrijgen; het punt waarop we relevant worden, is de fallbackketen erachter. Eén API-sleutel dekt meer dan 200 gehoste modellen met automatische failover, met de routing-DSL stel je meerdere modellen samen in één enkele call in plaats van de fan-out met de hand te bouwen, en de lijstprijs van de provider wordt doorgegeven met 0% opslag, zodat een prijsverlaging van een leverancier dezelfde dag live gaat. img src="4.png" alt="Een schermafbeelding van de modellencatalogus van OrcaRouter, met als kop 210 modellen, 16 providers, één API-sleutel, één factuur, met modaliteitsfacetten die 173 tekst-, 12 afbeeldings-, 5 embeddings-, 10 video- en 10 TTS-modellen tonen, een filterzijbalk voor invoermodaliteiten, contextlengte, invoerprijs, status, toegangsniveau, serie en ondersteunde parameters, en een lijst van modelkaarten met de nieuwste eerst, beginnend met OrcaCyber Zero 1.5, OpenAI GPT-6.1 Sol en Anthropic Claude Sonnet 5.5 met hun invoer- en uitvoertarieven per miljoen tokens." /> Dat is de laag die een tweelaags ontwerp overleefbaar maakt in plaats van fragiel, en het is de moeite waard om die op orde te hebben voordat de edge-laag in het veld begint te falen.

Het vonnis, hoe het ook zij.

Kies LFM2.5 2.6B Base als je gaat fine-tunen, als de inferentie op het apparaat moet plaatsvinden, of als een 2,69B-footprint de harde beperking is. Kies Granite Switch 4.1 8B als je een gekalibreerde beslissingsverdeling, een inline veiligheidsclassificator of transcriptie vanaf hetzelfde endpoint als de chat nodig hebt, en als een container met GPU-ondersteuning acceptabel is. De overlap tussen die twee gebruiksscenario's is bijna nul, en daarom is het eerlijke antwoord op "welke wint" dat de vraag verkeerd gesteld is — en daarom is het nuttiger om mee te nemen dat een 2,69B-basischeckpoint en een samengesteld instructmodel van 8,78B geen twee punten op één kwaliteitslijn zijn. Het zijn twee verschillende producten die toevallig aangrenzende parameteraantallen hebben.