Granite Switch 4.1 8B vs LFM2.5 2.6B Base: 여기에 실질적인 선택지가 있을까?

이것은 이 세트에서 가장 공정한 싸움처럼 보이지 않는 조합입니다. 그러니 아닌 척하지 말고 즉시 다루겠습니다. Granite Switch 4.1 8B는 IBM이 2026년 10월 14일에 공개한 87억 8천만 개 매개변수의 구성형 체크포인트입니다. 고정된 Granite 4.1 8B에 두 개의 전환 가능한 어댑터와 음성 인코더를 결합해 하나의 엔드포인트에서 채팅, 의사결정 점수 산정, 전사를 수행합니다. LFM2.5 2.6B Base는 Liquid AI가 2026년 8월 1일에 공개한 26억 9천만 개 매개변수의 사전 학습된 텍스트 모델로, 온디바이스 배포를 위해 특별히 만들어졌습니다. 그리고 중요한 점은, 자체 모델 카드에 따르면 이것이 "상당한 파인튜닝이 필요한 작업에만 권장되는" 베이스 체크포인트라는 것입니다. 둘 중 하나가 다른 하나를 대체할 수 있는 것처럼 비교하는 것은 범주 오류입니다. 둘을 비교하면 더 유용한 정보를 알 수 있습니다: 각각의 경계가 실제로 어디에 있는지, 그리고 왜 거의 아무도 이 둘 중에서 선택하지 않을 것인지.

그러니까 이것은 맞대결이 아니다. 이것은 당신이 실제로 내리게 될 결정의 지도다 — 엣지 타깃과 서버 타깃이 있고, 어떤 모델이 어디로 가야 할지를 알아내려는 바로 그 결정 말이다.

각각의 용도

LFM2.5 2.6B Base는 하이브리드 아키텍처이며, 그 하이브리드가 핵심입니다. 30개 레이어로 구성되는데, 이 중 22개는 이중 게이트가 적용된 짧은 컨볼루션 블록이고 8개는 그룹화된 쿼리 어텐션입니다. 따라서 스택의 대부분이 어텐션이 아니라 컨볼루션이며, 이는 소형 하드웨어에서 메모리 사용량과 토큰당 비용을 낮게 유지해 줍니다. 히든 크기 2,048, 쿼리 헤드 32개 대 KV 헤드 8개, 131,072토큰 컨텍스트, 128,000토큰 어휘, 그리고 34조 토큰의 사전 학습 예산을 갖추고 있습니다. 16개 언어가 나열되어 있습니다: 영어, 아랍어, 중국어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 스페인어, 베트남어, 태국어, 인도네시아어, 힌디어, 러시아어, 폴란드어. Liquid는 이 제품군이 온디바이스 배포를 위해 만들어졌다고 설명하며, 네이티브 체크포인트와 함께 자매 instruct 모델을 GGUF, ONNX, MLX 형식으로 제공합니다.

Granite Switch 4.1 8B는 반대 문제에 적용된 반대 본능이다. 모델을 축소하기보다는, 다소 큰 텍스트 백본을 유지하고 측면으로 역량을 추가한다. 기반은 Granite 4.1 8B다: 40개 레이어, 은닉 크기 4,096, 8개 KV 헤드에 대응하는 32개 쿼리 헤드, 131,072토큰 윈도, 100,352토큰 어휘. 그 위에는 guardian-core, 어텐션 투영에 적용된 rank-16 activated-LoRA 어댑터로 유해성, 탈옥, 욕설, 폭력, 성적 콘텐츠, 사회적 편향 및 비윤리적 행동을 감지한다; decision, 모든 7개 투영에 적용된 rank-64 어댑터로 단일 순전파에서 레이블이 지정된 옵션 토큰에 대한 보정된 소프트맥스를 반환한다; 그리고 전사를 위한 470M 매개변수 비자기회귀 컨포머 인코더인 Granite Speech 5.0 TurboCTC가 있다. 구성된 총계는 8,776,400,896개 매개변수로, 기반의 8,380,551,168개 대비 4.72% 증가했다.

결정을 좌우하는 차원: 인스트럭트 대 베이스

이 두 체크포인트 사이의 가장 큰 차이는 크기나 아키텍처가 아닙니다. 바로 하나는 완성된 모델이고 다른 하나는 원재료라는 점입니다.

Granite Switch 4.1 8B는 바로 호출할 수 있는 상태로 제공됩니다. 어댑터는 내장되어 있고, 제어 토큰은 채팅 템플릿을 통해 연결되어 있으며, 결정 어댑터의 호출 레시피는 작동하는 코드와 함께 문서화되어 있고, 모델 카드에는 원하는 정확한 Transformers 및 vLLM 버전이 나열되어 있습니다. 다운로드해서 실행하면 세 가지 작업을 수행합니다.

LFM2.5 2.6B Base는 설계상 그러한 것들 중 어느 것도 하지 않습니다. Liquid의 자체 지침에 따르면 이 체크포인트는 "언어 특화(예: 일본어) 또는 도메인 특화(예: 의료) 어시스턴트, 독점 데이터로 학습, 또는 새로운 사후 학습 접근법 실험"을 위한 것이며, 별도의 설정 없이 바로 질문에 답하는 모델을 원한다면 모델 카드는 대신 사후 학습된 형제 모델을 가리킵니다. 베이스 체크포인트에는 비교할 만한 지시 수행 동작도, 정렬도, 채팅 템플릿 규율도 없습니다. 두 모델을 같은 평가에 올려놓으면 Granite 모델이 훨씬 더 좋아 보일 텐데, 그 이유는 어느 쪽이 더 나은 모델인지와는 아무 관련이 없습니다. 하나는 사후 학습을 거쳤고 다른 하나는 거치지 않았기 때문입니다.

• 매개변수 — 구성 시 8.78B vs 2.69B.

• 레이어 — 40개의 덴스 트랜스포머 블록 대 30개의 하이브리드(22개의 이중 게이트 단축 컨볼루션 + 8개의 GQA).

• 컨텍스트 — 131,072 토큰 대 131,072 토큰. 완전히 동일한 수치인데, 이는 흔치 않은 일이라 주목할 만합니다.

• 어휘 — 100,355(어댑터용으로 예약된 ID 3개) 대 128,000.

• 모달리티 — 텍스트와 오디오 입력, 텍스트 출력 vs 텍스트만.

• 체크포인트 유형 — 구성 완료, 후속 학습 완료, 바로 호출 가능 vs 파인튜닝을 위한 사전 학습 베이스.

• 라이선스 — Apache-2.0 vs LFM 1.0 라이선스, 이는 Apache가 아닙니다. 이러한 구분은 상업적으로 중요하며 놓치기 쉽습니다.

• 공개된 근거 — 벤더가 자체 실행한 Decision Index 종합 점수 42.9 하나뿐이며, 독립적 평가는 없고, 기본 체크포인트에 대해서는 비교 가능한 공개 벤치마크도 없습니다.

2.69B로 살 수 있지만 8.78B로는 살 수 없는 것

휴대성, 그리고 이건 결코 사소한 장점이 아닙니다. 30개 레이어 중 22개가 짧은 컨볼루션으로 구성된 2.69B 모델은 기기 — 노트북, 스마트폰급 SoC, 임베디드 박스 — 위에서 구동되도록 설계되었으며, Liquid는 바로 그 목적을 위해 양자화된 GGUF, ONNX, MLX 변형을 제공합니다. 470M 음성 인코더를 갖춘 8.78B 합성 체크포인트는 서버 측 산출물입니다. 이는 GPU 위에서, 컨테이너 안에서, 엔드포인트 뒤에서 실행됩니다.

즉, 배포 형태가 겹치지 않습니다. 하나는 요청이 기기를 떠날 수 없는 경우를 위한 것이고, 다른 하나는 떠날 수 있는 경우를 위한 것입니다. 제약이 "네트워크 없음"이라면 비교는 시작하기도 전에 끝난 것이며, 어떤 구성으로도 그것을 바꿀 수 없습니다. 여기에 라이선스라는 점까지 더하면 — Apache-2.0이 아니라 LFM 1.0 — 2.6B 체크포인트는 자신의 데이터로 자체 모델을 파인튜닝해 제품으로 출시하려는 경우 선택하게 될 것이고, Granite Switch는 허용적인 라이선스 아래에서 오늘 세 가지 기능을 원할 때 선택하게 될 것입니다.

2.69B가 못 하는 것을 컴포지션이 당신에게 주는 것

하나의 엔드포인트에서 세 가지 작업, 그리고 답 대신 확률.

결정 어댑터는 반대편에 대응물이 없는 부분이다. 상태와 레이블이 지정된 선택지가 있는 질문이 주어지면, 한 번의 순전파로 해당 레이블들에 대한 보정된 소프트맥스를 반환한다. 문서화된 호출은 vLLM에 정확히 레이블 토큰 id들의 로그프롭을 요청하는데, 그 방법은 logprob_token_ids이며, 이를 지수화하면 A: 0.982, B: 0.0035, C: 0.014 형태의 출력이 나온다. 프롬프트는 토큰 하나를 주지만, 이것은 임계값을 적용하고 평균을 내고 로그를 취할 수 있는 숫자를 준다. 이를 기반으로 무언가를 만들기 전에 알아둘 만한 문서화된 주의점도 하나 있다. vLLM은 logprob_token_ids를 요청당 128개 id로 제한하므로, 선택지가 128개를 넘는 질문은 레이블 id를 128개씩 묶음으로 나누고, 묶음마다 동일한 프롬프트로 요청을 하나씩 보내며, 결과를 이어 붙인 뒤 전체 레이블 집합에 대해 단일 소프트맥스를 적용해야 한다. 반환되는 로그프롭은 전체 어휘에 걸쳐 있기 때문에 각 레이블의 값은 어느 묶음이 요청했는지와 무관하므로, 묶음으로 나눈 결과는 제한 없는 호출과 수학적으로 동일하다.

동일한 엔드포인트에서의 음성은 두 번째입니다. 보내세요: input_audio 콘텐츠 파트를 일반 채팅 완성에서. 그러면 470M 인코더가 이를 전사한 뒤 전사문을 컨텍스트에 이어 붙입니다. IBM의 주의 사항은 구체적이며 반복할 가치가 있습니다: 영어 전용, 소문자이며 구두점이 없는 출력, 그리고 인코더와 언어 모델은 공동으로 훈련되지 않았습니다 — 이들을 연결하는 훈련된 프로젝션이 없으므로, 잘못된 전사가 모델이 반응하는 대상을 조용히 바꿀 수 있습니다. 오디오 경로가 전혀 없는 엣지 모델은 문제가 없는 것이 아니라 다른 문제를 안고 있습니다.

그리고 안전 어댑터는 세 번째입니다: 동일한 체크포인트를 사용하는 유해성 및 탈옥 분류기로서, 사용자가 adapter_name을 전달할 때 채팅 템플릿이 삽입하는 제어 토큰에 의해 활성화되며, 배포하고 비용을 지불해야 하는 두 번째 모델이 아닙니다.

답이 '둘 다'일 때 라우터가 들어맞는 위치

이 비교의 현실적인 버전은 두 모델이 결국 같은 제품 안에 들어가는 것으로 끝난다. LFM2.5 2.6B Base는 파인튜닝되어 온디바이스에서, 자기를 벗어날 수 없는 것들을 처리하고, Granite Switch 4.1 8B는 자체 호스팅으로 서버 측에서 의사 결정과 전사를 처리한다. 그것이 2계층 아키텍처고, 여기서 제기되는 운영상의 질문은 그 이음새에서 무슨 일이 벌어지느냐다 — 실패하는 온디바이스 모델, 포화된 서버, 다른 무언가로 넘겨야 하는 요청. 오늘날 두 체크포인트 모두 OrcaRouter 카탈로그에 없으므로, 우리가 둘 중 하나를 얻는 방법은 아니다. 우리가 관련되는 지점은 그들 뒤의 폴백 체인이다. API 키 하나로 자동 장애 조치가 지원되는 200개 이상의 호스팅 모델을 이용할 수 있고, 라우팅 DSL을 사용하면 팬아웃을 직접 짜는 대신 여러 모델을 하나의 호출로 구성할 수 있으며, 공급자 정가가 0% 마진으로 그대로 전달되므로 벤더 가격 인하가 같은 날 바로 반영된다. img src="4.png" alt="OrcaRouter 모델 카탈로그 스크린샷. 상단에 210 models, 16 providers, one API key, one bill이라는 제목이 있고, 모달리티 패싯에는 173개 텍스트, 12개 이미지, 5개 임베딩, 10개 비디오, 10개 TTS 모델이 표시되어 있으며, 입력 모달리티, 컨텍스트 길이, 입력 가격, 상태, 액세스 등급, 시리즈 및 지원 파라미터를 위한 필터 사이드바가 있고, OrcaCyber Zero 1.5, OpenAI GPT-6.1 Sol, Anthropic Claude Sonnet 5.5를 시작으로 백만 토큰당 입력 및 출력 요금이 적힌 모델 카드 목록이 최신순으로 나열되어 있다." /> 이것이 2계층 설계를 취약하게 만드는 대신 버틸 수 있게 해주는 계층이며, 엣지 계층이 현장에서 실패하기 시작하기 전에 갖춰 두는 것이 좋다.

평결, 그런 것이긴 하지만

LFM2.5 2.6B Base는 파인튜닝을 할 예정이거나, 추론이 디바이스에서 이루어져야 하거나, 2.69B 풋프린트가 하드 제약일 때 선택하세요. Granite Switch 4.1 8B는 보정된 의사결정 분포, 인라인 안전 분류기, 또는 채팅과 동일한 엔드포인트에서의 전사가 필요하고, GPU 기반 컨테이너가 허용된다면 선택하세요. 이 두 사용 사례 사이의 겹침은 거의 0에 가깝습니다. 그래서 "어느 쪽이 이기나"에 대한 정직한 답은 그 질문이 잘못 구성되었다는 것이고, 더 유용하게 가져갈 점은 2.69B 베이스 체크포인트와 8.78B로 구성된 인스트럭트 모델이 하나의 품질 선 위에 있는 두 점이 아니라는 것입니다. 이들은 파라미터 수가 우연히 인접한 서로 다른 두 제품입니다.