Granite Switch 4.1 8B vs Granite 4.2 3B: 같은 연구소, 두 가지 다른 베팅

에 대해 가장 먼저 알아야 할 점은 Granite Switch 4.1 8B와 Granite 4.2 3B이 둘이 사실 경쟁 관계가 아니라는 것이다. 이 둘은 연구소와 라이선스, 버전 번호를 우연히 공유할 뿐 서로 다른 질문에 대한 두 가지 답이며, 이것을 정면 대결로 보고 승자를 고르는 것이 일주일을 낭비하는 가장 빠른 방법이다. IBM은 2026년 8월 25일 Granite 4.2 3B를 소형 추론 모델로 출시했다: 세 가지 사고 모드, 도구 호출, 512K까지 확장되는 128K 컨텍스트를 갖췄다. IBM은 2026년 10월 14일 Granite Switch 4.1 8B를 하나의 조합으로 출시했다: 고정된 8B 텍스트 모델에 전환 가능한 어댑터 두 개와 음성 인코더를 붙여 놓은 형태다. 하나는 더 깊이 생각하도록 만들어졌고, 다른 하나는 하나의 체크포인트에서 더 많은 작업을 해내도록 만들어졌다.

두 번째로 알아야 할 점은 더 미묘하며, 바로 이 조합이 애초에 글 한 편을 쓸 가치가 있는 이유입니다. Granite Switch 라인은 4.1 세대의 가중치를 기반으로 구축되었습니다. 반면 IBM의 기존 라인은 이미 4.2로 넘어갔습니다. Granite Switch 4.1 8B의 빌드 매니페스트를 읽어 보면 베이스는 ibm-granite/granite-4.1-8b. Granite 4.2 3B의 모델 카드를 읽어 보면 다음에서 포스트트레이닝되었습니다: ibm-granite/granite-4.1-3b-base. 두 라인 모두 동일한 세대의 사전 학습된 가중치 위에 서 있으면서, 그것들을 서로 반대되는 방식으로 활용하고 있습니다: 4.2는 추론을 위해 더 강하게 포스트트레이닝하고, Switch는 폭넓음을 위해 옆으로 구성합니다. 어느 쪽도 다른 쪽을 대체하지 않았으며, 그래서 여기서 "어느 쪽이 더 새로운가"라는 반사적 판단은 잘못된 답을 줍니다.

각각이 실제로 무엇인지

Granite 4.2 3B is a dense decoder-only model at roughly 3 billion parameters — 40 layers, hidden size 2,560, SwiGLU with an 8,192 intermediate, grouped-query attention at 40 query heads against 8 KV heads, RoPE theta 1e7, RMSNorm at 1e-5, untied input and output embeddings, and the same 100,352-token vocabulary the Granite family has used for a while. Its distinguishing feature is that reasoning is a mode rather than a model: full thinking with <think>...</think> chain-of-thought, a non-thinking mode that skips it, and a low-effort mode that produces a short burst of reasoning on queries that do not need the full pass. Tool calling is reasoning-augmented, meaning the model reasons about which function to invoke rather than emitting a call pattern directly. Context is 128K natively with a documented extension to 512K.

Granite Switch 4.1 8B는 추론 모델이 아니며, 그렇게 되려고도 하지 않습니다. 그 기반은 Granite 4.1 8B입니다 — 40개 레이어, 은닉 크기 4,096, 8개의 KV 헤드에 대한 32개의 쿼리 헤드, 131,072 토큰 창 — 동결되어 있으며, 그 위에 두 개의 활성화된 LoRA 어댑터가 있습니다. guardian-core는 어텐션 프로젝션에 대해 랭크 16이며, 유해성, 제일브레이킹, 욕설, 폭력, 성적 콘텐츠, 사회적 편향 및 비윤리적 행동을 탐지하기 위해 존재합니다. decision는 모든 7개 프로젝션에 대해 랭크 64이며, 단일 포워드 패스에서 레이블이 지정된 옵션에 대한 보정된 확률 분포를 반환하기 위해 존재합니다. 전사를 위해 470M 파라미터 컨포머 인코더인 Granite Speech 5.0 TurboCTC를 추가합니다. 구성된 총계는 8,776,400,896개 파라미터로, 기본 8,380,551,168개 대비 4.72% 증가입니다.

실제로 차이가 나는 차원들

• 크기 — 8.78B의 Granite Switch 4.1 8B와 약 3B의 Granite 4.2 3B를 비교한 구성입니다. 가중치가 거의 세 배로, 단일 GPU에서는 여유로움과 빠듯함을 가르는 차이입니다.

• 컨텍스트 — 128K 네이티브 대비 131,072 토큰이며, 512K까지 확장 가능한 경로를 제공합니다. 기본 사양에서는 근접하지만, 장문 컨텍스트 체제가 필요하다면 근접하지 않습니다.

• 추론 — 세 모델 모두에 대해 사고 모드가 전혀 없습니다. Granite Switch 4.1 8B는 바로 답변하고, Granite 4.2 3B는 선택적으로 먼저 추론합니다.

• 구조화된 출력 — 프롬프트된 답변에 대비한, 레이블이 지정된 선택지들에 대한 보정된 소프트맥스. 이 중 단 하나만이 임계값을 설정할 수 있는 숫자를 제공합니다.

• 모달리티 — 텍스트에 오디오를 더한 입력, 텍스트 출력, 텍스트 전용 대비.

• 어댑터 구성 — 전환 가능한 두 개의 aLoRA와 단일 모놀리식 체크포인트에 맞선 공개 컴포저.

• 릴리스 — 2026년 10월 14일 vs 2026년 8월 25일, 7주 간격, 둘 다 Apache-2.0.

Granite 4.2 3B가 확실한 선택인 경우

답변하기 전에 생각해야 하는 모든 것, 그리고 작게 실행되어야 하는 모든 것. 통제된 토큰 수 안에서 추론하는 3B 모델은 전혀 추론하지 않는 8B 모델과는 다른 도구이며, 수학, 여러 단계의 논리, 코드에서는 사고 모드가 출력을 장식하는 것이 아니라 실제로 일을 해내고 있다. 저노력 모드가 과소평가된 부분이다. 그것은 "완전히 추론하기"와 "추론하지 않기" 사이의 중간 설정을 제공하는데, 이는 쿼리가 단순하지만 사소하지는 않고 토큰당 비용을 지불할 때 정확히 원하는 것이다.

512K 확장은 같은 이유로, 다만 다른 방향에서 중요합니다. 장문 문서 작업 — 저장소 규모의 코드, 수백 페이지 분량의 입력 — 은 131K 창이 청킹 전략을 필요로 하기 시작하는 영역인데, Granite Switch 4.1 8B는 131,072를 넘어서는 확장 경로를 문서화하지 않습니다.

풋프린트는 세 번째 논거이며, 결코 사소한 논거가 아니다. 30억 파라미터는 노트북급 모델이다. 8.78B 체크포인트가 아예 선택지가 아닌 곳에서도 Granite 4.2 3B를 실행할 수 있으며, 이는 선호의 차이가 아니라 역량의 차이다.

Granite Switch 4.1 8B가 확실한 선택인 경우

필요한 출력이 문단이 아니라 확률일 때. 추론 모델에게 옵션 B를 고르라고 프롬프트하면 그 글자를 내놓습니다. 하지만 프롬프트는 확률이 아닙니다: 글자에 임계값을 적용할 수 없고, 글자를 여러 턴에 걸쳐 보정된 점수로 비교할 수 없으며, 신뢰도 값으로 기록할 수도 없습니다. 결정 어댑터는 레이블 토큰에 대한 소프트맥스를 직접 반환합니다. 문서화된 호출은 vLLM에 정확히 그 id들의 로그프롭스를 요청하고 지수화하여 A: 0.982, B: 0.0035, C: 0.014 형태의 출력을 생성합니다. 이것은 답이 아니라 라우팅 프리미티브입니다.

안전 검사가 정책이 아니라 컴포넌트여야 할 때. guardian-core는 동일한 체크포인트를 사용하며, adapter_name을 전달할 때 채팅 템플릿이 삽입하는 제어 토큰에 의해 활성화됩니다. 입력을 심사하기 위해 두 번째 모델을 세우는 것이 아닙니다. 분류기는 이미 로드한 모델의 한 가지 모드입니다.

두 개가 아니라 하나의 엔드포인트를 원할 때, 특히 그 둘 중 하나가 오디오일 때 유용합니다. 전사는 채팅 및 결정 기능과 엔드포인트를 공유하므로input_audio 콘텐츠 파트를 일반적인 채팅 완성에 포함하기만 하면 됩니다. Granite 4.2 3B에는 오디오 경로가 없습니다.

그리고 자신만의 변형을 구성하고 싶을 때. 컴포저는 공개되어 있고, 어댑터 카탈로그는 열려 있으며, 이 체크포인트의 빌드 매니페스트는 가중치 옆에 체크인되어 있습니다 — 즉 랭크, 대상 모듈, 제어 토큰 ID를 모두 유추할 필요 없이 읽을 수 있다는 뜻입니다.

양측의 솔직한 유의사항

Granite Switch 4.1 8B에는 독립적인 평가가 전혀 없습니다. 이 모델의 유일하게 공개된 점수는 Decision Index, edition v0.3 public fast subset의 종합 42.9입니다 — 지식 29.1, 언어 48.9, 검색 49.8, 도구 59.8, 예술 18.0 — 그리고 그 실행은 IBM 자체의 것이었고, IBM의 모델 카드에 공개되었으며, 아무도 재현하지 않았습니다. 제3자 리더보드 등재 기록은 없습니다. 이 모델은 Hub에 올라온 지 이틀밖에 되지 않았고 다운로드 수는 수십 건에 불과합니다.

그것의 음성 경로는 헤드라인이 시사하는 것보다 좁으며, IBM도 스스로 인정합니다: 인코더는 영어 전용이고, 전사 결과는 소문자에 구두점이 없으며, 인코더와 언어 모델은 공동으로 학습되지 않았습니다 — 이 둘을 연결하는 학습된 프로젝션이 없기 때문에, 잘못된 전사가 모델이 반응하는 내용을 조용히 바꿔놓을 수 있습니다. 한편 Granite 4.2 3B는 이틀이 아니라 칠 주 된 모델이지만, 그 평가 수치 역시 IBM의 것이며, 512K 컨텍스트는 네이티브 윈도우가 아니라 확장 경로입니다.

이 두 모델 중 어느 것도 독립적인 스코어보드 항목을 가지고 있지 않습니다. 이는 현재 Granite 4.x 라인 전체의 특성이며, 두 체크포인트 중 어느 것에 대한 비판도 아닙니다.

두 스택을 실행하지 않고 둘 다 실행하기

이 조합에 관한 유용한 관찰은 두 모델이 같은 요청을 두고 경쟁하지 않는다는 점입니다. 따라서 현실적인 배포는 둘 모두를 순차적으로 사용하는 것입니다. 어려운 부분이 추론일 때는 Granite 4.2 3B를 사고 모드로, 어려운 부분이 결정에 점수를 매기거나 음성 메모를 받아쓰는 것일 때는 Granite Switch 4.1 8B를 사용합니다. 이는 2개 컨테이너 아키텍처입니다. 그리고 라우팅 계층이 어디에 도움이 되고 어디에 도움이 되지 않는지는 정확히 짚을 가치가 있습니다. 오늘날 OrcaRouter 카탈로그에는 어떤 세대의 Granite 모델도 없으므로, 우리는 이 두 체크포인트 중 어느 쪽으로도 호스팅된 경로가 아닙니다 — Granite Switch 4.1 8B와 Granite 4.2 3B는 모두 Hugging Face 다운로드에 vLLM 컨테이너를 더한 것입니다. 플랫폼이 바꾸는 것은 그 위의 계층입니다. 200개가 넘는 모델이 하나의 키 뒤에 있습니다. 제공업체 정가는 0% 마크업으로 그대로 전달되며 따라서 벤더 가격 인하는 다음 카탈로그 갱신 때가 아니라 같은 날 바로 적용됩니다. 그리고 자동 페일오버 덕분에 단지 시험해 보는 모델도 단일 장애점이 되지 않고 라이브 경로에 놓일 수 있습니다. 두 Granite 중 어느 하나가 호스팅 엔드포인트에 등장하기 전에 이를 미리 갖춰 두는 이유는, 그러면 비교하는 데 마이그레이션 한 번이 아니라 모델 문자열 하나만 들기 때문입니다.

그래서 어느

워크로드가 추론이고, 머신이 작거나, 입력이 131K 토큰보다 길 때는 Granite 4.2 3B를 고르세요. 워크로드에 보정된 결정 확률, 인라인 안전 스크린, 또는 채팅과 동일한 엔드포인트에서의 음성이 필요할 때는 Granite Switch 4.1 8B를 고르세요. GPU가 있다면 둘 다 고르세요. 두 모델 사이의 겹치는 부분은 공통된 "Granite 4.x" 라벨이 보이게 하는 것보다 훨씬 작기 때문입니다. 그리고 IBM이 IBM의 카드에서 실행한 벤치마크 수치를 근거로 어느 쪽도 고르지 마세요. 그것이 두 모델 모두에 대한 공개 증거 기반의 전부이기 때문입니다.