Granite Switch 4.1 8B: 대화하고, 결정하고, 전사하는 단일 8B 체크포인트

83억 8천만 개의 파라미터가 들어갑니다. 87억 7천6백만 개가 나옵니다. 그 4.72%가 IBM의 기본 모델과 Granite Switch 4.1 8B 사이의 차이 전부이며, 이번 릴리스에서 가장 흥미로운 숫자입니다. 왜냐하면 그 작은 조각 안에는 안전 분류기, 의사 결정 엔진, 음성 인식기가 모두 들어 있는데, 이들은 모두 하나의 엔드포인트에서 응답하며, 모두 기본 모델이 어차피 구축했을 동일한 KV 캐시를 읽고 쓰기 때문입니다.

가중치는 2026년 10월 14일 Hugging Face에 공개되었습니다. IBM 자체 출시 블로그인 Granite Switch 4.1: 하나의 엔드포인트에서 제공하는 채팅, 의사 결정, 음성는 10월 15일에 이어졌습니다. 이 점은 처음에 분명히 말해 둘 가치가 있습니다: 이것은 누군가가 미러에서 발견한 조용한 공개가 아닙니다. 이것은 발표된 릴리스이며, 이 글을 쓰는 시점에 약 이틀 된 것입니다. 그리고 중요한 이야기는 "IBM이 무엇을 주장했는가"가 아니라 "지금 Hub에 놓여 있는 체크포인트에서 실제로 무엇을 검증할 수 있는가"입니다. 이 두 가지는 같지 않으며, 이 글은 이 둘을 구분합니다.

체크포인트에 실제로 포함된 내용

Granite Switch는 새로운 아키텍처가 아닙니다. 그것은 하나의 구성입니다: 고정된 기본 모델, 토큰별로 켜고 끌 수 있는 저랭크 어댑터 세트, 그리고 — 이 특정 빌드에서는 — 오디오를 위해 덧붙인 인코더입니다. 컴포저는 granite-switch 리포지토리에 있으며, 이 체크포인트의 빌드 매니페스트는 가중치 옆에 체크인되어 있어, 아래의 모든 구조적 주장이 보도자료에서 가져온 것이 아니라 Hub에서 바로 읽을 수 있습니다.

베이스는 Granite 4.1 8B입니다 — 밀집 디코더 전용, 32개의 쿼리 헤드 대 8개의 키/값 헤드를 사용하는 그룹화된 쿼리 어텐션, SwiGLU, RMSNorm, 131,072토큰 윈도우 및 100,352토큰 어휘를 갖추고 있습니다. 구성된 체크포인트는 그 모든 것을 상속받고 두 개의 활성화된 LoRA 어댑터를 추가합니다:

• guardian-core — 랭크 16, 알파 64, 어텐션 프로젝션(k_proj, o_proj, q_proj, v_proj)에만 부착되며, Guardian Library 릴리스에서 가져와 유해성, 탈옥, 욕설, 폭력, 성적 콘텐츠, 사회적 편향 및 비윤리적 행동을 탐지하는 것으로 설명됩니다.

• 결정 — 랭크 64, 알파 128, MLP(down_proj, gate_proj, up_proj)를 포함한 일곱 개의 모든 프로젝션에 부착되어, 더 좁고 더 낯선 일을 하도록 훈련되었습니다: 상태와 레이블이 지정된 선택지가 있는 질문이 주어지면, 단일 순전파에서 해당 선택지 레이블들에 대한 보정된 확률 분포를 반환합니다.

둘 다 제어 토큰에 의해 활성화됩니다 — <|guardian-core|> 및 <|decision|> — 이 토큰들은 채팅 템플릿이 여러분이 adapter_name 인수를 전달할 때 자동으로 삽입해 주는 것입니다. 토큰을 직접 작성하지 않으며, 이 세부 사항은 보이는 것보다 더 중요합니다. 즉, 어댑터 선택은 배포할 두 번째 모델이 아니라 요청 매개변수입니다.

파라미터 델타가 왜 이렇게 작나요?

이야기의 핵심은 산술이다. 기본 모델은 8,380,551,168개 파라미터다. 구성된 모델은 8,776,400,896개다. 이는 어댑터 두 개에 대한 증가분으로 +3억 9,580만 개, 즉 +4.72%다. 이 수치가 그렇게 낮게 유지되는 이유는 KV-캐시 정규화라고 불리는 설계 결정 때문이다: 각 어댑터는 자체 키/값 캐시를 유지하는 대신 기본 모델의 키/값 캐시를 본다. 기존의 다중 어댑터 구성에서는 추가 어댑터마다 두 번째 어텐션 상태 세트가 생기고, 메모리 부담은 전환하는 어댑터 수에 따라 커진다. 여기서는 그렇지 않다. IBM은 출시 게시물에서 구성된 모델이 "기본 모델 단독으로 사용할 때와 거의 같은 양의 GPU VRAM을 차지한다"고 주장한다. 아직 IBM 외부에서 이를 측정한 사람은 없지만, 4.72%의 가중치 차이는 그 주장과 일치한다 — 그리고 VRAM 주장과 달리, 가중치 차이는 읽어볼 수 있는 매니페스트에 들어 있는 숫자일 뿐이다.

결정 어댑터가 흥미로운 절반이다.

언어 모델에서 확률 분포를 읽어내는 것은 새로운 일이 아니다; 고정된 선택지 레이블 어휘로 한 번의 포워드 패스에서 그것을 수행하고, 실제로 행동에 옮길 수 있을 만큼 보정된 숫자를 얻는 것이 이해할 가치가 있는 부분이다. 호출 레시피는 카드에 문서화되어 있다: 고정된 의사결정 엔진 시스템 프롬프트, State: 턴을 동결된 베이스에서 평가한 다음, ### DECISION 턴에서 질문과 단일 토큰으로 레이블된 선택지를 제시한다. 그런 다음 서버에 정확히 그 레이블 토큰 id들의 logprobs를 요청한다 — vLLM은 이를 logprob_token_ids를 통해 노출한다 — 그리고 지수를 취한다. 문서화된 예시는 대략 A: 0.982, B: 0.0035, C: 0.014 같은 값을 반환한다.

여기에는 이 릴리스의 마케팅용 버전이 건너뛰는 실제 엔지니어링 문제가 하나 있다. vLLM은 요청당 logprob_token_ids를 128개 id로 제한한다. 의사 결정 질문에 선택지가 128개를 넘으면 HTTP 400이 발생하는데, 해결책은 레이블 id를 128개씩 청크로 나누고 동일한 프롬프트로 청크마다 요청을 하나씩 보낸 다음 이어 붙이는 것이다 — 반환되는 logprobs는 전체 어휘에 대한 것이므로 각 레이블의 값은 어느 청크가 그것을 요청했는지와 무관하고, 따라서 전체 레이블 집합에 대한 단일 softmax는 상한이 없는 호출과 수학적으로 동일하다. 즉 128개 선택지마다 요청이 하나씩 더 필요한 셈이다. 이는 정말로 유용한 세부 사항이며, 레포에만 존재하는 바로 그런 종류의 것이다.

이 어댑터에 첨부된 공개된 수치는 단 하나, Decision Index(JEV) 에디션 v0.3, 1,068개 행으로 구성된 공개 고속 서브셋입니다: 전체 42.9, Knowledge 29.1, Language 48.9, Retrieval 49.8, Tools 59.8, Arts 18.0. 이는 벤더 보고 수치로 취급해야 합니다. 실제로 그러하기 때문입니다. IBM이 직접 실행하고 공개했으며, 제3자가 이를 재현한 적이 없습니다. 또한 헤드라인보다는 전체적인 형태를 읽어볼 가치가 있습니다. Tools의 59.8이 Arts의 18.0 바로 옆에 붙어 있는 것은 매우 고르지 않은 프로필이며, 카드 자체에서도 어댑터가 훈련되지 않은 도메인에 대해서는 옵션 확률이 "인증된 분류가 아니라 의사결정을 위한 사전 정보"라고 경고하고 있습니다.

음성-텍스트 변환은 실재하며, 헤드라인보다 범위가 좁다

오디오 경로는 470M 파라미터 비자기회귀(non-autoregressive) 컨포머 CTC 인코더인 Granite Speech 5.0 TurboCTC를 내장하고 있으며, 수신 오디오를 전사한 후 오디오 콘텐츠 파트 대신 전사본을 채팅 컨텍스트에 이어 붙입니다. 이를 호출해도 요청 형태는 바뀌지 않습니다: 그것은 input_audio 콘텐츠 파트(일반 채팅 완료에서)이며, 전사는 채팅 및 결정과 동일한 엔드포인트에서 실행되므로 별도의 음성 서버를 세울 필요가 없습니다.

주의 사항은 모두 비평가가 아니라 IBM 자체 카드에서 나온 것입니다. 인코더는 영어 전용이고, 출력은 소문자이며 구두점이 없고, 디코드 시점 스티어링이 없으며, 그리고 — 당신을 멈춰 세워야 할 한 가지 — 음성 인코더와 LLM은 공동으로 학습되지 않았습니다. 이들을 결합하는 학습된 투영이 없습니다. 따라서 잘못된 전사는 모델 또는 어댑터가 반응하는 대상을 조용히 바꿀 수 있습니다. 전사 오류가 결과를 초래하는 어떤 것을 만들고 있다면, 그 문장이 곧 전체 보안 검토입니다.

확인된 것, 공급업체가 보고한 것, 아무도 확인하지 않은 것

• 리포지토리에서 확인됨 — 베이스 모델의 정체성과 레이어 수, 두 어댑터의 rank와 대상 모듈, 제어 토큰 id, 합성된 파라미터 수, 131,072토큰 윈도, Apache-2.0 라이선스, 그리고 모델 카드가 요구하는 문서화된 vLLM 및 Transformers 버전.

• 공급업체 보고, 미재현 — Decision Index 점수, Granite Speech 5.0 TurboCTC가 OpenASR 리더보드에서 가장 빠른 ASR 모델이라는 주장, "베이스 모델과 동일한 VRAM"이라는 주장, 그리고 출시 게시물에서 곁들여 언급한 바에 따르면 맞춤형 3B Granite Switch 모델이 초당 60~100회의 결정으로 Doom을 플레이하며, 이는 폐쇄형 결정 모델의 보고된 초당 10회와 대비된다는 것이다. IBM은 "앞으로 몇 주 안에" 더 많은 데이터를 공개하겠다고 밝혔는데, 이는 현재의 증거가 빈약하다는 것을 인정하는 셈이다.

• 아무도 확인하지 않았습니다 — 그 외 모든 것은. 독립적인 평가도, 제3자 리더보드 등재도, IBM이 제공하는 호스팅 API도, IBM이 아닌 누구도 공개한 지연 시간이나 처리량 측정치도 없습니다. Hub 저장소는 수십 건의 다운로드와 몇 개의 좋아요를 보여줍니다: 이 모델은 이틀밖에 되지 않았고 거의 읽히지 않았습니다.

운영하는 데 드는 비용과 OrcaRouter가 어디에 적합한지

Granite Switch 4.1 8B는 현재 자체 호스팅 방식으로 운영해야 하는 모델입니다. 카드에는 백엔드로 HuggingFace Transformers와 vLLM이 나열되어 있고, 꽤 좁은 지원 범위(Transformers 5.16–5.17, vLLM 0.26–0.28)를 고정하고 있으며, 체크포인트는 코드 변경 없이 두 백엔드 모두에서 작동합니다. 가리킬 관리형 엔드포인트가 없기 때문에, 대부분의 팀에서는 첫 요청을 보내기 전에 GPU 한 대와 컨테이너 하나가 필요합니다.

나머지 부분에 대해 솔직히 말하자면: Granite Switch는 오늘날 OrcaRouter 카탈로그에 없으며, 다른 어떤 Granite 모델도 마찬가지입니다 — 따라서 이 체크포인트를 원한다면 그 경로는 우리가 아니라 벤더 자체의 릴리스와 자체 하드웨어입니다. OrcaRouter가 제공하는 것은 그 주변의 의사결정입니다. 이 플랫폼은 단일 키 뒤에서 자동 장애 조치와 함께 200개 이상의 모델을 라우팅하며, 그리고 제공자 정가를 0% 마크업으로 그대로 전달합니다, 그래서 벤치마킹 중인 모델이 호스팅 엔드포인트를 갖게 되면, 자체 트래픽에서 기존 모델과 비교하는 것은 두 번째 계약이 아니라 구성 변경입니다. 이는 바로 이런 상황에서 가장 중요합니다: 독립적인 평가가 없는 이틀 된 체크포인트는 기존 모델이 아니라 후보이며, 후보에게 해야 할 저렴한 일은 프로덕션 경로를 그것에 맞게 재배선하는 대신 나란히 비교하는 것입니다.

열린 질문

Granite Switch 4.1 8B는 특정 부류의 작업, 즉 답하고 결정하고 전사해야 하는 애플리케이션에서는 규모보다 구성이 더 낫다는 데 걸린 베팅이다. 여기서 세 모델을 실행한다는 것은 세 번의 배포, 세 번의 지연 시간, 세 번의 청구서를 의미한다. 그 베팅을 저렴하게 만드는 엔지니어링 — 공유 KV 캐시, 토큰별 어댑터 전환, 채팅 템플릿에서 해석되는 제어 토큰 — 은 정말 이례적이며, 이 릴리스에서 1년 후에도 여전히 중요할 부분이다.

아직 확정되지 않은 것은 구성된 답변이 좋은지 여부입니다. 결정 어댑터의 공개된 프로필은 불균일하고, 음성 경로는 영어 전용이며 공동 학습되지 않았고, 전체가 이틀밖에 되지 않았으며 이를 뒷받침하는 독립 실행도 없습니다. 누군가의 42.9를 믿기 전에 빌드 매니페스트를 읽고, compose 명령을 직접 실행하고, 자신의 레이블 세트에서 결정 어댑터를 벤치마킹하세요.