Granite Switch 4.1 8B vs Qwen3-8B: 상대편에 후속 모델이 없으면 무슨 일이 벌어질까

이름 문제부터 시작하자. 이 글을 정직하게 어떤 글로 만들 수 있는지를 바꾸기 때문이다. 알리바바의 최신 Qwen 세대에서 8B 모델을 찾아보면 하나도 없을 것이다: Qwen3.8 라인 — Qwen3.8-27B, Qwen3.8-Max, Flash 변종들, 거대한 2.4T-A95B 전문가 혼합(mixture-of-experts) — 은 8B dense 구성원을 포함하지 않는다. Qwen 계열의 8B 자리는 여전히 다음 모델이 차지하고 있다: Qwen3-8B, 2025년 4월 27일 출시: 82억 파라미터, 한 모델에 하이브리드 사고 및 비사고, 100개 이상의 언어와 방언, 32,768 토큰의 네이티브 컨텍스트를 YaRN으로 131,072까지 확장. 그 모델은 16개월이 지났지만 여전히 현존하는 가장 많이 다운로드된 오픈 웨이트 체크포인트 중 하나다. 그것은 현역이다 — 그리고 이 맞대결을 글 쓸 가치가 있게 만드는 점은 Granite Switch 4.1 8B, 2026년 10월 14일자 IBM의 구성형 체크포인트가 그것을 후속 모델로 대체하겠다고 제안하는 게 전혀 아니라는 것이다. 그것은 같은 파라미터급에서 다른 형태의 모델을 제시한다: 두 개의 전환 가능한 어댑터와 거기에 연결된 음성 인코더를 갖춘 동결된 8B 텍스트 모델로, 추론으로 한 가지 작업을 하는 대신 전환으로 세 가지 작업을 수행한다. 아무도 Qwen3-8B를 대체하지 않았으며, 더 나은 질문은 누군가 그럴 필요가 있느냐이다.

이에 맞서는 것은 Granite Switch 4.1 8B, 2026년 10월 14일 IBM의 합성 체크포인트입니다. 8,380,551,168개 파라미터로 동결된 Granite 4.1 8B가 두 개의 전환 가능한 activated-LoRA 어댑터와 470M 음성 인코더를 갖추고 있으며, 합성 총계는 8,776,400,896개로 4.72% 증가했습니다. 같은 파라미터 등급이지만 모델이 무엇인지에 대한 생각은 완전히 다릅니다. Qwen3-8B는 모든 것을 추론으로 처리하는 하나의 덴스 스택입니다. Granite Switch 4.1 8B는 추론으로는 아무것도 하지 않고 전환으로 세 가지를 하는 스택입니다.

8B 슬롯은 비어 있고, 그게 바로 진짜 이야기다.

이 비교에서 이 부재를 단순한 공백으로 취급하기보다는 잠시 멈춰 생각해 볼 가치가 있다. Alibaba는 Qwen3.8 세대를 27B 덴스 모델, Max, Flash 변형, 그리고 2.4조 파라미터 전문가 혼합과 함께 출시했지만, 이전 세대를 단일 GPU 배포의 기본 선택으로 만들어 준 크기 등급은 건너뛰었다. 한 장의 카드에 들어가고 저렴하게 미세 조정할 수 있어 Qwen3-8B를 선택했던 모든 팀은 이제 메모리 요구량을 두 배로 늘리거나 서빙 문제를 완전히 바꿔 놓는 후속 라인업을 마주하고 있다.

그것이 바로 이 글에서 다루는 실제 결정이다. 아무도 Qwen3-8B와 Granite Switch 4.1 8B 중에서 품질을 기준으로 선택하고 있지 않다. 독립적인 평가가 없는, 16개월 된 기존 모델과 이틀 된 도전자를 맞세우는 것은 품질 비교가 아니라 지식 비교다. 문제는 당신의 주력 모델에 동일한 크기의 후속 모델이 없을 때 무엇을 하느냐이며, 두 가지 후보 답은 "주력 모델을 유지한다"와 "형태를 바꾼다"이다.

Qwen3-8B: 16개월의 프로덕션 운영으로 얻은 것

Qwen3-8B는 36개 층, 은닉 크기 4,096, 8개의 KV 헤드에 대해 32개의 쿼리 헤드를 사용하는 그룹 쿼리 어텐션, 중간 크기 12,288, RoPE theta 1e6, 비공유 임베딩, 151,936개 토큰 어휘를 갖춘 dense 인과 트랜스포머입니다. 대략 82억 개의 파라미터를 가지고 있으며, 그중 약 69억 5천만 개는 비임베딩 파라미터입니다. 사고 스위치는 파라미터입니다 — enable_thinking — 이며, 생성 설정은 모드에 따라 다릅니다. 모델 카드는 사고 모드에서 그리디 디코딩이 반복을 유발하므로 그리디 디코딩을 하지 말라고 명시적으로 경고합니다.

새로운 체크포인트는 내세울 수 없는, 이것이 가진 것: 다른 사람들의 프로덕션 트래픽 16개월치. 다른 누군가가 이미 겪고 글로 남긴 실패 모드들. 중요한 모든 서빙 프레임워크를 위한 양자화, 파인튜닝, LoRA 레시피, 배포 가이드. 거의 천만 건의 Hub 다운로드와 2천 개가 넘는 좋아요, 그리고 그 뒤를 받치는 instruct 계보. 모델이 그렇게 오랫동안 공개되어 있었다면, 그 주변 생태계는 그 역량의 진정한 일부이며, 어떤 출시일도 그것을 소급해 채워 넣을 수 없다.

Granite Switch 4.1 8B: 새로운 형태가 가져오는 것

IBM의 체크포인트는 모델이라기보다는 구성물이며, 그 구성 요소들은 가중치 옆에 체크인된 빌드 매니페스트에 문서화되어 있습니다. 베이스: Granite 4.1 8B, 40개 레이어, 히든 크기 4,096, 32개 쿼리 헤드 대 8개 KV 헤드, 131,072 토큰 윈도우, 100,352 토큰 어휘. 어댑터: guardian-core, 랭크 16, 알파 64, 어텐션 프로젝션(k_proj, o_proj, q_proj, v_proj)에 적용되고, 유해성, 탈옥, 욕설, 폭력, 성적 콘텐츠, 사회적 편향 및 비윤리적 행동을 탐지하며; 그리고 decision, 랭크 64, 알파 128, MLP를 포함한 일곱 개 프로젝션 모두에 적용되고, 단일 순방향 패스에서 레이블이 지정된 옵션 토큰에 대해 캘리브레이션된 소프트맥스를 반환합니다. 인코더: Granite Speech 5.0 TurboCTC, 4억 7천만 파라미터, 비자기회귀 conformer CTC, 영어. 라이선스: Apache-2.0, Qwen3-8B와 동일.

Qwen3-8B에 대응하는 것이 없는 기능은 결정 어댑터입니다. 상태와 레이블이 붙은 선택지가 있는 질문을 넘기면 답이 아니라 분포를 반환합니다 — 문서화된 호출은 vLLM에 정확히 레이블 토큰 ID의 로그확률을 다음 인자를 통해 요청합니다: logprob_token_ids 그리고 이를 지수화하여 A: 0.982, B: 0.0035, C: 0.014 같은 형태의 출력을 생성합니다. Qwen3-8B에 레이블을 고르라고 프롬프트할 수 있고, 그러면 유능하게 골라서 문자 하나를 얻게 됩니다. 문자 하나는 보정된 점수로서 임계값을 적용하거나, 턴별로 평균을 내거나, 신뢰도 값으로 기록할 수 없습니다. 그것이 차이이며, 스케일로 해결되는 차이가 아닙니다.

구성이 가져다주는 두 번째 이점은 산술이다. 모든 어댑터는 자체 키/값 캐시를 유지하는 대신 기본 모델의 키/값 캐시를 공유하므로, 어댑터가 없는 상태에서 두 개의 어댑터와 음성 인코더가 있는 상태로 가는 데는 기능별로 새로운 어텐션 상태를 두는 대신 파라미터에서 4.72%의 비용이 든다. IBM의 출시 게시물은 구성된 모델이 기본 모델 단독과 거의 같은 VRAM을 차지한다고 주장한다. 그 구체적인 주장은 재현되지 않았지만, 그것이 근거로 삼는 파라미터 델타는 매니페스트에 바로 있다. 이는 또한 출시 게시물이 30B로 구성된 Granite Switch와 27B 의사결정 모델 사이의 경쟁을 메모리 페널티가 아니라 속도 이점으로 설명할 수 있는 이유이기도 하다.

• 파라미터 — 8.78B 구성(8.38B 기본) 대 8.2B.

• 레이어 — 40 대 36.

• 컨텍스트 — 네이티브 131,072 vs 네이티브 32,768, YaRN 사용 시 131,072.

• 어휘 — 100,355 대 151,936.

• 언어 — 이름이 지정된 12개(영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어) 대 100개 이상.

• 추론 — 단일 체크포인트에서 없음 vs 하이브리드 사고 및 비사고.

• 구조화된 출력 — 레이블 토큰에 대한 보정된 소프트맥스 대 프롬프트된 선택.

• 오디오 입력 — 내장 470M ASR 인코더 vs 없음.

• 에코시스템 — 이틀 된 신생, 내세울 만한 양자화나 파인튜닝도 없는 것 대 16개월간의 커뮤니티 작업.

Qwen3-8B가 여전히 앞서는 부분

언어, 결정적으로. 글로벌 사용자에게 제품을 출시하는 누구에게도 12개의 명명된 언어 대 100개 이상은 반올림 오차가 아니며, 마이그레이션 테스트가 가장 먼저 발견하게 될 것입니다. 어휘도 같은 이야기를 합니다: 151,936개 토큰 대 100,355개, Granite의 세 가지 예약된 어댑터 ID가 이를 100,355로 맞춥니다. 100개 언어에 걸쳐 훈련된 모델은 100개 언어에 걸쳐 훈련된 것입니다.

네이티브 컨텍스트는 두 번째입니다. 기본 제공으로 131,072토큰이며, YaRN 확장 경로를 사용하면 32,768토큰입니다. Granite Switch 4.1 8B도 같은 131K에 도달하지만, 네이티브로 그렇게 도달하며, YaRN 확장은 네이티브 윈도우에는 없는 긴 컨텍스트 동작 비용을 수반합니다.

세 번째가 대부분의 실제 마이그레이션을 결정한다: 깨진 것은 아무것도 없다. 다시 작성할 통합도, 바꿔야 할 서빙 스택도, 다시 익혀야 할 동작도 없다. 모든 실패 모드는 이미 다른 누군가가 매핑해 두었고, 이미 가지고 있을 수 있는 파인튜닝은 당신의 것이다. 도전자가 그것을 포기할 만한 가치가 있으려면 의미 있게 더 나아야 하는데, 나온 지 이틀밖에 안 됐고 독립적인 평가도 없는 Granite Switch 4.1 8B는 그렇다는 점을 입증하지 못했다.

Granite Switch 4.1 8B가 우세한 부분

의사결정 점수 산정과 그에 따르는 운영적 형태. 애플리케이션이 레이블이 지정된 옵션들 위에 신뢰도 값을 필요로 한다면 — 티켓 라우팅, 에스컬레이션 임계값 점수 산정, 숫자가 붙은 도구 선택 — 그것은 Qwen3-8B가 제공하지 않는 기본 요소이며, 프롬프트로 만들어낼 수 있는 것도 아니다. 이 어댑터에 대해 공개된 수치는 Decision Index, 에디션 v0.3 공개 패스트 부분집합 1,068행 기준입니다: 전체 42.9, 지식 29.1, 언어 48.9, 검색 49.8, 도구 59.8, 예술 18.0. IBM이 실행했고, IBM이 발표했으며, 아무도 재현하지 못했고, 카드 자체에도 확률은 어댑터가 훈련받지 않은 도메인에서 인증된 분류가 아니라 사전확률이라고 적혀 있습니다.

엔드포인트 통합이 두 번째입니다. 채팅, 의사 결정, 전사가 하나의 엔드포인트에서 이루어지며, 전사는 두 번째 서비스가 아니라 일반적인 input_audio 콘텐츠 파트에 의해 트리거됩니다. IBM 카드의 주의 사항이 적용되며, 그 취지를 그대로 반복할 가치가 있습니다: 영어만, 소문자 및 구두점 없는 출력, 그리고 음성 인코더와 LLM은 공동으로 훈련되지 않았습니다. 따라서 잘못된 전사는 모델이 응답하는 대상을 조용히 바꿀 수 있습니다.

그리고 컴포저빌리티가 세 번째입니다 — 컴포저는 공개되어 있고, 어댑터 카탈로그는 개방되어 있으며, IBM이 선택한 두 가지 어댑터를 그대로 받아들이는 대신 여러분만의 변형을 직접 만들 수 있습니다.

8B 슬롯이 비어 있는 동안 무엇을 해야 할까

생산적인 선택은 마이그레이션이 아니다. 그것은 Granite Switch 4.1 8B를 Qwen3-8B가 잘 처리하지 못하는 특정 요청들, 즉 신뢰도 값으로 끝나는 요청이나 오디오로 도착하는 요청의 후보로 취급하고, 나머지는 모두 있던 곳에 그대로 두는 것이다. 그것은 재작성이 아니라 라우팅 문제다: 의사결정 형태의 호출은 한쪽으로 보내고 대화형 트래픽은 다른 쪽으로 보내며, 새로운 형태가 실제로 당신의 트래픽에서 견디는지 알아내는 동안 폴백 경로를 그대로 유지하라.

이것이 OrcaRouter가 차지하는 계층이며, 여기서 그것이 무엇을 의미하는지 정확히 짚고 넘어갈 가치가 있습니다: Qwen3-8B는 현재 저희 카탈로그에 없고 Granite Switch 4.1 8B도 없습니다. 따라서 저희는 둘 중 어느 것을 얻는 수단이 아닙니다 — Qwen3-8B는 Hugging Face 다운로드이고 Granite Switch 4.1 8B는 Hugging Face 다운로드에 vLLM 컨테이너를 더한 것입니다. 플랫폼이 하는 일은 주변 작업입니다: 200개 이상의 호스팅 모델 전반에 걸친 하나의 API 키, 후보가 단일 장애점이 되지 않으면서 라이브 경로에 놓일 수 있게 하는 자동 장애 조치, 여러 모델을 하나의 호출로 구성하기 위한 라우팅 DSL, 그리고 공급자 목록 가격을 0% 마크업으로 그대로 전달하여 공급업체 가격 인하가 다음 새로고침 때가 아니라 같은 날 바로 반영됩니다. 이 점을 저울질하는 동안 호스팅 엔드포인트에서 현세대 Qwen이 어떤 모습인지 보고 싶다면, Qwen3.8-27B가 카탈로그에 있으며 이 비교에서 기존 모델과 같은 제품군입니다.

결론

Qwen3-8B를 기본값으로 유지하세요. 16개월의 프로덕션 운영, 100개 이상의 언어, 151,936개 토큰 어휘는 이틀 된 체크포인트가 아키텍처만으로 극복할 수 있는 이점이 아니며, 알리바바가 8B 후속 모델을 출시하지 않았다는 사실이 Granite Switch 4.1 8B를 그 후속 모델로 만들어 주지는 않습니다 — 그것은 단지 같은 메모리 등급에 우연히 안착한 다른 도구일 뿐입니다. 좁고 구체적으로 도입하세요: 레이블이 지정된 선택지에 대해 보정된 분포가 필요한 요청, 인라인 안전성 스크리닝, 그리고 채팅과 동일한 엔드포인트에서의 오디오용으로. 42.9를 신뢰하기 전에 자체 레이블 세트에서 테스트하세요. 그 수치는 IBM의 것이며 오직 IBM의 것일 뿐이니까요. 이 맞대결에서 흥미로운 점은 한 모델이 다른 모델을 이긴다는 것이 아닙니다 — 8B 자리가 비어 있게 되었다는 점이며, 다음에 그 자리를 채울 모델은 덴스 8B가 아닐 수도 있습니다.