ZwZ2-9B vs Gemma 4 12B: 하나의 모델, 하나의 모델 카드, 그리고 실제로 배포할 수 있는 것은 어느 쪽인가

Gemma 4 12B는 2026년 5월 23일부터 공개되어 있습니다. 모델 카드, 기술 보고서, 공개된 평가 스위트, 다섯 개의 형제 모델 크기, 그리고 지난달에만 79,000을 넘어선 Hub 다운로드 수가 함께 제공됩니다. ZwZ2-9B는 2026년 10월 16일 — 오늘 — 부터 공개되었으며, README도, 라이선스 필드도, 파이프라인 태그도 없는 저장소의 여덟 개 파일로 존재합니다. 둘은 대략 같은 크기입니다. 둘 다 이미지를 입력받습니다. 둘 다 동일한 262,144 위치 컨텍스트 상한을 선언합니다. 그리고 둘은 준비 상태가 도무지 같지 않은데, GPU를 어디에 쓸지 결정하는 사람에게 중요한 유일한 비교는 바로 이것입니다.

간단히 답하자면: Gemma 4 12B는 Google DeepMind의 완성된 제품이고, 이미 다섯 달 동안 다른 사람들이 그 한계를 시험해 왔습니다. ZwZ2-9B는 inclusionAI의 체크포인트인데, 연구소 밖에서는 아직 아무도 설명한 적이 없습니다. 연구소 자신도 포함해서요. 이번 달에 뭔가를 출시해야 한다면, 선택은 명확하며 이는 가중치에 대한 논평이 아닙니다. 다음 달에 무엇을 프로토타이핑할지 결정 중이라면, 아래 숫자를 읽고 직접 평가를 실행해 보세요. 이 두 모델 중 하나만이 당신이 읽을 만한 무언가를 내놓았기 때문입니다.

두 스택, 차원별로

• 매개변수 — ZwZ2-9B: bfloat16 기준 9,409,813,744개. Gemma 4 12B: 119억 5천만 개.

• 아키텍처 — qwen3_5, 선형 어텐션과 전체 어텐션의 하이브리드. Gemma: gemma4_unified, 인코더 없이 모달리티 전반에 걸쳐 통합됨.

• 레이어 — ZwZ2-9B에 32개(선형 어텐션 24개, 전체 어텐션 8개). Gemma 4 12B에 48개(1,024토큰 슬라이딩 윈도우 40개, 전체 어텐션 8개).

• 컨텍스트 상한 — 양측 모두 262,144개 위치를 선언했습니다.

• 어휘 — 248,320 대 262,144이며, Gemma의 어휘는 이미지, 오디오 및 비디오 토큰 ID용으로 예약되어 있습니다.

• 지원 모달리티 — ZwZ2-9B의 경우 텍스트, 이미지, 비디오. Gemma 4 12B의 경우 텍스트, 이미지, 오디오, 비디오이며, 해당 config에는 640차원 오디오 타워가 포함되어 있습니다.

• 라이선스 — 선언되지 않음 vs Apache-2.0.

• 실적 — 지난달 다운로드 0회, 좋아요 2개 vs 다운로드 79,565회, 좋아요 790개.

그중 두 줄은 직관을 뒤집기 때문에 다시 볼 만합니다. 첫 번째는 어텐션 스케줄입니다. ZwZ2-9B는 전체 어텐션 레이어 8개를 갖춘 32층 모델이고, Gemma 4 12B는 전체 어텐션 레이어 8개를 갖춘 48층 모델입니다. 둘 다 어텐션에서 비용이 큰 부분은 드물어야 한다고 보고 있으며, 단지 그것이 얼마나 드물어야 하는지—4개 층 중 1개 대 6개 층 중 1개—에 대해서만 의견이 다릅니다. 두 번째는 컨텍스트 상한으로, 문서가 전혀 없는 9.4B 체크포인트와 DeepMind의 11.95B 플래그십이 정확히 같은 262,144라는 숫자에 도달합니다. 이는 둘 사이의 어떤 관계라기보다 설계 목표의 우연한 일치입니다.

Gemma 4 12B가 단순히 앞선 것이 아니라, 차원이 다른 지점

오디오가 첫 번째입니다. Google의 모델은 전용 오디오 타워와 어휘 안에 포함된 오디오 토큰 ID를 통해 음성을 네이티브로 받아들입니다. ZwZ2-9B의 토크나이저도 <|audio_start|>, <|audio_end|> 및 <|audio_pad|>를 예약해 두고 있지만, 그 구성에는 어떤 종류의 오디오 설정도 들어 있지 않습니다. 따라서 이 토큰들은 갖추고 있는 능력이라기보다 물려받은 어휘일 뿐입니다. 워크로드에 음성이 포함된다면 여기서 비교는 끝이며, 그 이유를 정확히 짚을 가치가 있습니다. ZwZ2-9B의 점수가 더 나빴기 때문이 아니라, 체크포인트 안에 파형을 처리할 수 있는 것이 아무것도 없기 때문입니다.

문서화는 두 번째 요소이며, 바로 그것이 복리 효과를 내는 요소입니다. Gemma 4 12B에는 기술 보고서(arXiv 2607.02770), GPQA 스타일 추론부터 비전 벤치마크까지 아우르는 공개 평가 세트, 명시된 라이선스, 그리고 이 모델이 다섯 가지 크기로 제공된다는 안내가 함께 제공됩니다. 따라서 제품군을 벗어나지 않고도 성능과 리소스 사용량을 맞바꿀 수 있습니다. 그 주변에서 Hub는 83개의 공개된 파인튜닝, 49개의 양자화, 그리고 이를 기반으로 구축된 15개의 Spaces를 보여줍니다. 그 생태계는 장식이 아닙니다. 그것은 모델이 어떻게 실패하는지에 관한 증거의 집합체이며, Google이 아닌 사람들이 만들어 낸 것이고, 이를 대체할 수 있는 것은 없습니다.

라이선싱은 세 번째이며, 가장 화려하지 않고 가장 결정적이다. Gemma 4 12B는 Apache-2.0이다. ZwZ2-9B는 라이선스를 전혀 선언하지 않는다 — 오픈도, 커스텀도 아니고, 저장소 메타데이터에도 아무것도 없다. 선언이 없다면 게시자가 권리를 보유한 것으로 해석하는 것이 안전하며, 이는 조달 과정에서 자신이 잘못 판단했다는 사실을 뒤늦게 발견하고 싶지 않은 문제다. 법적으로 사용할 수 없는 체크포인트가 사용할 수 있는 체크포인트보다 더 저렴한 것은 아니다.

ZwZ2-9B가 구조적 논거를 갖는 유일한 지점

그것은 아직 아무도 측정할 수 없는 품질에 있는 게 아니다. 그것은 그 물건이 연산을 어떻게 소비하는지에 있으며, 설정은 그 점에 대해 이례적으로 명시적이다.

ZwZ2-9B 레이어의 4분의 3은 선형 어텐션입니다 — 32개 중 24개 — 각각 대화와 함께 커지는 키-값 캐시 대신 고정 크기 순환 상태를 지닙니다. 설정에는 메커니즘이 명시되어 있습니다: 차원 128의 16개 키 헤드와 32개 밸류 헤드, 너비 4의 합성곱 커널, 그리고 수치적 안정성을 위해 float32로 유지되는 상태. 4번째 레이어마다만 전체 어텐션을 수행합니다. Gemma 4 12B는 다른 메커니즘으로 비슷한 베팅을 합니다 — 48개 레이어 중 40개가 1,024 토큰으로 제한된 슬라이딩 윈도우를 사용합니다 — 따라서 두 모델 모두 대부분의 레이어에서 전체 어텐션 비용을 지불하지 않도록 설계되었습니다. 두 모델은 정도와 기법에서 차이가 있으며, 벤치마크 없이는 어느 쪽이 우세한지 정직하게 말할 방법이 없습니다. 설계 의도는 분명하지만, 결과는 측정되지 않았습니다.

풋프린트는 단순한 부분입니다. 94억 1천만 개 파라미터 대 119억 5천만 개라면 무엇이든 양자화하기 전에 담아야 할 가중치가 대략 5분의 1 적고, 비전 타워도 작습니다 — 히든 크기 1,152의 27개 레이어가 4,096으로 투영됩니다 — 그래서 이 모델은 Gemma 4 12B를 실행할 동급 하드웨어에 여유 있게 들어갑니다.

The behavioural difference worth knowing is the reasoning default. ZwZ2-9B's chat template emits an empty <think></think> block unless you explicitly ask for thinking, so it answers directly out of the box. Gemma 4 12B offers thinking modes you configure. For extraction, classification or routing — the jobs where a second pass of reasoning is latency you did not want to pay for — only one of these is cheap by default.

ZwZ2-9B가 알려줄 수 없는 것, 그리고 그것이 비교를 결정하는 이유

그것이 명령어 튜닝 모델인지 베이스 체크포인트인지는 알 수 없습니다. 왜냐하면 해당 저장소에는 README도 pipeline 태그도 없고, 둘 다 보통 그 사실을 명시해 주기 때문입니다. <answer> 태그를 가리키는 내장된 시스템 프롬프트는 훈련된 명령어 모델이라는 강력한 증거이지만, 그것은 증거일 뿐 명시적인 진술은 아닙니다.

그것이 무엇으로 학습되었는지, ZwZ 패밀리의 명성을 만들어낸 세밀한 인식 레시피가 이어졌는지, 그것이 무엇을 잘하도록 의도된 것인지는 알 수 없습니다. 그것의 라이선스도 알 수 없습니다. 그리고 inclusionAI 외부의 누구도 그것을 실행해 본 적이 없으므로, 경계 상황에서 그것이 어떻게 동작하는지도 알 수 없습니다.

그것을 Gemma 4 12B 옆에 놓고 보면, 그 비대칭성은 정도의 문제가 아니다. 한 모델은 기술 보고서와 8개월간의 공개 사용 실적을 갖고 등장하고, 다른 모델은 config.json과 뒤집힌 사고 기본값을 갖고 등장한다. 그것은 프로토타입을 만들어 볼 이유이지 일축할 이유는 아니다 — 문서화되지 않은 체크포인트는 많은 흥미로운 작업이 처음 등장하는 곳이다 — 하지만 평가는 직접 하게 될 것임을 솔직히 인정할 이유는 된다.

누락된 증거에 의존하지 않는 결정 규칙

다음 중 하나라도 해당하면 Gemma 4 12B를 선택하세요: 오디오 입력이 필요하거나, 변호사에게 보여줄 수 있는 라이선스가 필요하거나, 한 분기 안에 출시해야 하거나, 동일한 평가 스위트가 한 제품군의 상위·하위 모델로 전이되도록 형제 모델 크기들이 필요할 때입니다. 네 가지 모두 해결됩니다.

ZwZ2-9B를 진지하게 고려하세요. 추론 없음이 기본값인 9.4B 하이브리드 어텐션 비전 모델이 이미 돈을 내고 쓰고 있는 모델보다 더 잘 답할 수 있는 구체적인 질문이 있고, 직접 측정할 의향이 있다면 말입니다. 가장 먼저 시험할 것은 그 모델의 지능이 아닙니다. 실제로 보내는 이미지를 받아들이는지, 실제로 필요한 형식을 반환하는지, 그리고 그 결과에 라이선스 문제가 걸려 있지 않은 채로 그렇게 하는지입니다.

그리고 그것들을 벤치마크 표에서 비교하지 마라, 그 표에는 열이 하나뿐이기 때문이다. Gemma 4 12B의 공개된 수치들을 빈칸 옆에 놓고 그것을 비교라고 부를 수는 있겠지만, 바로 그 빈칸이 발견이다. 이번 주에 ZwZ2-9B에 대해 일대일 품질 판정을 내놓는 사람은 그것을 지어내고 있는 것이다.

현재 두 체크포인트 모두 저희 카탈로그에 없으므로, 지금은 저희를 통해 호출할 수 있는 대상이 아닙니다 — Gemma 4 12B는 Hugging Face에서 다운로드해 자체 서빙 스택으로 돌리는 것이고, ZwZ2-9B도 마찬가지입니다. 저희가 실제로 제공하는 것은, 평가 방식을 전혀 바꾸지 않고도 Gemma 비교를 실행 가능하게 만들어 주는 형제 모델입니다: Gemma 4 26B A4B, 같은 패밀리의 전문가 혼합(mixture-of-experts) 모델로, 호스팅 엔드포인트에서 입력 토큰 백만 개당 $0.06, 출력 토큰 백만 개당 $0.33에 동일한 262K 토큰 컨텍스트를 제공합니다. OrcaRouter는 공급자 정가를 0% 마크업으로 그대로 전달하기 때문에, 공급자 측 가격 변경이 다음 카탈로그 갱신 때가 아니라 같은 날 여기에 반영됩니다 — 이는 직접 호스팅하는 모델과 임대하는 모델 간의 비용 비교를 하는 상황에서 중요한 부분입니다. 대진표 반대편에서는, ZwZ2-9B가 지향하는 바에 가장 가까운 호스팅 대체 모델이 qwen/qwen3-vl-8b-instruct, 131K 컨텍스트를 갖춘 8B 비전-언어 모델이며 $0.18과 $0.70의 가격으로, 문서화되어 있고 라이선스가 부여되어 있으며 지금 바로 사용할 수 있습니다.

이 글을 바꾸려면 무엇이 필요할까요?

모델 카드. 구체적으로는 라이선스, 학습 데이터에 관한 한 문단, 그리고 모델을 학습시키지 않은 누군가가 만든 평가 표 하나. 그때까지 ZwZ2-9B와 Gemma 4 12B를 두고 내릴 수 있는 정직한 요약은 둘 중 하나가 더 낫다는 것이 아니다. 하나는 제품으로 존재하고 다른 하나는 파일 목록으로 존재한다는 것, 그리고 그 두 가지 사이의 간격이 머신러닝에서 가장 값비싼 거리라는 것이다.

이런 식의 비교는 실패 모드가 드러나는 지점이기도 합니다. 이 등급에 속하는 모델들의 이면에 있는, 문서로 기록된 AI 사고와 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 출처, 심각도, 신뢰도 등급, 이의 제기 플래그가 함께 제공됩니다.