ZwZ2-4B 대 ZwZ2-9B: 동일한 깊이, 두 배의 가중치, 1.8포인트 격차

같은 제품군의 4B 모델과 9B 모델에 대한 당연한 가정은 더 작은 쪽이 더 얕다는 것입니다. ZwZ2-4B와 ZwZ2-9B는 그렇지 않습니다. 둘 다 정확히 32개의 트랜스포머 레이어를 갖는다고 명시합니다. 둘 다 헤드 차원 256에서 4개의 키-값 헤드에 대해 16개의 쿼리 헤드를 사용합니다. 둘 다 동일한 248,320토큰 어휘와 동일한 262,144포지션 컨텍스트 상한을 갖추고 있으며, 둘 다 동일한 3:1 선형 어텐션 대 전체 어텐션 스케줄을 실행합니다. 9B는 더 깊은 ZwZ2-4B가 아니라 더 넓은 모델입니다. 그리고 이 비교의 나머지가 — 벤더 자체의 점수 격차까지 포함해 — 더 이상 일직선으로 보이지 않는다는 점을 알게 되면 말입니다.

두 체크포인트는 시간과 출처 면에서도 가깝습니다. ZwZ2-4B는 2026년 10월 15일, ZwZ2-9B는 10월 16일에 만들어졌으며, 둘 다 inclusionAI가 제작했고, 둘 다 20,662개의 객관식 질문으로 구성된 동일한 데이터셋에 동일한 파이프라인으로 훈련되었으며, 어느 것도 아직 발표되지 않았습니다. 이들은 기본 모델—각각 Qwen3.5-4B와 Qwen3.5-9B—과 그로부터 파생되는 모든 블록의 폭에서 차이가 있습니다.

설정 diff와 그것이 시사하는 바

두 구성 파일을 계층별로 대조해 읽어 보면, 실질적인 구조적 차이 하나와 그로부터 기계적으로 따라오는 여러 차이가 드러난다.

• 깊이 — 둘 다 32개 레이어로 동일

• 은닉 너비 — 4B는 2,560, 9B는 4,096으로, 1.6배

• 피드포워드 너비 — 중간 크기 9,216 대 12,288

• 어텐션 구조 — 쿼리 헤드 16개, 키-값 헤드 4개, 헤드 차원 256, 둘 모두에서

• 어텐션 스케줄 — 24개의 선형 레이어와 8개의 전체 어텐션 레이어, 둘 모두에서

• 컨텍스트 — 둘 다 262,144개 포지션, M-RoPE 11/11/10, 부분 로터리 0.25

• 어휘 — 두 모델 모두 248,320개 토큰, 4B는 임베딩 공유, 9B는 임베딩 비공유

• 비전 타워 — 히든 1,024에서 24개 레이어 vs 히든 1,152에서 27개 레이어

• 멀티 토큰 예측 — 둘 다 MTP 레이어가 0개이고, 각 베이스에서 추측 헤드가 제거되었습니다

• 매개변수 — 4,539,265,536 대 9,409,813,744, 2.07배

이 중 두 행은 따로 짚고 넘어갈 만합니다. 9B의 untied embeddings는 입력 행렬과 출력 행렬이 248,320×4,096 테이블을 각각 별도로 복사한 것임을 뜻합니다. 이것만으로도 약 20억 개의 파라미터를 차지하는데, 이는 파라미터 비율(2.07)이 폭 비율(1.6)보다 크게 앞서는 주된 이유 중 하나입니다. 또한 비전 타워는 언어 스택과 함께 커집니다. 은닉 차원 1,152의 27개 레이어 대 1,024의 24개 레이어이므로, 9B는 더 넓은 디코더뿐 아니라 더 넓은 인코더를 통해서도 이미지를 봅니다.

숫자로 보면: 더 큰 상승, 더 낮은 상한

inclusionAI는 모델당 하나의 집계 지표를 공개합니다. 즉 6개 도메인에 걸친 25개 벤치마크 전반의 전체 정확도이며, 동일 가중치로 계산됩니다. 카드 자체의 수치대로 보면 이 제품군은 다음과 같습니다.

• ZwZ2-4B — 기본 49.41, 튜닝 54.79, 5.38포인트 상승

• ZwZ2-9B — 기본 51.63, 튜닝 56.59, 4.96점 향상

• ZwZ2-27B — 기본 55.52, 튜닝 60.51, 4.99점 상승

따라서 4B가 가장 많이 향상되지만 최하위로 마무리된다. 9B는 덜 향상되지만 1.80점 더 높게 마무리된다. 두 진술 모두 사실이며, 어느 쪽이 중요한지는 전적으로 당신이 던지는 질문에 달려 있다. 질문이 "이 훈련 레시피가 얼마나 더해 주는가"라면 답은 4B에서 가장 크다. 질문이 "어느 모델이 더 정확한가"라면 답은 9B이며, 1.80점 차이고, 어떤 식으로 프레이밍해도 그것은 바뀌지 않는다.

이 수치는 모두 공급업체가 보고한 수치이며, 공급업체가 선택한 벤치마크 세트에 기반합니다. 이 제품군의 어떤 제품도 독립적으로 평가된 적이 없고, 벤치마크별 세부 정보는 텍스트가 아니라 그림, 즉 각 카드의 SVG와 PNG에 있습니다. 1.80점 차이는 공개된 내용을 정직하게 요약한 것이지, 당신이나 제가 재현된 것을 본 측정값은 아닙니다.

모델이 커질수록 이득이 줄어드는 이유

4B에서 5.38, 9B에서 4.96, 27B에서 4.99라는 패턴은 그냥 흘려보내기보다 진지하게 받아들일 가치가 있다. 소형 모델에 능력을 더하는 학습 레시피는 격차를 메우는 것이다. 기본 모델은 세밀한 지역적 증거에 주목할 역량이나 학습 신호를 갖추지 못했고, 세심하게 필터링된 20,000개의 객관식 질문이 모델이 부족했던 기술을 가르쳐 준다. 더 큰 기본 모델은 이미 그런 역량을 더 많이 갖추고 있으므로, 동일한 커리큘럼이 더해 줄 것은 적다. 기본 모델이 좋아질수록 데이터의 한계 수익은 감소한다.

그것은 관대한 해석이며, 수치가 뒷받침하는 해석이기도 하다. 박한 해석은 벤치마크 모음에 천장이 있거나 네 개 선택지 과제 형태가 소형 모델에 불균형적으로 유리하게 작용한다는 것이다. 두 해석 모두 발표된 수치와 일치하므로, 1.80점 격차는 크기보다 방향으로 다루어야 한다.

채택에 더 중요하게 작용할 세 번째 가능성이 있습니다: 개선이 특정 영역에 집중되어 있을 수 있습니다. "모든 벤치마크에서 향상되었다"는 것은 카드의 주장이지만, 동일 가중치로 평가된 25개 과제의 평균은 두 개의 큰 승리와 스무 개의 작은 승리를 가릴 수 있습니다. 벤치마크별 표가 없으면 — 그리고 그 표는 본문에 없습니다 — 4B의 5.38이 균일한지, 아니면 바로 이 레시피가 겨냥한 세밀한 지각 과제에 집중되어 있는지 알 수 없습니다. 만약 집중되어 있다면 소형 모델은 전문가형이고 9B는 범용형이며, 평균은 둘 중 하나를 선택할 때 잘못된 통계입니다.

27B는 대조 실험입니다.

세 번째 크기는 패밀리 논증을 검증 가능하게 만든다. ZwZ2-27B는 두 형제 모델과는 다른 기반 세대인 Qwen3.6-27B 위에 구축되었으며, 4.99포인트의 향상을 기록했다. 이는 9B의 4.96과 사실상 동일하고 4B의 5.38보다는 상당히 낮다. 만약 이 레시피의 가치가 데이터 품질만에 관한 것이라면, 크기 전반에 걸쳐 균일한 향상을 기대할 것이다. 그 대신 4B가 이상치다. 이는 용량 격차 이야기와 일치하며, 훈련 데이터가 단순히 균일하게 뛰어나다는 이야기와는 일치하지 않는다.

27B는 또한 이 모델 패밀리의 공개에 관한 실무적인 점을 확정해 준다. 세 저장소는 서로 23시간 이내에 등장했으며, 4B가 가장 먼저, 27B가 가장 마지막이었다. 이는 단계적 롤아웃이라기보다 일괄 푸시의 특징이다. 데이터셋은 10월 19일에 뒤따랐다. 다운로드 수는 관심이 어디로 쏠렸는지 보여 준다. 4B는 0회, 9B는 147회, 27B는 7회다. 아직 아무도 선호 모델을 고르지 않았고, 누군가가 실제로 내려받은 것은 중간 크기뿐이다.

제공: 18.8GB 대비 9GB

여기서 계산은 간단하며, 이는 더 작은 모델을 지지하는 가장 강력한 근거입니다. ZwZ2-4B의 가중치는 9.08GB BF16 파일이고, ZwZ2-9B의 가중치는 같은 정밀도에서 약 18.8GB로 계산됩니다. 24GB 카드에서는 4B가 넉넉한 KV 캐시와 배치를 위한 공간을 남기지만, 9B는 거의 남기지 않습니다. 16GB 카드에서는 4B는 들어가지만, 9B는 양자화 없이는 전혀 들어가지 않습니다.

두 모델 모두 호스팅 제공업체에서 서비스되지 않습니다—Hugging Face 페이지에는 두 모델 모두에 대해 추론 제공업체가 보고되지 않습니다—따라서 둘 다 자체 호스팅 결정입니다. 하드웨어 기준으로 둘 중 하나를 선택하는 경우, 9B는 조금 더 큰 다운로드가 아니라 다른 기기 등급입니다. 이것이 2.07× 파라미터 비율의 실질적 의미이며, 이는 1.80점의 정확도 격차가 아니라 여러분의 카드에 의해 결정됩니다.

서빙 문제를 직접 떠안지 않으면서 인지 동작을 원하는 팀에게는 카탈로그의 호스팅된 중간 선택지가 qwen/qwen3-vl-8b-instruct입니다. 100만 입력 토큰당 $0.18, 100만 출력 토큰당 $0.70이며 131K 컨텍스트를 제공합니다. 같은 모델은 아니며 이 글은 그런 척하지 않겠습니다. 하지만 대부분의 팀이 실제로 필요로 하는 비교이며, OrcaRouter가 라우팅하는 다른 모든 것과 동일한 키로 실행되고 업스트림이 저하되면 자동 장애 조치가 이루어집니다.

하나의 체크포인트를 고르는 대신 계층형 파이프라인을 구축하고 있다면, 라우팅 계층이 이를 표현할 장소입니다. 모든 이미지를 먼저 저렴한 모델로 보내고, 신뢰도가 낮은 이미지만 더 큰 모델로 에스컬레이션하세요. routing DSL은 모델을 단일 호출로 구성하므로, 에스컬레이션은 두 번째 통합이 아니라 라우트의 규칙이 됩니다. 현재 ZwZ2 체크포인트 중 어느 것도 저렴한 계층이 될 수 없습니다. 호스팅되지 않기 때문입니다. 하지만 이 패턴은 바로 이 두 모델이 암묵적으로 논쟁하고 있는 패턴입니다.

어느 것을 선택해야 할까요?

카드가 16GB 또는 24GB이고, 작업이 영역 기반 시각적 증거이며, 이 제품군의 기본 모델 대비 측정된 가장 큰 개선을 원한다면 4B를 선택하세요.

• 메모리 여유가 있고 27B 미만 ZwZ2 체크포인트 중 누구든 공개한 것 가운데 가장 높은 정확도를 원한다면 9B를 선택하세요. 1.80점은 결코 작지 않습니다.

• 법무팀이 서명할 라이선스가 필요하다면 아직은 어느 쪽도 채택하지 마세요. 두 저장소 모두 라이선스를 명시하지 않았고, 카드에는 존재하지 않는 라이선스 파일에 따르도록 되어 있습니다.

• 논문이 필요하다면 둘 다 선택하지 마세요. v2 방법은 공개된 문서가 없으며, 두 카드에 기재된 arXiv 식별자는 다른 기반 계열에 대한 1세대 ZwZ 연구의 것입니다.

진짜로 유용한 실험은 다른 사람의 25개 벤치마크에서 4B와 9B를 비교하는 것이 아니다. 둘 다 실행하거나, 4B를 자체 베이스와 비교 실행해서, 실제 워크로드에서 나온 이미지 수백 장에 대해 5.38이 전이되는지 확인하는 것이다. 누군가 그렇게 하기 전까지, 이 패밀리의 공개 수치는 특정 작업 세트에서 한 레시피가 보이는 행동을 설명할 뿐, 자신의 파이프라인에 대해 내릴 수 있는 결정을 말해 주지는 않는다. 4B가 흥미로운 이유는 바로 그 이득이 가장 크고 증거는 가장 얇기 때문이다.