ZwZ2-27B vs ZwZ2-9B: 세 배 많은 파라미터가 실제로 제공하는 것

inclusionAI의 25개 테스트 표에서 정확히 하나의 벤치마크에서만 더 작은 모델이 이깁니다. 차트에서 값을 읽는 Chartography에서는 ZwZ2-9B가 13.00점이고 ZwZ2-27B는 12.00점입니다. 둘 다 낮습니다. 어느 쪽도 좋지 않습니다. 하지만 흥미로운 부분은 방향입니다. 이 두 모델은 동일한 실험을 두 가지 크기로 수행한 것이기 때문입니다. 하나의 훈련 레시피, 하나의 데이터셋, 하나의 논문 방법을 각각 Qwen3.5-9B 본체와 Qwen3.6-27B 본체에 적용한 것입니다. 레시피가 동일하고 더 큰 모델이 세 배의 파라미터 가치가 있다면, 그 크기가 실제로 드러나는 지점에 대한 산술은 헤드라인 전체 점수가 시사하는 것보다 더 놀랍습니다.

서두에서 언급할 만한 점도 있다. 두 모델 모두 같은 조용한 방식으로 등장했다. ZwZ2-9B의 저장소는 2026년 10월 16일 03:42 UTC에, ZwZ2-27B의 저장소는 같은 날 오전 05:42에 생성되었다. 두 모델 모두 10일 동안 가중치만 있고 문서는 없었으며, 10월 26일에는 전체 벤치마크 표가 포함된 모델 카드를 받았다. 어느 쪽도 라이선스를 명시하지 않는다. 어느 쪽도 게시된 논문이 없으며, 카드에는 여전히 자리표시자 PAPER_URL이 들어 있다.

한 가지 레시피, 두 개의 몸

훈련 방법은 두 모델 간에 단순히 유사한 것이 아니라, 동일한 방법을 두 백본에 적용한 것이어서 비교가 유난히 깔끔하다. EvidenceConnect는 SA-1B 이미지에서 서로 관련된 3~7개 영역을 그룹화하고, 추가 정보에 접근 가능한 확대 크롭을 사용해 질문을 생성하며, 교차 모델 일치도와 영역 하나 제외 테스트로 해당 질문을 필터링하고, 살아남은 질문을 4지선다 과제로 변환한 뒤 GRPO로 훈련한다 — 지도 미세조정 단계는 없다. 두 모델 모두 약 20,000개의 훈련 예시를 사용한다.

시신들은 평범한 방식으로 서로 다릅니다:

• 규모 — 4,096의 은닉 크기에서 32개 레이어에 걸친 9B 매개변수 대비, 5,120의 은닉 크기에서 64개 레이어에 걸친 27B입니다.

• 어텐션 — 9B는 차원 256에서 16개의 쿼리 헤드와 4개의 KV 헤드를 사용하는 반면, 27B는 동일한 차원에서 24개의 쿼리 헤드와 4개의 KV 헤드를 사용합니다.

• 피드포워드 — 중간 크기 12,288 대 17,408.

• 비전 — 두 모델 모두 동일한 타워: 히든 크기 1,152의 27개 레이어, 각각 4,096과 5,120으로 프로젝션.

• 컨텍스트와 어휘 — 262,144개 위치와 248,320개 토큰에서 동일합니다.

• 멀티 토큰 예측 — 둘 다에서 제거되었으며, mtp_num_hidden_layers는 0으로 설정됩니다.

• 기본 모델 — 작은 쪽은 {{1}}Qwen3.5-9B{{/1}}, 큰 쪽은 {{2}}Qwen3.6-27B{{/2}}입니다. 바로 이 점이 비교를 복잡하게 만드는 세부 사항이며, 다음 섹션에서 그 이유를 다룹니다.

3.92점의 전체 격차는 실제로 어디에서 비롯되는가

다음은 빼기를 하기 전에는 예상하지 못했던 발견입니다. 전체 평균은 ZwZ2-27B가 60.51, ZwZ2-9B가 56.59로 — 3.92점 차이입니다. 이제 각 레시피가 자기 베이스에 무엇을 추가했는지 보세요. 이는 같은 표, 같은 연구실, 같은 하네스에서 공개된 내용입니다:

• ZwZ2-27B — 기본 Qwen3.6-27B 55.52, 튜닝 60.51. 4.99 향상.

• ZwZ2-9B — 기본 Qwen3.5-9B는 51.63, 튜닝 후 56.59. 4.96 향상.

이 레시피는 두 규모 모두에서 거의 정확히 동일한 개선을 만들어냅니다. 매개변수를 세 배로 늘린 대가는 추가 훈련 이득 0.03점이었습니다. 그리고 두 기본 모델은 어느 쪽에도 손대기 전부터 이미 3.89점 차이가 났습니다.

따라서 완성된 모델들 사이의 3.92포인트 격차 중 3.89포인트는 그들이 시작한 체크포인트에서 물려받은 것이었습니다. 특화는 그 격차를 만들어내지 않았습니다. 그것은 격차를 거의 완벽하게 보존했습니다.

이것은 단일 연구실, 단일 하네스 비교이므로, 교차 공급업체 비교에서는 결코 정당할 수 없는 방식으로 빼기가 정당하다 — 그 네 숫자 각각은 동일한 표에서, 동일한 평가 코드로, 동일한 벤치마크 세트에서 나온 것이다. 반올림이 충분히 거칠어서 0.03을 정밀도로 읽어서는 안 된다. 정직한 해석은 “구별 불가”이다.

실질적으로 이것이 의미하는 것은 이 두 모델 중에서 선택하는 것이 거의 Qwen3.5-9B와 Qwen3.6-27B 중에서 선택하는 것에 고정된 지각적 조정을 더한 것과 같다는 것입니다. 워크로드에 더 큰 기본 모델을 선택하지 않았을 것이라면, ZwZ2 학습이 그 결정을 바꾸지는 않을 것입니다.

도메인별로 보면: 크기는 한 곳에 나타납니다

평균은 구조를 숨기며, 여기서 구조는 한쪽으로 치우쳐 있습니다. 두 튜닝된 모델을 여섯 개 도메인에 걸쳐 비교하면:

• 세밀한 지각 — 27B는 67.57, 9B는 66.02. 1.55의 격차로, 여섯 항목 중 가장 작습니다.

• 공간 지각 — 55.98 대 52.33. 3.65의 격차.

• 일반적인 시각 추론 — 53.71 대 49.83. 3.88의 격차.

• 체화된 공간 추론 — 55.71 대 51.11. 4.60의 격차.

• 장문 맥락 이해 — 68.77 대 64.08. 4.69의 격차.

• 멀티모달 에이전트 — 51.81 대 42.43. 9.38의 격차.

패턴은 일관적입니다. 작업이 이미지를 보는 것에서 이미지에 대해 행동하는 것으로 옮겨가면 더 큰 모델의 우위는 대략 두 배가 됩니다. 이 방법이 명시적으로 설계된 여덟 가지 세밀한 지각 벤치마크에서는 두 모델이 서로 1.5점 이내에 있으며, Chartography는 오히려 역행합니다.

에이전트 도메인은 27B가 자신의 메모리 풋프린트를 정당화하는 영역이며, 그 격차의 대부분은 단일 테스트에서 비롯됩니다. UI-Vision은 ZwZ2-27B에서 66.66, ZwZ2-9B에서 45.48을 기록해 21.18포인트 차이를 보이며, 이는 표의 다른 어떤 항목보다 큰 격차입니다. ScreenSpot-Pro와 AgentVista는 70.59 대 66.98, 18.18 대 14.83으로 더 작게 기여합니다.

UI-Vision은 인터페이스 그라운딩 벤치마크이며, 그 결과는 일반적이기보다 구체적인 것을 말해 줍니다. 작업 부하가 소프트웨어 인터페이스를 읽고 조작하는 것이라면, 27B는 9B가 대부분 할 수 없는 일을 하고 있는 것입니다. 작업 부하가 사진이나 문서 페이지에서 표시된 영역을 비교하는 것이라면, 9B는 3분의 1의 가중치로 거의 같은 일을 하고 있습니다.

소형 모델이 이기는 단 하나의 테스트, 그리고 그것이 얼마나 비중을 차지해야 하는가

차트그래피는 곱씹어 볼 가치가 있다. 그것이 전문화가 얼마나 협소한지를 보여주는 예외이기 때문이다. 두 점수는 모두 형편없다. 100점 만점에 13.00점과 12.00점으로, Qwen3.6-27B 베이스의 8.00점, Qwen3.5-9B 베이스의 7.00점과 비교된다. 그 훈련은 두 모델이 여전히 안정적으로 수행하지 못하는 과제에서 두 모델을 약 5~6점 끌어올렸고, 9B의 상승폭은 공교롭게도 1점 더 높게 나왔다.

올바른 결론은 9B가 차트에서 더 낫다는 것이 아니다. 그것은 훈련 분포에서 이렇게나 벗어난 작업에서는 두 모델 사이의 차이가 노이즈이며, 합리적인 행동은 차트 읽기를 완전히 다른 곳으로 라우팅하는 것이다. 차트 벤치마크에서 12점이나 13점을 받는 모델은 둘 중에서 선택할 만한 차트 능력을 갖고 있지 않다.

다른 낮은 절대 점수에도 같은 주의가 적용됩니다. ZwZ2-9B는 멀티모달 에이전트에서 평균 42.43, AgentVista에서 18.18입니다. ZwZ2-27B는 평균 51.81, 18.18입니다. 둘 다 절대적인 기준에서 에이전트 작업에 약하며, 더 큰 모델이 훨씬 덜 약하다는 사실이 그것을 강하게 만들지는 않습니다.

메모리 풋프린트가 실제로 어떤 모습인지

파라미터 차이는 매일 비용을 치르는 부분입니다. ZwZ2-9B는 단일 94억 1천만 파라미터 safetensors 파일이며 bf16 기준 약 19GB입니다. ZwZ2-27B는 약 54GB로 두 개의 샤드에 나뉘어 있습니다. 여기에 비전 타워 활성화값과 262,144 위치 KV 예산을 더하면 실질적인 분할은 다음과 같습니다:

• ZwZ2-9B — 단일 24GB 소비자용 가속기에서 bf16으로 무리 없이 들어가는 구성이며, 빠듯하지만 사용 가능합니다. 양자화된 릴리스는 없으므로 직접 양자화하지 않는 한 전체 정밀도를 그대로 감당해야 합니다.

• ZwZ2-27B — 80GB 카드 한 장으로 여유 있게, 또는 40GB 카드 두 장을 타이트한 텐서 병렬 분할로. 그보다 낮은 구성에서는 bf16으로 실행되지 않습니다.

• 서빙 지원 — 두 저장소 모두 vLLM 또는 SGLang 레시피를 제공하지 않습니다. 둘 다 퀵스타트에서 transformers==5.13.1을 고정하며, 둘 다 답변이 <answer> 태그로 감싸진 비사고 모드에서만 문서화되어 있습니다. 어느 쪽도 라이선스를 선언하지 않는데, 이는 프로덕션 배포에서 두 메모리 수치 중 어느 것보다 더 큰 장애물입니다.

마지막 요점은 그 자체로 한 문장이 될 만하다. 양쪽 모두 마찬가지이기 때문이다: 읽을 라이선스가 없다. 카드들은 “공개된 가중치와 함께 제공되는 라이선스”에 맡기지만, 가중치에는 그런 것이 전혀 없다. 어떤 크기를 고르든 상업적 질문은 답이 없다.

선택하는 대신 둘 다 사용하기

도메인 표는 단일 승자를 시사하기보다 2계층 패턴을 더 강하게 시사한다. 세밀한 지각은 모델 크기 간에 거의 변하지 않으므로 9B가 그 부분에서 합리적인 1차 처리다. 에이전트형 인터페이스 작업은 도메인 평균에서 9점 이상, UI-Vision에서 21점 변하므로 해당 트래픽은 27B에 배정해야 한다. 작업 유형별로 보내는 라우터라면 토큰 대부분을 저렴한 모델에 쓰고 비싼 모델은 화면용으로 남길 것이다.

ZwZ2의 두 사이즈 모두 저희 카탈로그에 없으므로, 오늘날 그 패턴은 자체 하드웨어에서 체크포인트 두 개를 실행하고 디스패치를 직접 작성해야 한다는 뜻입니다. OrcaRouter가 들어맞는 부분은 같은 스택의 범용 측면입니다. Qwen3.8-27B와 Qwen3.5-27B 모두 하나의 키 뒤에서 여기에서 라우팅할 수 있으며 공급자 정가에 마크업 없이 제공되므로, 지역 비교가 필요 없는 워크로드는 자동 페일오버가 있는 호스팅 모델로 보내고 특수 트래픽은 로컬에 유지할 수 있습니다. 이는 “ZwZ2를 저희를 통해 라우팅하세요”라는 주장보다 범위가 작은 이야기이며, 저희가 제공할 수 없는 부분입니다. 하지만 이것은 지금 실제로 사용 가능한 아키텍처의 일부입니다.

솔직한 요약은 화려하지 않습니다. 두 개의 체크포인트, 동일한 레시피, 동일한 침묵, 똑같이 빠진 라이선스, 그리고 성능 격차는 거의 전적으로 베이스 모델에 이미 존재하던 격차에 인터페이스 작업을 위한 상위 모델의 실질적인 특화 하나가 더해진 것입니다. 27B의 UI 수치가 필요하다면 27B와 80 GB 카드가 필요합니다. 그렇지 않다면 9B로도 이 프로젝트 전체가 개선하려고 만들어진 작업에서 1.5점 이내의 성능을 얻을 수 있고, 아마 이미 보유한 하드웨어에서 돌아갑니다.