ZoomGain-9B vs Gemma 4 12B: 벤치마크에서 빠져 있는 행

출시 당시 ZoomGain 벤치마크에서 28개 모델이 평가되었다. 4개의 클로즈드 소스 프런티어 시스템, 4개의 에이전트형 비전 모델, 4개의 세분화된 전문 모델, 16개의 오픈 범용 모델이 포함되었다. G​emma는 그중에 없다 — G​emma 4 12B도, G​emma 4 31B도, E 시리즈 어느 것도 아니다. 이 누락은 ZoomGain-9B와 G​emma 4 12B를 비교할 때 가장 유용한 단일 사실이다. 왜냐하면 만들 수 있는 모든 "ZoomGain vs G​emma" 표에는 구멍이 있다는 뜻이고, 이 글은 존재하지 않는 숫자가 아니라 두 모델이 실제로 무엇인지에 관한 것이기 때문이다.

둘은 크기가 비교를 불러일으킬 만큼 가깝고, 목적은 그 비교를 오해하게 만들 만큼 서로 멀다. ZoomGain-9B는 inclusionAI의 9B 비전-언어 체크포인트로, 9,000개의 크롭 마이닝 질문에 대해 강화학습으로 사후 학습되었으며, 2026년 11월 10일 논문과 함께 공개되었지만 별도 발표는 없었다. G​emma 4 12B는 G​oogle DeepMind의 11.95B 인코더 없는 통합 멀티모달 모델로, 2026년 5월 23일 Apache 2.0으로 공개되었으며, 지난달 다운로드 180만 건과 좋아요 1,730개를 기록했다. 하나는 입증된 기능이 하나뿐인 연구 도구다. 다른 하나는 라이선스, 문서 세트, 여섯 가지 양자화, 반년간의 커뮤니티 사용 실적을 갖춘 제품이다.

각각이 실제로 무엇인지

Gemma 4 12B는 Gemma 4 제품군에서 흥미로운 아키텍처적 구성원입니다. E2B, E4B, 31B 모델은 전용 인코더를 사용합니다. 소형 모델에는 약 150M 파라미터의 비전 타워가, 31B에는 약 550M 규모의 비전 타워가 있으며, 임베딩을 언어 모델로 전달합니다. 하지만 12B는 그렇지 않습니다. 12B는 원시 이미지 패치와 오디오 파형을 경량 선형 레이어를 통해 디코더의 임베딩 공간으로 직접 투영합니다. 이것이 이름에 있는 "Unified"의 의미이며, 이 모델에는 오디오 지원이 있고 31B에는 없는 이유입니다.

그 구조는 다음과 같습니다: 48개 레이어, 은닉 크기 3,840, 중간 크기 15,360, 헤드 차원 256에서 8개의 KV 헤드에 대응하는 16개의 쿼리 헤드, 262,144개 토큰 어휘 및 최대 위치 262,144개입니다. 48개 레이어 중 40개는 1,024개 토큰의 슬라이딩 윈도 어텐션이고, 8개는 전체 어텐션이며, 마지막 레이어는 항상 전역입니다. 세 가지 입력 모달리티, 텍스트 출력, 256K 컨텍스트, 그리고 네이티브 시스템 역할을 갖추고 있습니다.

ZoomGain-9B는 반대 방식으로 구축되었습니다. 텍스트 트렁크는 Qwen3.5-9B로, 32개 레이어, 히든 4,096, 중간 12,288, 선형 어텐션 대 전체 어텐션의 3:1 구성, 최대 262,144개 포지션을 가지며, 비전 타워는 여기서 새로 고안된 것이 아니라 기본 모델에 의해 덧붙여졌습니다. 그 트렁크 위에서 저자들은 특정 영역을 확대해야만 보이는 세부 사항에 답이 달려 있는 9,000개 질문에 대해 GRPO를 실행했습니다. 이 모델은 범용 어시스턴트로 훈련되지 않았고 그렇게 제시되지도 않습니다.

• 매개변수 — G​emma 4 12B는 11.95B, ZoomGain-9B는 대략 9.4B(BF16에서 18.82GB로, 12B의 파일 크기와 비교).

• 모달리티 — Gemma 4 12B는 텍스트, 이미지, 비디오, 오디오를 입력으로 받고; ZoomGain-9B는 텍스트와 이미지를 입력으로 받습니다. 오디오는 ZoomGain의 구현에서 빠진 부분이 아니라, 해당 구성에 존재하지 않습니다.

• 맥락 — G​emma 4 12B는 256K를 문서화합니다. ZoomGain-9B의 카드에는 아무것도 문서화되어 있지 않습니다. 해당 구성은 Qwen3.5-9B 트렁크로부터 262,144개의 위치를 상속받는데, 이는 미세 조정된 체크포인트의 검증된 속성과는 다릅니다.

• 라이선스 — G​emma 4 12B는 명명된 라이선스 파일이 포함된 Apache 2.0입니다. ZoomGain-9B: 코드는 Apache 2.0, 체크포인트 약관은 라이선스 태그가 없는 카드로 이관되었습니다.

• 배포 — G​emma 4 12B는 BF16, 6.98GB의 QAT q4_0 GGUF(0.18GB 프로젝터 포함)로 제공되며, ggml-org, unsloth, litert에서 빌드됩니다. ZoomGain-9B는 BF16과 함께 F16, Q8_0, Q4_K_M GGUF로 11월 11일부터 제공됩니다.

• 문서 — G​emma 4 12B에는 출시 블로그, 기술 보고서, 프레임워크 쿡북, 라이선스 페이지가 있습니다. ZoomGain-9B에는 논문, 저장소, 그리고 컨텍스트 길이를 명시하지 않은 카드가 있습니다.

왜 빠진 행이 그냥 넘길 수 있는 실수가 아닌지

ZoomGain 벤치마크는 한 가지 실패를 드러내기 위해 만들어졌다: 큰 프레임 안의 작은 세부 사항을 해결하지 못하는 모델이다. 저자들은 영어와 중국어로 된 1,000개 질문과 941개 이미지에 대해 속성 인식, 계수, OCR을 평가하며, 객관식과 정수에는 정확 일치를, OCR에는 0.7 하한의 ANLS를 적용한다. 그 테스트에서 28개 모델 중 최고는 61.08에 도달했고, 50을 넘은 모델은 다섯 개뿐이다.

G​emma 4 12B는 그 벤치마크에서 실행된 적이 없습니다. 다른 어떤 G​emma도 마찬가지입니다. 그러면 선택지는 두 가지뿐이고, 그중 하나만 정직합니다. G​emma의 MMMU Pro 69.1과 MATH-Vision 79.7을 ZoomGain의 홀드아웃 평균 66.10에 맞세우고 그것을 비교라고 부를 수 있습니다. 하지만 이는 광범위한 멀티모달 벤치마크 스위트를 열세 개 지각 벤치마크의 평균과 비교하는 것이며, 아무 의미 없는 숫자를 만들어냅니다. 아니면 사실대로 말할 수 있습니다. 아무도 이 둘을 같은 잣대로 측정하지 않았고, 이 질문이 중요하다면 벤치마크는 다운로드할 수 있으니 오후 한나절이면 직접 실행해 볼 수 있다고요.

두 번째 옵션은 생각보다 저렴합니다. ZoomGainBench는 어노테이션, 이미지, 평가기로 제공됩니다. 평가는 OpenAI 호환 엔드포인트 또는 로컬 체크포인트를 입력으로 받아 temperature 0에서 thinking을 비활성화한 상태로 실행되며, 질문별 결과를 보고합니다. G​emma 4 12B는 vLLM 또는 llama.cpp에서 실행됩니다. 이는 실제로 만들어 볼 수 있는 진정한 일대일 비교이며, 벤치마크 저자들이 G​emma를 포함하지 않았다는 사실 자체도 시사하는 바가 있습니다 — 그 모델은 이 벤치마크가 공개되기 전 6개월 동안 이용 가능했습니다.

G​emma 4 12B의 숫자는 어디에 있으며, 그 숫자는 무엇을 의미하는가

이는 모델 카드에 있는 G​oogle 자체의 수치이며, 중립적인 실험실에서 재현되지 않았습니다:

• MMMU Pro 69.1 — 멀티모달 추론 스위트이며, G​emma의 모델 카드에서 시각적 역량 주장에 가장 가까운 항목입니다.

• MATH-Vision 79.7 — 도표와 이미지에 대한 수학적 추론.

• OmniDocBench 1.5 평균 편집 거리 0.164 — 문서 파싱이며 낮을수록 좋습니다. 31B는 0.131에 도달합니다.

• 도구 없이 MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 77.5 — 텍스트 측면은 ZoomGain-9B가 전혀 내세우지 않는 부분입니다.

• τ² 평균 69.0 및 네이티브 함수 호출 — 에이전트형 도구 사용.

• MRCR v2 8-needle 128K에서 43.4% — 장문 맥락 검색이며, 256K 헤드라인을 가장 크게 약화시키는 수치입니다.

마지막 항목은 특히 강조할 만합니다. 256K 윈도가 256K의 사용 가능한 어텐션을 뜻하는 것은 아닙니다. 또한 G​oogle이 128K에서 43.4%로 떨어지는 검색 점수를 공개한 것은 대부분의 모델 카드가 제공하는 것보다 더 솔직한 공개입니다. 워크로드가 "대형 문서에서 사실 하나 찾기"라면, G​emma 4 12B의 윈도는 실제이지만 깊은 곳에서의 리콜은 평범한 수준이며, ZoomGain-9B에 대해서는 장문맥 평가가 실행되지 않았기 때문에 이에 상응하는 측정값이 존재하지 않습니다.

ZoomGain-9B가 수치를 제시하는 부분과, 각 수치에 딸린 유의사항

저자가 보고한 모든 결과, 공개된 하네스 기준:

• HR-Bench 4K 90.25, 기반이 된 Qwen3.5-9B의 82.13에서 상승. 고해상도 인지력, 그리고 이번 릴리스의 핵심 주장.

• V*Bench 93.19, 86.91에서 상승. 혼잡한 장면에서의 소형 객체 탐지.

• MMVP 70.00, 60.00에서 상승. 거의 동일한 두 그림에 서로 다른 정답이 있는 쌍 이미지 테스트 — ZoomGain이 훈련된 대상에 가장 가까운 기존 유사 사례.

• ZoomGainBench 55.48, 32.13에서 상승. held-in 열은 구조상 부풀려져 있으며, 저자들도 그렇게 말한다.

• 13개 벤치마크 전반에서 홀드아웃 평균은 66.10으로, 59.75에서 상승했다. 의미 있는 숫자다.

주의 사항을, 얼마나 걱정해야 하는지의 순서대로 정리하면 다음과 같다. 첫째, 저자 목록 밖의 누구도 이 결과를 하나도 재현하지 않았다. 둘째, 벤치마크와 학습 데이터가 하나의 파이프라인에서 나왔으며, 그래서 이 논문은 자체 벤치마크를 홀드아웃 평균에서 제외한다 — 인정할 만한 규율이다. 셋째, 학습 세트는 9,000개 레코드로, 개선이 실제인 경우에도 그 폭이 좁을 수 있을 만큼 작다. 넷째, 이 모델에는 호스팅된 엔드포인트가 없고, 작성 시점 기준 Hub에서 제공자 매핑이 비어 있다.

실제로 결정을 내리는 기준에서 본 비용

QAT q4_0 기준 Gemma 4 12B는 6.98GB에 0.18GB 프로젝터를 더한 크기입니다. 이는 16GB 노트북에 여유 있게 들어가고, 8GB 카드에도 약간의 노력이면 들어갑니다. ZoomGain-9B는 Q4_K_M에서 5.63GB에 0.52GB 프로젝터를 더한 크기이고, Q8_0에서는 9.53GB에 0.62GB를 더한 크기입니다. 9B는 더 작은 모델이기 때문에 모든 정밀도에서 다운로드 크기가 더 작으며, 선형 어텐션 비중이 높은 트렁크 덕분에 긴 시퀀스 길이에서 KV 캐시가 더 짧아집니다. 이는 긴 텍스트보다 고해상도 이미지를 입력할 때 중요합니다.

현재 저희를 통해 둘 다 호출할 수는 없습니다. Gemma 4 12B는 OrcaRouter 카탈로그에 없고 ZoomGain-9B도 없습니다. 따라서 솔직히 말하면 둘 다 자체 호스팅 또는 벤더 API 결정입니다. 저희가 호스팅하는 것은 백만 입력 토큰당 $0.06의 Gemma 4 26B A4B이며, 262K 창에서 백만 출력 토큰당 $0.33입니다 — 같은 제품군이고 활성 파라미터 예산은 네 배이며, 아무것도 다운로드하기 전에 Gemma의 문서 파싱 프로필이 귀하의 파이프라인에 적합한지 확인할 수 있는 합당한 방법입니다. 하나의 키로 그것과 200개 이상의 다른 모델을 정가로, 마크업 없이 이용할 수 있으므로, 비전 엔드포인트와 저렴한 텍스트 모델을 아우르는 비교 평가에는 세 건의 계약이 아니라 한나절이면 충분합니다.

직급이 아니라 직무로 선택하세요

큰 이미지 속 작은 세부 사항, 예컨대 기기의 일련번호, 멀리 있는 표지판의 글자, 40개 중 한 물체의 색, 건물 정면의 창문 개수 같은 작업이라면 ZoomGain-9B가 바로 그런 작업을 위해 만들어진 모델입니다. 단, 그 근거는 자체 보고 방식이고 라이선스는 직접 읽어봐야 한다는 점은 유의해야 합니다. 이 모델의 아키텍처는 당신이 지금 겪고 있는 실패 모드에 정확히 최적화되어 있습니다.

과제가 그 밖의 시각적 작업 — 여러 페이지 문서 읽기, 장면 설명하기, 차트에 관한 질문에 답하기, 이미지와 오디오를 함께 처리하기, 이후 함수 호출하기 — 이라면 G​emma 4 12B가 완성품이며, 비교는 더 이상 근접하지 않습니다. 이 모델은 140개 언어 사전 학습, 네이티브 도구 호출, 공개된 검색 곡선이 있는 256K 창, 여섯 가지 양자화, 그리고 설명 없이 법무팀에 넘길 수 있는 라이선스를 갖추고 있습니다.

작업이 둘 다라면, 솔직한 답은 이 둘이 대안이라기보다 하나의 파이프라인을 이루는 계층이라는 것입니다. 현실적인 2026년 문서 에이전트는 범용 멀티모달 모델로 파싱하고, 중요한 크롭은 지각 전문가에게 에스컬레이션합니다. 그리고 흥미로운 엔지니어링은 바로 그 에스컬레이션에 있습니다. 이는 어떤 세부 사항이 두 번째 호출을 할 가치가 있는지 결정하는 일이기 때문입니다. 그것은 라우팅 문제이며, 우리가 그것에 관심을 갖는 이유이기도 합니다. 저렴한 호출은 저렴한 모델로, 에스컬레이션은 기준을 통과하는 엔드포인트로 보내는 규칙은 구성 변경 하나이며, 장애 조치는 멈춘 전문가가 파이프라인을 멈추지 않게 한다는 뜻입니다.

증거가 뒷받침하는 형식으로 제시된 평결

Gemma 4 12B는 지각 벤치마크가 아닌 모든 기준에서 더 안전한 구매입니다. 라이선스, 문서, 배포, 범위, 커뮤니티, 그리고 Google이 누구나 따져볼 수 있는 수치를 공개한다는 점까지요. ZoomGain-9B는 더 흥미로운 모델이며, 논문을 쓰지 않은 사람은 아직 검증하지 않은 증거를 바탕으로 보면 특정 작업 하나에는 어쩌면 더 나은 도구일 수 있습니다.

올바른 다음 단계는 그 문장들 중 어느 것에 동의하게 되었는지에 달려 있습니다. 첫 번째였다면 QAT GGUF를 다운로드하고 읽기를 멈추세요. 두 번째였다면 가중치와 함께 ZoomGainBench를 다운로드하세요 — 941개의 이미지, 1,000개의 질문, 평가기, 그리고 직접 산출할 수 있는 숫자 — 그런 다음 G​emma를 그것에 돌려 보세요. 그러면 당신은 그렇게 한 첫 번째 사람이 될 것이고, 두 모델 모두에 대해 어느 공급업체도 현재 알지 못하는 무언가를 알게 될 것입니다.