ZoomGain-4B vs Qwen3.8-27B: 11점 차 승리는 모델이 아니라 데이터셋에 관한 것이다

이 대결을 한 페이지짜리 기사로 만들 만한 숫자는 55.81 대 44.81입니다. inclusionAI의 ZoomGain-4B와 함께 공개된 1,000개 문항의 세부 묘사 벤치마크인 ZoomGainBench에서, 45억 4천만 개 매개변수의 비전 모델이 11점 앞서는 상대는 Qwen3.8-27B입니다. 277억 8천만 개 매개변수의 밀집 모델로, Alibaba가 8월에 Apache 2.0으로 공개했으며 텍스트뿐 아니라 이미지와 영상도 읽는 이 모델은 매개변수가 여섯 배인데도 11점 차로 집니다. 두 숫자를 모두 산출한 논문을 읽어 보면, 격차는 더 이상 시력에 관한 주장이 아니게 됩니다. ZoomGainBench는 ZoomGain-4B의 훈련 데이터를 생성한 것과 동일한 자동화 파이프라인으로 구축되었으며, 저자들도 절제 연구에서 그렇게 말합니다. 그리고 그들이 진짜로 경쟁하고 있던 모델은 Qwen3.8-27B가 전혀 아니며, 바로 또 다른 데이터셋입니다.

그것은 반박이 아니다. 그것은 이번 발표에서 가장 유용한 내용이며, 비교를 판가름할 수 있게 해주는 것이다. 즉 두 모델 중 어느 것을 선택해야 하는지, 그리고 누군가 그 선택을 정당화해 달라고 할 때 어떤 수치를 인용해야 하는지를 알려준다. 이어지는 내용은 여기서 함께 묶여 있는 세 가지 주장을 분리한다. 작은 전문 모델이 큰 범용 모델을 이긴다는 주장, 한 데이터 파이프라인이 다른 데이터 파이프라인을 이긴다는 주장, 그리고 이 둘 중 어느 하나가 이번 달에 스택을 바꿔야 할 이유가 된다는 주장이다.

무엇이 출시되었는가, 그리고 얼마나 조용히

ZoomGain-4B의 리포지토리는 2026년 11월 10일 11:38 UTC에 Hugging Face에 생성되었고, 11월 11일에 마지막으로 수정되었습니다. 논문 arXiv 2611.14076은 11월 10일에 제출되었습니다. GGUF 리포지토리는 11월 11일 03:13 UTC에 변경되었습니다. 작성 시점에 두 리포지토리 모두 다운로드 0회, 좋아요 0개를 보여 주며, 모델에 매핑된 추론 제공자는 없고, 이에 대한 공급업체의 출시 게시물, 블로그 글 또는 보도자료도 존재하지 않습니다. 모델 카드 자체의 11월 11일자 업데이트 목록이 유일한 발표입니다: 논문, 벤치마크, RL 데이터셋 및 체크포인트가 공개되었다는 세 줄입니다.

솔직하게 말하자면, 이것은 조용히 출시되었을 뿐 아직 공식 발표되지 않았습니다. 아래 내용 중 저장소에서 비롯된 것은 모두 오늘날 검증 가능하지만, 모델이 저자들의 하네스 밖에서 어떻게 동작하는지에 관한 내용은 아직 확인되지 않았습니다. Ant Group과 Zhejiang University 외부에서 이를 실행해 보고 결과를 보고한 사람이 아무도 없기 때문입니다.

비교를 시작하기 전에 저장소에서 두 가지 세부 사항을 알아 두는 것이 좋습니다. 둘 다 그것으로 할 수 있는 일의 범위를 좁히기 때문입니다.

• 아키텍처. Qwen3.5-4B 파생 모델 — 32개 레이어, 히든 크기 2,560, 헤드 차원 256에서 16개 쿼리 헤드 대 4개 KV 헤드, 선형 DeltaNet 대 전체 어텐션의 3:1 스케줄, 최대 포지션 262,144개, 248,320개 토큰 어휘, 그리고 히든 1,024의 24레이어 비전 인코더. 인코더와 프로젝터를 포함한 총 파라미터 수는 4,539,265,536개입니다.

• 라이선스. 카드의 라이선스 섹션은 코드를 다루며, 해당 코드는 Apache 2.0이고, 이어서 다음과 같이 미룹니다: "각 데이터셋과 체크포인트의 약관은 Hugging Face 카드를 참조하세요." 체크포인트 카드에는 라이선스 태그가 전혀 없습니다. Qwen3.8-27B는 명백히 Apache 2.0입니다. 변호사에게 건넬 수 있는 라이선스가 필요하다면, 그 비대칭성이 가장 먼저 부딪히는 문제이며 릴리스 내 어떤 것으로도 해결되지 않습니다.

두 모델이 나란히 표시되는 유일한 목록

ZoomGainBench는 941개 이미지를 대상으로 하는 1,000문항 규모의 이중언어 벤치마크로, 선택지가 4~6개인 속성 인식 문항 472개, 개수 세기 문항 94개, OCR 문항 434개로 구성되며, 각 문항은 영어판과 중국어판이 있어 총 2,000개의 평가 인스턴스가 있습니다. 28개 모델을 하나의 하네스에서 실행했으며 — 동일한 시스템 프롬프트, temperature 0, 모든 Qwen 체크포인트에 대해 사고 비활성화, 비에이전트 모델의 경우 출력 토큰 2,048개를 사용했습니다. 이 분야 최고 결과는 61.08의 GPT-5.6-Sol이며, 50을 넘는 모델은 다섯 개뿐입니다.

Qwen3.8-27B는 전체 44.81을 기록했습니다. 영어에서는 속성 40.25에서 43.84, 카운팅 54.26, OCR 45.49이고, 중국어에서는 45.78입니다. ZoomGain-4B는 벤치마크 표가 아니라 학습 표에 있으며 55.81을 기록했습니다. 두 수치 모두 동일한 채점 규칙에 따른 두 언어 전체 점수이므로, 이번 릴리스가 제공하는 것 중 통제된 비교에 가장 가까운 사례이며, 그 기준에서 4B가 11.00점 앞섭니다.

• 매개변수. 4.54B 대 27.78B — 결과를 놀랍게 만드는 방향으로 6.1배 차이.

• 각각 무엇을 하도록 만들어졌는지. ZoomGain-4B는 Qwen3.5-4B를 9,000개의 마이닝된 질문에 대해 GRPO 1에포크, 140스텝, 배치 64, 질문당 8회 롤아웃, 학습률 1e-6, KL 항 없음으로 학습시킨 모델입니다. Qwen3.8-27B는 추론 모드, 도구 호출, 비디오 경로를 갖춘 범용 dense 모델입니다.

• 학습 데이터. 한쪽은 9,000개의 질문입니다. 다른 쪽은 규모가 공개되지 않은 A​libaba의 전체 사전 학습 및 사후 학습 코퍼스입니다.

• 가용성. ZoomGain-4B: GGUF 정밀도 세 가지와 별도 프로젝터 파일, 호스팅 엔드포인트 없음. Qwen3.8-27B: Apache 2.0 가중치, FP8 빌드, 740만 다운로드, 그리고 오늘 바로 호출할 수 있는 엔드포인트.

논문이 실제로 확립하는 비교

릴리스가 "4B가 27B를 이긴다"로 축약될 때 놓치게 되는 부분은 다음과 같습니다. 논문은 자체 데이터에 대한 베이스라인이 필요했고, 하나를 사용했습니다. 바로 ZwZ입니다. ZwZ는 지역-이미지 증류(region-to-image distillation)로 구축된 ICML 2026 세밀한 지각 데이터셋입니다. 양쪽에는 동일한 처리가 적용되었습니다. 12,000장의 이미지를 샘플링하고 23,610개의 질문을 생성했으며, 벤치마크는 1,000개를 가져갔고, 나머지에서 8,746개의 이미지 매칭 질문 쌍이 나왔으며, 각 세트를 9,000개로 맞추기 위해 254개를 양쪽에 중복 배치했습니다. 동일한 이미지, 동일한 기본 체크포인트, 동일한 하이퍼파라미터, 동일한 140단계. 유일한 변수는 질문입니다.

ZoomGain 데이터는 논문이 보고하는 모든 축에서 ZwZ 데이터를 능가한다. Qwen3.5-4B에서 held-in 점수는 40.99에서 55.81로, 13개 벤치마크의 held-out 평균은 58.94에서 63.96으로 향상된다. Qwen3.5-9B에서도 같은 두 수치는 44.07에서 55.48로, 62.53에서 66.10으로 향상된다. 이는 감독(supervision)을 생성하는 방식에 관한 실제적이고 잘 통제된 결과이며, 논문 제목이 내세우는 기여다.

Qwen3.8-27B는 그 논증에 아무것도 기여하지 않는다. 그것은 벤치마크된 다른 27개 모델 사이의 단일 행으로 한 번 등장한다. 그것은 경쟁자가 아니라, 아무도 훈련시키지 않은 분포에서 측정된 유능한 범용 모델이라는 척도다. 논문 자체의 본문은 그것이 활용하는 격차가 공유된다는 점을 명시한다: 전역 관점 오류 방해 항목은 28개 모델 전체에서 모든 오답의 71.7%를 차지하며, 이는 선택지 중 무작위 선택이 낼 54.5%를 웃돈다. 그리고 벤치마크 구축에 참여하지 않은 네 개의 폐쇄 소스 모델도 예상치 57.4%에 대해 75.7%로 같은 행태를 보인다.

어블레이션은 그 헤드라인에 반대하는 가장 강력한 논거다.

저자들은 스스로에게 당연한 자체 검증을 수행했고, 그 결과는 논문에서 가장 많은 정보를 담은 표다. 그들은 동일한 9,000개 질문으로 두 번 재훈련했으며, 매번 자신들의 파이프라인을 정의하는 두 가지 설계 선택 중 하나를 제거했다: 질문이 전체 이미지에서는 보이지 않는 세부 정보로만 구성될 수 있다는 규칙과, 전용 방해 요소 생성 단계다.

• 전체 파이프라인. ZoomGainBench 55.81; 절제 실험이 보고한 10개 홀드아웃 벤치마크의 평균은 60.96입니다.

• 전용 방해 요소 제거됨. ZoomGainBench 46.85 — held-in 테스트에서 8.96점 손실 — 그리고 10개 벤치마크 평균은 59.14, 1.82점 손실.

• 증분 증거가 제거되었습니다. ZoomGainBench 49.71, 6.10 감소 — 그리고 10개 벤치마크 평균 58.57, 2.39 감소.

두 설계 선택은 모두 ZoomGainBench에서 6~9점, 다른 모든 항목에서는 약 2점의 가치가 있다. 저자들은 그 이유를 분명히 밝힌다. 전용 방해 요소를 제거하는 것이 "held-in ZoomGainBench에서 가장 큰 하락을 초래"하는데, 이는 "벤치마크의 선택지가 동일한 파이프라인을 사용해 구성되기" 때문이다. 다시 말해, 헤드라인 수치를 만들어낸 벤치마크에서의 헤드라인 이득 중 약 4분의 3은 모델이 더 잘 보는 법을 배운 것이 아니라, 파이프라인이 작성하는 종류의 질문에 답하는 법을 배운 것이다.

그중에서도 여전히 상당한 성과가 남습니다. 학습이 전혀 건드리지 않은 13개 벤치마크에서 Qwen3.5-4B는 57.86에서 63.96으로 상승합니다 — 9,000개 샘플에서 6.10포인트 — 가장 큰 향상은 파이프라인이 정확히 겨냥한 계열에서 나옵니다: HR-Bench 4K는 81.25에서 87.25로, V*Bench는 81.68에서 90.05로, VisualProbe는 43.30에서 57.28로, O3-Bench는 54.20에서 63.19로. 한 벤치마크는 퇴보합니다: TreeBench는 49.38에서 49.14로, 0.2포인트 하락입니다. 일반 멀티모달 스위트인 MMStar는 66.80에서 72.53으로 변하고, BabyVision은 21.13으로 여전히 저조합니다.

그 프로파일은 좁은 범위의 개입이 남긴 특징이며, 바로 그 프로파일을 기준으로 계획을 세워야 합니다. 모델은 장면 속 작은 요소들을 해결하는 능력은 나아졌습니다. 그러나 더 나은 범용 모델이 된 것은 아니며, 그렇지 않다고 말하는 산술은 자기 벤치마크에 대한 산술일 뿐입니다.

벤치마크가 실제로 묻는 것, 왜냐하면 그것이 바로 당신이 구매하게 될 것이기 때문입니다.

의도된 용도가 세부 사항 점검이라면, 테스트의 구성이 전체 점수보다 더 중요하며, 논문의 오류 분석은 이 점에 관해 유난히 구체적이다.

• 작은 앵커가 우세합니다. 정확도는 쿼리된 세부 사항이 이미지에서 차지하는 비율이 커질수록 모든 모델 그룹에서 상승합니다. 전체 28개 모델 평균으로 볼 때, 앵커가 이미지의 0.4% 미만을 차지하는 가장 작은 사분위에서 28.9%이던 정확도가 가장 큰 사분위에서는 55.2%까지 오릅니다.

• 세기는 작은 수를 세는 것입니다. 94개의 세기 질문 중 67개의 정답은 최대 3이며, 잘못된 숫자 답변의 71.6%는 정확히 1만큼 차이가 납니다. 어려움은 많은 것을 열거하는 것이 아니라 몇 개의 작은 사례를 해결하는 데 있습니다.

• 속성 인식은 어려운 범주입니다. 28개 모델 중 23개에서 가장 낮은 점수를 보이며, 선택지 전체에 걸쳐 균등하게 추측하기만 해도 이미 약 21.5%를 얻게 됩니다.

• 이 실패 모드는 장면상 그럴듯한 대체입니다. 문서로 기록된 한 사례에서 56건의 평가 중 46건은 트럭 대시보드 위의 흰색 물체를 주황색이라고 부릅니다. 이는 그 앞에 서 있는 작업자가 입은 조끼의 색일 가능성이 있습니다. 또 다른 사례에서는 거의 모든 평가가 의류에 실제로 인쇄된 로고 대신 하키 장비 브랜드를 언급합니다. 모델은 "볼 수 없다"고 말하지 않고 문맥을 바탕으로 답합니다.

그 실패 모드는 이런 종류의 학습을 위한 실용적 근거입니다. 왜냐하면 그것은 스캔한 청구서에서 문서 파이프라인을 조용히 틀리게 만드는 바로 그 실패 모드이기 때문입니다. 또한 그것은 이를 측정해야 하는 근거이기도 합니다. 그럴듯한 답으로 대체하는 모델은 확신에 찬 출력을 내놓기 때문에, 하류에서는 아무것도 그것을 잡아내지 못합니다.

Qwen3.8-27B가 다른 방에 있는 곳

44.81은 실제 수치이며, 이 글에서 Qwen3.8-27B가 여기서 평가받는 유일한 숫자이기도 합니다. Qwen3.8-27B 자체 카드에는 전혀 다른 항목들이 보고되어 있으며, 두 모델이 동일한 하네스에서 실행된 적이 없기 때문에 그중 어느 것도 ZoomGain 수치와 비교할 수 없습니다.

• 에이전트 기반 코딩. Terminal Bench 2.1에서 73.0, SWE-bench Pro 61.7, LiveCodeBench v6 90.3, QwenSWEBench 79.0 — 모두 Qwen 자체 모델 카드에 벤더 보고 수치로 기재되어 있으며, 하네스 노트도 함께 공개되었습니다.

• 추론 및 컴퓨터 사용. GPQA Diamond 89.2, HLE 30.8, OSWorld-Verified 84.3, WebArena-Verified 64.8.

• 멀티모달 작업. OmniDocBench 1.5에서 91.1, CharXiv 추론은 사고 과정 주입 없이 83.7, 주입 시 90.2, RealWorldQA 85.9, MathVision 90.0.

• 지원 기능. 기본적으로 사고 기능이 켜져 있으며 reasoning_effort는 xhigh, medium 또는 low로 설정됩니다. 턴 간 사고가 보존되고, 네이티브 도구 호출, 구조화된 출력, 비디오 입력을 지원하며, 262,144개 위치를 기본 지원하고 최대 100만 개까지 확장할 수 있습니다.

ZoomGain-4B는 이들 중 어느 것에서도 평가된 적이 없으며, 어느 것에서도 좋은 성과를 낼 것으로 기대되지 않습니다. 학습 과정에서 코드, 터미널 작업, 문서, 차트를 전혀 다루지 않았기 때문입니다. 또한 사고(thinking) 모드에서의 평가 결과도 보고된 바 없습니다. 이번 릴리스의 자체 하네스는 온도 0에서 사고 기능을 비활성화한 채 실행되므로, 공개된 모든 내용은 직접 답변 방식의 동작을 설명하는 것입니다. Qwen3.8-27B의 44.81도 동일한 방식으로, enable_thinking=false를 사용해 측정되었습니다. 이 설정은 비교를 공정하게 만드는 단 하나의 조건이자, Qwen의 최상의 모드가 검증되지 않은 채 남게 하는 단 하나의 조건이기도 합니다.

간단히 말해, ZoomGain-4B가 훈련된 축에서는 이 모델이 이기고, Qwen3.8-27B가 만들어진 축에서는 4B는 그 자리에 없다. 둘 다 놀라운 일이 아니며, 어느 하나만을 전부인 양 다루는 것이 바로 비교 페이지를 쓸모없게 만드는 방식이다.

각각 구축하는 데 드는 비용과, 오늘 바로 연락할 수 있는 한 곳

바로 이 지점에서 둘이 갈리며, 그 차이는 벤치마크가 아니라 배포를 결정하는 방식으로 드러난다.

ZoomGain-4B는 어디에도 호스팅된 엔드포인트가 없습니다. 존재하는 것은 BF16 저장소이며, 언어 모델과 별도 비전 인코더에 걸쳐 45억 4천만 개의 파라미터가 있고, 세 가지 GGUF 빌드가 있습니다: Q4_K_M은 2.71GB, Q8_0은 4.48GB, F16은 8.42GB이며, 각각 자체 mmproj 프로젝터(각각 0.23GB, 0.36GB, 0.67GB)와 짝을 이룹니다. GGUF 카드에서는 이 프로젝터가 이미지 입력에 필요하다고 명시합니다. 실행하려면 llama-mtmd-cli 또는 llama-server를 Q​wen3.5 멀티모달을 인식할 만큼 최신인 llama.cpp 빌드에서 사용해야 합니다. 전체 정밀도로 실행하려면 transformers 5.7.0과 함께 vLLM 0.19.1이 필요합니다. MLX 빌드도, ONNX도, 추측 디코딩용 드래프트 모델도 없으며, 빌드가 깨질 경우 대체할 제공자도 없습니다.

Qwen3.8-27B는 OrcaRouter 카탈로그에 있으며, 저희는 다른 곳의 엔드포인트를 재판매하는 대신 자체 인프라에서 해당 가중치를 직접 구동합니다. 그래서 모델 페이지에 표시된 가격이 곧 실제 가격이며, 그 위에 마진이 덧붙거나 중간에서 공급업체 정가가 할증되는 일이 없습니다. 가격은 입력 토큰 100만 개당 $0.33, 출력 토큰 100만 개당 $2.40이며, 텍스트·이미지·비디오 입력, 262,144 토큰의 컨텍스트, 단일 키를 지원합니다. 동일한 키로 Qwen3.8-Flash(100만 토큰당 $0.15 및 $0.47, 100만 토큰 윈도)와 Qwen3.8-Max($2.00 및 $6.00)에도 접근할 수 있어, 27B의 한도를 넘어서거나 더 긴 윈도가 필요한 워크로드도 별도의 계약이나 코드 변경 없이 옮길 수 있습니다. 프로덕션 환경에서 가장 중요한 부분은 장애 조치입니다. 지연된 제공업체는 요청이 타임아웃된 뒤가 아니라 응답이 시작되기 전에 재시도됩니다.

ZoomGain-4B는 그 카탈로그에 없으며 우리를 통해 호출할 수 없습니다. 그것은 직접 서빙하는 가중치 폴더이고, 정직한 추천은 거기서부터 시작해야 합니다.

누가 행동해야 하며, 무엇이 아직 확인되지 않았는가?

이미지 비중이 큰 작업에서 답이 작은 세부 사항—라벨의 부품 번호, 화면의 색상, 나사가 두 개인지 세 개인지—에 달려 있다면, 바로 그 작업에 특화해 RL된 4.54B 모델을 Q4_K_M에서 2.71 GB로 로컬 실행하는 것은 호스팅된 범용 모델과 함께 돌릴 만한 믿을 만한 저렴한 세컨드 오피니언이다. 그것을 대신하는 것이 아니라. 전문 모델의 실패 프로파일은 확신에 찬 대체이며, 이는 범용 모델 점검이 잡아내는 바로 그 실패이고, 그 반대도 마찬가지다.

워크로드가 문서, 차트, 스크린샷, 동영상, 코드 또는 에이전트라면 27B가 바로 선택할 모델이며, 아무도 훈련시키지 않은 세부 묘사 벤치마크에서의 44.81점은 생각을 달리할 이유가 아닙니다.

아직 확인되지 않았고, 가정하기보다 지켜볼 가치가 있는 것:

• 가중치 라이선스. Apache 2.0은 코드에 적용됩니다. 체크포인트에는 라이선스 태그가 없으며, 모델 카드는 해당 조건을 명시하지도 않은 채 "각 데이터셋과 체크포인트의 약관"을 따르라고만 미룹니다. 이것이 해결되기 전까지 상용 배포는 체크박스 하나로 끝날 문제가 아니라 변호사와 상담해야 할 사안입니다.

• 모든 재현. 위의 모든 수치는 저자가 보고한 것으로, 저자들 자체 하네스에서 산출되었습니다. 벤치마크와 평가기는 공개되어 있어 검증 가능하지만, Ant Group과 Zhejiang University 외부의 누구도 이를 검증하지 않았습니다.

• 성능 향상이 파이프라인 밖으로 일반화되는지 여부. 신뢰해야 할 것은 홀드아웃 수치이며, 이는 기본 모델의 13개 벤치마크 평균 대비 6.10점으로 완만하고, 훈련이 겨냥한 세밀한 계열 쪽으로 크게 치우쳐 있습니다. 그것이 당신의 이미지로 전이되는지는 이번 릴리스가 답하지 않는 미해결 질문입니다.

• Q4에서도 성능이 유지되는지. GGUF 카드에는 양자화가 정확도에 영향을 미칠 수 있다고 경고되어 있으며, ZoomGainBench에서 양자화 빌드를 BF16 체크포인트와 비교한 자료는 공개된 바 없습니다. 전체 가치가 미세한 디테일에 있는 모델이라면, 2.71 GB 파일을 신뢰하기 전에 반드시 실행해 봐야 할 실험입니다.