ZoomGain-9B vs MathForm 8B: 서로의 작업을 수행할 수 없는 두 9B 체크포인트

ZoomGain-9B와 MathForm-8B 뒤에는 답하기 곤란한 질문이 도사리고 있다. 둘 다 대략 90억 파라미터 규모의 파인튜닝 모델로 같은 80일 기간 안에 공개되었고, 둘 다 논문이 첨부된 중국 연구소의 Apache-2.0에 준하는 연구 공개물이며, 둘 다 수천 개의 예시로 강화 학습을 통해 후훈련되었고, 둘 다 자기 크기에서는 불가능해 보이는 벤치마크 점수를 달고 있다. 유혹은 이 둘의 순위를 매기는 것이다. 문제는 둘 중 하나는 이미지를 본 적이 없고 다른 하나는 Lean 증명을 본 적이 없어서, 순위를 매길 축이 없다는 점이다.

ZoomGain-9B는 inclusionAI가 2026년 11월 10일에 공개한 비전-언어 체크포인트로, 잘라낸 이미지 세부 정보에서 추출한 9,000개의 질문으로 GRPO를 통해 학습되었으며, 보고된 최고 성능은 HR-Bench 4K에서 90.25입니다. MathForm-8B는 OpenBMB가 2026년 8월 14일에 공개한 자동 형식화기로, 약 367,000개의 Lean 4 예제로 지도 미세 조정 후 강화 학습을 거쳐 학습되었으며, 보고된 최고 성능은 6개 자동 형식화 벤치마크 전반에서 구문 검사 pass@8 평균 88.06%입니다. 어느 수치도 다른 모델에 대해 말해 주지 않습니다. 두 모델을 연결하는 것은 순위보다 더 유용한 무언가입니다. 두 릴리스는 작은 미세 조정 모델이 훨씬 더 큰 범용 모델을 이길 수 있는 방식에 관해 유난히 비슷한 주장을 하며, 그 주장을 정당화하는 방식은 어느 쪽을 무엇에 믿고 써야 하는지 알려 줄 만큼 충분히 다릅니다.

이름이 지정된 빈 열

ZoomGainBench에는 텍스트 전용 모델이 포함되어 있지 않습니다. 이 벤치마크는 사진에 관한 질문, 즉 속성 인식, 개수 세기, OCR에 관한 질문 모음이므로 비전 인코더가 없는 모델은 참가할 수 없으며 MathForm-8B도 참가하지 않았습니다. 반대로 MathForm의 여섯 가지 평가 벤치마크는 FormalMATH, ProverBench, CombiBench 및 세 가지 FATE 분할이며, 모두 자연어 수학을 Lean 4로 번역하는 작업입니다. ZoomGain-9B는 그중 어느 것에서도 실행된 적이 없고, 훈련 과정에 형식 언어가 전혀 포함되지 않았으므로 잘 수행할 것이라고 믿을 이유가 없습니다.

이것은 벤치마크에 관한 기술적 세부 사항이 아닙니다. 그것은 결정의 전체 구조입니다. 작업이 이미지를 생성하고 짧은 사실적 답변을 입력으로 받는다면, MathForm-8B는 이를 시도할 수 없는 텍스트 모델입니다. 작업이 수학적 진술을 입력으로 받고 기계 검증 가능한 Lean 4 증명을 출력한다면, ZoomGain-9B는 한 번도 요구받은 적 없는 비전 모델입니다. 측정할 겹치는 부분이 없으며, 이는 정직한 비교가 구성, 증거, 운영 비용에 관한 것임을 뜻합니다 — 그리고 그것들은 상당히 크게 다릅니다.

작은 두 가지 RL 레시피와 둘 사이의 차이점

ZoomGain의 훈련 세트는 7,713개의 원본 이미지에 걸쳐 9,000개의 레코드로 구성됩니다. 1 에폭, 배치 크기 64, 질문당 8회의 롤아웃, 선택한 옵션이 참조 정답과 일치하는지 확인하는 보상을 사용하는 GRPO입니다. 이 데이터는 주석이 아니라 생성된 것입니다. 여러 모델이 영역을 찾아내고, 크롭에 캡션을 붙여 전체 장면 캡션과 비교하며, 크롭이 드러내는 세부 사항이 전체 이미지에 대한 질문이 됩니다. 사람의 관여는 스크리닝에만 국한되었습니다. 논문은 수동 질의응답 편집이 이루어지지 않았다고 명시합니다.

MathForm의 훈련 세트는 FormalVerse이며, 약 367,000개의 검증된 Lean 4 예제입니다. 먼저 지도 미세 조정을 수행한 다음, Lean 컴파일과 의미 일관성 검사에서 얻은 피드백을 활용한 강화 학습을 진행합니다. 데이터 구축에는 생성 전 Mathlib 검색과 생성 후 반복적 개선이 사용되었으며, 컴파일러 진단이 수정 작업을 이끌었습니다.

• 기본 모델 — ZoomGain-9B는 Qwen3.5-9B(32개 레이어, 은닉 크기 4,096, 중간 크기 12,288, 262,144개 위치, 3:1 linear-to-full attention 스케줄)를 기반으로 사후 학습되었습니다. MathForm-8B는 Qwen3-8B(36개 레이어, 모두 full attention, 은닉 크기 4,096, 중간 크기 12,288, 40,960개 위치, 헤드 차원 128에서 32개 query head 대 8개 KV head, rope theta 1e6)를 기반으로 사후 학습되었습니다.

• 공유된 차원 — 두 모델 모두 Q​wen 부모로부터 4,096의 은닉 폭과 12,288의 중간 폭을 물려받았으며, 이는 두 모델 사이에서 가장 눈에 띄는 단일 우연이자 미세 조정이 아닌 모델 패밀리의 속성입니다.

• 어휘 — ZoomGain-9B는 248,320토큰, MathForm-8B는 151,936토큰입니다. MathForm의 어휘는 Qwen3 세대 어휘로, 이는 중요합니다: Lean 4 코드, 유니코드 수학 기호, 증명 토큰이 각 모델에서 다르게 토큰화됩니다.

• 맥락 — ZoomGain-9B의 카드에는 아무것도 명시되어 있지 않고, 해당 config에는 262,144가 선언되어 있습니다. MathForm-8B의 config에는 40,960이 선언되어 있으며, 권장 서빙 명령은 16,384로 제한되고 max_new_tokens는 16,384토큰입니다. 자동 형식화에서는 입력이 아니라 출력 길이가 핵심 제약 조건입니다.

• 모달리티 — 하나는 이미지와 텍스트를 입력받아 텍스트를 출력하고, 다른 하나는 텍스트를 입력받아 텍스트를 출력합니다.

• 라이선스 — ZoomGain-9B: 코드 Apache 2.0, 체크포인트 약관은 보류되었으며 Hub 메타데이터에 라이선스 태그 없음. MathForm-8B: Apache 2.0, 저장소에 LICENSE 파일 포함.

• 배포 — ZoomGain-9B는 BF16과 F16, Q8_0, Q4_K_M의 GGUF를 제공합니다. MathForm-8B는 총 약 16.4GB인 네 개 샤드의 BF16 safetensors와 커뮤니티 GGUF 및 MLX 빌드를 갖추고 있지만, 자체 벤더 제공 양자화는 없습니다.

MathForm-8B의 숫자들, 그리고 보기보다 확인하기 쉬운 이유

OpenBMB는 자사의 여섯 벤치마크에서 평균 구문 검사 pass@8 88.06% 및 일관성 검사 pass@8 72.37%를 보고합니다. 같은 표에서 ReForm-8B는 81.76과 66.21에 도달하고, Goedel-Formalizer-V2-32B는 78.28과 63.74에, StepFun-Formalizer-32B는 63.65와 44.47에 도달합니다. 세 가지 FATE 분할은 특화 모델이 붕괴하고 MathForm은 그렇지 않은 지점입니다: FATE-X는 ReForm-8B의 45.00 및 21.00에 비해 구문 54.00, 일관성 37.00을 기록합니다.

이 수치들을 일반적인 벤더 표보다 더 신뢰할 만하게 만드는 두 가지가 있다. 첫째, 이 과제들은 지각 과제와 달리 기계적인 방식으로 검증된다. Lean 4 명제는 컴파일되거나 되지 않으며, 일관성 검사는 의미를 원문 명제와 비교한다. 부분적으로 기계 검증이 가능한 벤치마크는 낙관적으로 점수를 매기기가 더 어렵다. 둘째, 논문은 SFT만 적용한 모델이 더 나쁘다고 밝힌다. MathForm-8B-SFT는 구문 84.38점, 일관성 66.53점을 기록하므로, RL 단계는 완성된 모델을 꾸미는 것이 아니라 측정 가능한 일을 하고 있는 것이다.

모델 자체의 프레이밍에 어긋나기 때문에 인용할 만한 비교도 있다. 동일한 여섯 개 벤치마크에서 범용 상용 엔드포인트인 Qwen3.7-Plus는 구문 86.33점, 일관성 83.38점을 기록한다. MathForm-8B는 구문에서 1.7점 앞서고 일관성에서는 11점 뒤진다. 특화 파인튜닝 모델은 정확 일치 작업에서는 이기지만, 형식화가 원문과 같은 의미를 지녀야 하는 작업에서는 진다. 파이프라인에 컴파일되는 문장이 필요하다면 작은 특화 모델이 가성비가 좋다. 충실한 문장이 필요하다면 검색을 결합한 범용 모델이 여전히 앞설 수 있다.

동일한 산정 기준으로 계산한 ZoomGain-9B의 수치

저자들은 HR-Bench 4K에서 베이스 모델의 82.13에 대비해 90.25를, V*Bench에서 86.91에 대비해 93.19를, VisualProbe에서 44.66에 대비해 56.31을, MMVP에서 60.00에 대비해 70.00을, O3-Bench에서 56.52에 대비해 68.12를 보고한다. 13개 벤치마크에 걸친 홀드아웃 평균은 59.75에 대비해 66.10이다. 훈련 데이터와 동일한 파이프라인으로 구축된 벤치마크인 ZoomGainBench에서 모델은 55.48을 기록하며, 논문은 그 구분을 숨기기보다 해당 열을 "Held-in"이라고 표기한다.

MathForm의 근거와의 구조적 차이는 ZoomGain의 벤치마크가 같은 방식으로 기계 검증 가능하지 않다는 점이다. 객관식 답은 정확 일치이고, 카운팅은 정수에 대한 정확 일치이며, OCR은 ANLS로 채점된다. 그러나 질문 자체는 생성된 것이고, 저자들이 자체적으로 한 확인은 잘라낸 뷰에서 답을 검증할 수 있다는 것이다. 검증된 답이 있는 생성된 질문은 여전히 생성된 질문이다.

두 릴리스 모두 부분적으로 모델을 주석자로 활용해 제작되었다. ZoomGain의 부록에는 역할이 명시되어 있다. 장면 캡셔닝, 그라운딩 및 최종 MCQ 검증에는 Qwen3.5-397B-A17B, 크롭 기반 검증 및 블라인드 응답에는 Qwen3-VL-235B-A22B-Instruct와 Kimi-K2.6, 오답 선택지 군집화에는 DeepSeek-V4-Pro가 사용되었다. MathForm의 FormalVerse는 Mathlib에서 검색한 뒤 컴파일러가 잘못된 생성을 거부하도록 하는 파이프라인으로 구축되었다. 한 파이프라인은 설득해도 동의하게 만들 수 없는 검증기에 의존하고, 다른 파이프라인은 모델이 다른 모델의 작업을 검사하는 방식에 의존하며 인간의 스크리닝만 거친다.

운영 팀이 물어볼 용어로 그것들을 제공하는 것

ZoomGain-9B는 BF16에서 18.82GB이며, vLLM 0.19.1 및 transformers 5.7.0(저자들이 사용한 정확한 버전)에서 실행되거나, Qwen3.5 멀티모달 지원이 포함된 llama.cpp 빌드에서 GGUF 파일과 프로젝터를 사용해 실행됩니다. 선형 어텐션 비중이 높은 트렁크는 긴 시퀀스 길이에서도 KV 캐시를 작게 유지하는데, 이는 단일 요청이 긴 문서 대신 고해상도 이미지를 담을 때 중요한 특성입니다.

MathForm-8B는 BF16에서 약 16.4 GB이며, 최대 모델 길이 16,384로 vLLM에서 서빙되거나 동일한 컨텍스트로 SGLang에서 서빙됩니다. temperature 0.6, top-p 0.95, 16,384토큰 출력 예산으로 동작합니다. 이 모델을 평가하려면 실행 중인 Kimina Lean Server와 Lean 4.21.0이 필요합니다. 바로 이 부분을 사람들이 과소평가합니다. 단순히 모델만 배포하는 것이 아니라 그 옆에 Lean 툴체인까지 함께 배포하는 것입니다. 컴파일 피드백은 학습 중에는 보상 신호이고 평가 중에는 합격 테스트이므로, Lean이 없는 파이프라인에서는 이 모델이 제대로 작동하는지 측정할 수 없습니다.

둘 다 현재 OrcaRouter 카탈로그에 없으며, 이 글은 그렇다고 주장하지 않습니다. 우리가 할 수 있는 일은 주변 작업을 라우팅하는 것입니다. 스캔한 페이지를 읽은 다음 그 페이지의 수학을 검사하는 문서 파이프라인은 두 부분으로 나뉩니다: 비전 호출과 추론 호출입니다. 공급업체 정가에 마크업을 추가하지 않고 200개 이상의 모델에 걸쳐 사용하는 하나의 키, 각 절반을 귀하의 기준을 충족하는 엔드포인트로 보내는 라우팅 규칙, 그리고 둘 중 하나가 멈출 경우 자동 페일오버 — 이것이 두 절반을 뒷받침하는 계층이며, 두 모델 파이프라인이 반드시 두 공급업체와 두 계약을 의미하지 않아도 되는 이유입니다.

어느 것을 다운로드해야 하나요?

문제가 형식적이고 툴체인이 이미 Lean이라면 MathForm-8B를 선택하세요. 증거가 더 강력하고, 라이선스가 명확하며, 출력은 기계적으로 검증 가능합니다. 그리고 범용 모델 대비 11포인트 일관성 격차는 도입하기 전에 알아야 할 실제 한계입니다. 특히 FATE 분할에서는 이를 선택하세요. 특화 베이스라인은 일관성이 21%까지 떨어지지만 이 모델은 37%를 유지합니다.

문제가 그림 속 세부 사항이고 답이 짧다면 ZoomGain-9B를 선택하세요. 9,000개 샘플 기준의 홀드아웃 성능 향상은 믿을 만하고, 벤치마크를 내려받아 그 주장을 직접 확인할 수 있으며, 출시 전에 반드시 읽어야 할 것은 라이선스입니다. 일반 비전 어시스턴트로 기대하고 선택하지 마세요. 릴리스에서는 그런 것을 테스트하지 않습니다.

그리고 어느 쪽이 더 나은 90억 매개변수 모델인지에 대한 판정을 기대하고 있었다면, 릴리스 노트가 어떤 순위보다도 그 답을 더 잘 보여준다. 두 모델은 서로 다른 종류의 그라운드 트루스와 대조해 확인하도록 만들어졌고, 그 그라운드 트루스 중 컴파일되는 것은 하나뿐이다.