ZwZ2-9B vs MathForm-8B: 동일한 트렁크, 매우 다른 두 가지 진실의 양

같은 계열의 서로 다른 세대를 기반으로, 서로 다른 두 연구소에서 팔 주 간격으로 공개된 두 모델 — 그런데 두 모델의 트렁크 폭은 같다. MathForm-8B는 OpenBMB가 2026년 8월 14일 Qwen3-8B의 파인튜닝으로 공개한 모델로, 은닉 크기 4,096에서 36개 층을 실행하고 중간 크기는 12,288이다. ZwZ2-9B는 inclusionAI가 2026년 10월 16일 Qwen3.5-9B 스택에 게시한 모델로, 은닉 크기 4,096에서 32개 층을 실행하고 중간 크기는 12,288이다. 부모 세대는 서로 다르고, 어휘 크기는 151,936과 248,320이며, 하는 일도 완전히 다른데 — 둘 모두 동일한 4,096×12,288 트렁크 구조를 갖는다. 이들을 구분 짓는 것은 아키텍처가 아니다. 한쪽은 논문, 데이터셋, 평가 하네스, 라이선스를 함께 제공하지만, 다른 쪽은 파일 여덟 개를 함께 제공한다.

짧게 말하면: 문제를 "이 산문을 Lean 4로 바꿔라"라고 설명할 수 있다면, MathForm-8B는 발표된 수치를 갖춘 문서화된 전문 모델이므로 그것을 사용해야 한다. 문제가 픽셀을 다루고 범용 비전-언어 모델을 원한다면, ZwZ2-9B는 아무도 특성을 규명하지 않은 9.4B 체크포인트이며, 이를 채택한다는 것은 그 첫 번째 평가자가 된다는 뜻이다. 이 비교에서 흥미로운 부분은 그 비대칭성이 공유된 유산의 가치가 얼마나 되는지에 관해 무엇을 가르쳐 주는가이다.

두 후손, 한 세대 차이

MathForm-8B는 Qwen3-8B의 파생 모델이며 이를 공개적으로 밝힙니다. 해당 카드에는 기본 모델, 학습 데이터셋, 학습 방법 및 논문이 기록되어 있습니다. 구성은 교과서적인 Qwen3 레이아웃입니다. 즉 36개 레이어, 헤드 차원 128에서 8개의 키-값 헤드에 대응하는 32개의 쿼리 헤드, 151,936개 토큰 어휘, 40,960개 포지션 상한, rotary base 1,000,000, 그리고 모든 레이어에서의 전체 어텐션입니다. 이국적인 것도, 숨겨진 것도 없습니다.

ZwZ2-9B는 단 하나의 Hub 태그를 통해서만 그렇다고 밝히는 Qwen3.5-9B 파생 모델이다. 그 config는 Qwen3_5ForConditionalGeneration으로 해석되며, 삭제된 하나의 멀티 토큰 예측 계층을 제외하면 모든 아키텍처 값이 Qwen3.5-9B와 일치한다. 248,320개 토큰 어휘, 262,144 위치 상한, 인터리브된 M-RoPE, 비전 타워는 모두 변경 없이 계승되었다.

• 파라미터 — ZwZ2-9B: 9,409,813,744. MathForm-8B: 카드에 명시된 대로 80억.

• 상위 모델 — Qwen3.5-9B vs Qwen3-8B, 즉 두 모델은 서로 다른 Qwen 세대의 서로 다른 어텐션 설계를 물려받습니다.

• 어텐션 — 36개 레이어 전체에 전체 어텐션을 적용하는 대신, 24개의 선형 어텐션 레이어와 8개의 전체 어텐션 레이어를 사용합니다.

• 트렁크 구조 — 둘 모두 히든 크기 4,096, 중간 크기 12,288입니다.

• 어휘 — 248,320개(내부에 이미지 및 비디오 토큰 ID 포함) 대 151,936개, 텍스트 전용.

• 컨텍스트 상한 — 262,144개 포지션 vs 40,960개.

• 모달리티: — 텍스트, 이미지, 동영상 대 텍스트만.

• 공개된 근거 — 설정 파일 대 논문, 데이터셋, 평가 파이프라인, 그리고 Apache-2.0 약관.

MathForm-8B가 내놓는 것

이 카드는 이례적으로 완전하며, 뒤의 대비가 그것에 달려 있으므로 짚어볼 가치가 있다. MathForm-8B는 자연어 수학 명제를 Lean 4로 번역한다. 이는 OpenBMB가 함께 공개한 데이터셋인 FormalVerse로 지도 미세조정 후 강화 학습을 거쳐 훈련되었으며, Lean 컴파일과 의미 일관성 피드백이 보상 신호를 제공했다. 논문은 MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement, arXiv 2608.14221이며, 저장소에는 평가 파이프라인, 벤치마크 파일 및 Pass@k 스크립트가 포함되어 있다.

결과는 두 가지 별도 기준에 따른 Pass@8 통과율로 보고된다. Syntax Check는 생성된 Lean이 실제로 컴파일되는지를 뜻하고, Consistency Check는 컴파일되면서 원래 문제와 같은 내용을 말하는지를 뜻한다. 이 카드는 여섯 개 벤치마크 전반에서 구문 기준 매크로 평균 88.06, 일관성 기준 72.37을 보고하는데, 이는 카드가 나열한 다른 8B 오토포멀라이저들보다 앞서며 구문 열에서는 여러 32B 항목보다도 앞선다. 그 마지막 비교는 반복하기보다 검증해 볼 만한 종류의 주장이고, 이를 검증하는 일을 사소하지 않게 만드는 설정상의 세부 사항이 하나 있다. 컴파일 검사에는 실행 중인 Kimina Lean Server가 필요하며, 실험에는 Lean 4.21.0이 사용되었다. 이것은 Python 스크립트로 점수를 매길 수 있는 체크포인트가 아니다.

위의 모든 수치는 공급업체가 보고한 것입니다. OpenBMB가 평가를 수행했고, OpenBMB가 이를 발표했으며, 저장소에는 이를 재현할 스크립트도 실제로 포함되어 있습니다. 이는 대부분의 연구소가 제공하는 것보다 많은 수준이며, 검증되지 않았더라도 이 수치에 가치가 있는 이유입니다. 이 카드는 권장 생성 설정인 temperature 0.6과 top-p 0.95도 공개하는데, 이는 카드가 없는 모델이라면 추측해야 할 종류의 작은 운영상 세부 사항입니다.

ZwZ2-9B가 테이블 위에 내놓는 것

하나의 config.json, 하나의 tokenizer_config.json, 채팅 템플릿, 그리고 18.8 GB의 가중치. README도 없고, 라이선스 필드도 없고, 파이프라인 태그도 없고, 데이터셋도 없습니다. Hub는 다운로드 0회와 좋아요 2개를 보고하며, 이를 포함하는 inclusionAI 컬렉션은 없습니다.

Reading the files does yield real information, and it is worth doing before dismissing the checkpoint. The chat template injects a default system prompt when a request arrives without one, and it defaults to not reasoning — it emits an empty <think></think> block unless a caller explicitly asks for thinking, which is the opposite of what its Qwen3.5-9B parent does. The config carries a 27-layer vision tower and a video processor accepting up to 768 frames at 2 frames per second. The parameters are 9,409,813,744 across 760 tensors, all bfloat16.

그중 어느 것도 모델이 무엇을 잘하는지, 무엇으로 훈련되었는지, 인스트럭션 모델인지 다른 무엇인지, 어떤 조건으로 사용할 수 있는지를 알려주지 않는다. MathForm-8B는 첫 화면에서 네 가지 질문 모두에 답한다. ZwZ2-9B는 어디에서도 그중 어느 것도 답하지 않는다.

공유된 4,096은 우연이 아니며, 지름길도 아니다

두 모델 모두 폭 4,096의 트렁크와 12,288의 중간 크기를 사용하며, 그 이유는 두 경우 모두 같습니다: 그 정도 크기의 Qwen 세대이기 때문입니다. Qwen3-8B와 Qwen3.5-9B는 서로 다른 설계입니다 — 전 구간 완전 어텐션을 쓰는 것과 선형 어텐션과 완전 어텐션을 3대 1로 섞는 것 — 하지만 둘 다 같은 폭 위에 지어졌습니다. 그것이 작은 Qwen이라는 것이기 때문입니다. 파인튜닝이 부모의 모든 차원을 물려받는 모습을 지켜보는 것은, 파인튜닝이 부모의 속성을 통째로 물려받는다는 가장 명확한 증거입니다: 형태만이 아니라 강점과 실패 모드까지도. MathForm-8B는 어느 부모에서 왔는지 알려주므로, 그것에 대해 찾아 읽을 수 있습니다. ZwZ2-9B는 알려주지 않으며, Hub 태그가 유일한 연결 실마리입니다.

실제로 필요한 것은 어느 것인가요?

이것들은 대체물이 아니며, 겹치는 부분은 거의 0에 가깝습니다. MathForm-8B는 한 가지 일만 합니다: 자연어 수학 명제를 컴파일되는 Lean 4로 바꾸는 것입니다. 실행 중인 Lean 서버가 필요하다는 점을 포함해, 그 모델의 평가 체계 전체가 이를 중심으로 구축되어 있습니다. 그것이 당신의 문제라면, 이는 재현 가능한 툴링을 갖춘 강력하고 문서화된 Apache-2.0 해답이며, 72.37이라는 일관성 수치가 넘어서야 할 숫자입니다 — 구문이 아니라 일관성입니다. 왜냐하면 컴파일은 되지만 다른 의미를 지니는 형식화는 컴파일 실패보다 더 큰 비용을 초래하는 버그이기 때문입니다.

ZwZ2-9B는 범용 비전-언어 모델입니다. 자동형식화에 대해 평가된 적이 없고, 언급할 만한 Lean 토크나이저 고려 사항도 없으며, 이전 연구가 세밀한 시각 인지에 관한 것이었던 연구실에서 발표했습니다. Lean 벤치마크에서 ZwZ2-9B 점수를 찾아 나서지 마세요. 존재할 이유가 없습니다.

진짜 질문은 애초에 전문가형을 원하는지 범용가형을 원하는지입니다. 전문가형은 자기 한 가지 일에는 더 뛰어나지만 그 밖에서는 쓸모가 없습니다. 범용가형은 모든 특정 작업에서 더 형편없지만, 입력 형태가 달라질 때는 유일한 선택지입니다. 이 비교가 한쪽으로 기울어진 이유는 둘 사이의 8주나 10억 개의 파라미터 때문이 아니라, 둘 중 하나는 전문가형에게 필요한 문서와 함께 공개되었고 다른 하나는 다른 누군가의 작업을 위한 출발점으로 공개되었기 때문입니다.

두 기능을 하나의 파이프라인에서 사용하려면

이 두 모드가 만나는 실제 패턴이 있습니다. 범용 모델이 모호한 문서를 읽고, 수학적 주장을 추출해 형식화기에게 넘기면, 검증기가 그 결과가 성립하는지 판단합니다. 이는 서로 다른 역할을 가진 세 번의 모델 호출이며, 라우팅 계층이 저렴하게 만들기 위해 존재하는 형태입니다 — OrcaRouter의 라우팅 DSL은 여러 모델을 단일 호출로 구성하므로 팬아웃과 후속 호출이 여러분이 유지 관리하는 오케스트레이션 서비스가 아니라 하나의 요청이 됩니다. 여러 모델 패널이 함께 답하고 심판이 가장 강력한 응답을 고르는 모델 퓨전은, 파이프라인이 아니라 하나의 어려운 질문에 적용된 같은 아이디어입니다.

ZwZ2-9B도 MathForm-8B도 저희 카탈로그에는 없으며, 그걸 그럴듯하게 포장할 생각도 없습니다. MathForm-8B는 Apache-2.0으로 다운로드할 수 있고 자체 vLLM 또는 SGLang 인스턴스에서 서빙할 수 있으며, ZwZ2-9B는 엔드포인트가 전혀 없는 리포지토리입니다. 그 파이프라인의 추론 쪽에서 오늘 라우팅할 수 있는 것은 qwen/qwen3.8-27b — Qwen의 현 세대 덴스 플래그십으로, Apache-2.0에 262K 토큰 컨텍스트와 1M 토큰 호스팅 상한을 갖추고 있으며, 입력 100만 토큰당 $0.33, 출력 100만 토큰당 $2.40, 공급자 정가 그대로 아무것도 더하지 않고 전달됩니다.

비대칭성의 가치는 무엇인가

MathForm-8B는 글을 쓰기에 더 나은 모델이다. 확인할 것이 있기 때문이다. ZwZ2-9B는 더 흥미로운 아티팩트다. 튜닝된 채팅 템플릿과 제거된 예측 헤드를 갖춘 9.4B 체크포인트는 누군가 실제 작업을 했다는 증거이기 때문이다 — 그리고 inclusionAI가 ZwZ라는 이름으로 쌓아온 실적이 있어 다음 글을 지켜볼 가치가 있게 만들기 때문이다.

오늘 결정을 내리는 사람이라면, 규칙은 화려하지 않습니다. 공개된 논문, 데이터셋, 이름이 명시된 베이스 모델, 명시된 라이선스는 서류 작업이 아닙니다. 그것들은 계획을 세울 수 있는 모델과 리버스 엔지니어링해야 하는 모델 사이의 차이이며, 아무리 흥미로운 아키텍처도 그 격차를 메우지 못합니다.

이런 결과는 모델의 실수가 이미 문서화되어 있다는 점을 다시 일깨워 주기도 합니다: 이 계열 모델의 배후에 있는 AI 사고와 에이전트 실패는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목은 자체 출처, 심각도, 신뢰도 등급, 이의 제기 플래그를 함께 갖추고 있습니다.