ZwZ2-9B, 조용히 출시되다: 연구소가 침묵할 때 94억 개의 가중치가 말해주는 것

2026년 10월 16일 03:42 UTC에 Hugging Face 저장소가 다음과 같은 이름으로 등장했습니다: inclusionAI/ZwZ2-9B. 4분 후, 그것은 유일한 커밋인 "ZwZ2-9B 모델 가중치 추가"를 받았고, 그 후에는 아무것도 없었습니다. README도, 라이선스 필드도, 논문 링크도, 벤치마크 표도 없으며, inclusionAI 조직이 유지하는 10개의 공개 컬렉션 중 어디에도 항목이 없습니다. 가중치 자체는 bfloat16으로 9,409,813,744개의 매개변수이며, 이는 하이브리드 어텐션 비전-언어 모델을 설명합니다. 그 구성은 한 줄 한 줄 Qwen3.5-9B의 구성에서 예측 헤드 하나를 제거한 것과 동일합니다. 이것이 확인된 전부입니다. 이 글의 나머지 모든 내용은 추론으로 표시됩니다. 왜냐하면 모델 카드가 없는 저장소는 누구에게도 그 이상을 허용하지 않기 때문입니다.

참고로, 이건 정상이며, 주의사항이 쌓이기 전에 말해둘 만합니다. inclusionAI는 Ling, Ring, LLaDA, Ming 계열을 만든 오픈 웨이트 연구소로, 어떤 설명 문구가 나오기 며칠 또는 몇 주 전에 체크포인트를 먼저 올리는 습관이 있습니다. 이보다 3일 전인 10월 13일에도 Ling-3.1-flash를 짧은 카드와 함께 올렸고, 별도 발표도 없었습니다. 조용한 저장소는 위험 신호가 아닙니다. 그것은 마케팅이 아니라 파일을 읽어야 할 이유입니다.

저장소에 실제로 무엇이 들어 있나요?

여덟 개의 파일이 있으며, 그 목록 자체가 이야기입니다: .gitattributes, chat_template.jinja, config.json, generation_config.json, 단일 18.8GB model.safetensors, processor_config.json, tokenizer.json 그리고 tokenizer_config.json. 다음 파일은 없습니다: README.md. 다음 파일도 없습니다: LICENSE. 저장소에는 정확히 세 개의 태그가 있습니다 — safetensors, qwen3_5 그리고 region:us — 이는 허브에 이에 대한 파이프라인 태그가 전혀 없음을 의미합니다: image-text-to-text, text-generation 등 어느 것으로도 분류되지 않습니다. 작성 시점 기준으로 다운로드 0회, 좋아요 2개를 기록하고 있습니다.

• 총 파라미터 수 — 760개 텐서에 걸쳐 9,409,813,744개, bfloat16.

• 아키텍처 — Qwen3_5ForConditionalGeneration, 모델 유형 qwen3_5.

• 텍스트 스택 — 32개 레이어, 히든 크기 4,096, 4개 KV 헤드에 대응하는 16개 쿼리 헤드, 헤드 차원 256, 중간 크기 12,288, 어휘 크기 248,320.

• 어텐션 패턴 — 선형 어텐션 레이어 3개, 그다음 전체 어텐션 레이어 1개가 반복: 선형 레이어 24개와 전체 어텐션 레이어 8개.

• 컨텍스트 — 262,144 위치, 로터리 베이스 10,000,000, 섹션 [11, 11, 10]을 사용하는 인터리브된 M-RoPE.

• 비전 타워 — 깊이 27, 은닉 크기 1,152, 패치 크기 16, 공간 병합 2, 시간 패치 2, 4,096으로 투영.

• 라이선스 — 신고된 라이선스가 없습니다. apache-2.0도 아니고, 사용자 지정 라이선스도 아니고, 아무것도 아닙니다.

이 구성은 Qwen3.5-9B 구성입니다.

두 개의 config.json 파일을 비교해 보면 거의 모든 아키텍처 값이 일치합니다. 은닉 크기, 레이어 수, 헤드 수, 헤드 차원, 중간 크기, 어휘, 3:1 선형-전체 어텐션 스케줄, M-RoPE 섹션, 로터리 베이스, 262,144 위치 상한, 그리고 2,304개 위치 임베딩에 이르기까지 비전 타워 전체가 Qwen3.5-9B와 동일합니다. 실질적인 차이는 한 줄입니다: mtp_num_hidden_layers는 Qwen3.5-9B에서는 1이고 여기서는 0이므로, ZwZ2-9B에는 멀티 토큰 예측 헤드가 없습니다. 나머지 diff는 직렬화입니다 — 더 새로운 transformers 버전이 이전 파일이 암시적으로 남겨 둔 필드를 기록하고, 비전 구성의 모델 유형이 이름이 바뀌었습니다: qwen3_5에서 qwen3_5_vision.

그것이 알려주는 바는 좁지만 실질적이다: 이것은 새로운 아키텍처가 아니다. 이것은 Qwen3.5-9B 스택 위의 체크포인트로, 누군가가 사후 학습시킨 것이며, 추측 디코딩 헤드는 제거되어 있다. 그것이 알려주지 않는 것은 그 사후 학습이 무엇이었는지다. 파라미터는 움직였지만, 형태는 그대로였다.

모델이 자기 자신에 대해 뭔가를 실제로 말하는 유일한 곳

채팅 템플릿은 여기에서 유일하게 관점을 지닌 파일이며, 독자가 약 1분 만에 확인할 수 있는 세 가지 방식에서 Qwen3.5-9B와 다르다.

첫 번째는 기본 시스템 프롬프트입니다. 시스템 메시지 없이 요청이 들어오면, ZwZ2-9B의 템플릿은 다음을 주입합니다: "사용자와 어시스턴트 간의 대화입니다. 사용자가 질문하고, 어시스턴트가 그것을 해결합니다… 답변은 <answer> </answer> 태그 안에 포함됩니다." Qwen3.5-9B의 템플릿에는 그런 분기가 없습니다 — 그냥 아무것도 출력하지 않습니다. 출력 형식을 명시하는 내장 시스템 프롬프트는 기본 모델이 아니라 특정 학습 실행의 특징입니다.

The second is the thinking default, and it is inverted. In Qwen3.5-9B the template emits an empty <think></think> block only when the caller explicitly passes enable_thinking: false, which means reasoning is on unless you turn it off. In ZwZ2-9B the condition is not defined or false — the empty block appears by default and the open <think> tag only when a caller explicitly asks for thinking. Same tags, opposite default. Qwen3.8-27B, for the record, kept the Qwen3.5 behaviour, so this is not simply inherited from a newer generation.

세 번째는 다중 턴 추론을 위한 기록 관리입니다: 템플릿은 preserve_thinking 플래그를 이해하며, 그리고 이미 <think> 블록을 포함하고 있는 어시스턴트 턴에서 그 블록을 제거하는 방법을 알고 있습니다. Qwen3.5-9B 템플릿에는 둘 다 존재하지 않습니다. 참고로, 토크나이저는 여전히 오디오 특수 토큰들을 예약해 둡니다 — <|audio_start|>, <|audio_end|>, <|audio_pad|> — 하지만 config 어디에도 오디오 타워가 없으므로, 이를 기능이라기보다는 공유 토크나이저 어휘로 취급하세요.

이름이 암시하는 것, 그리고 그렇지 않은 것

"ZwZ2"는 뭔가의 2세대처럼 읽히고, 가리킬 만한 1세대도 있다. ZwZ-2B는 2026년 3월 4일에 공개되었으며, Region-to-Image Distillation과 강화 학습으로 훈련된 Qwen3-VL-2B-Instruct의 파인튜닝 모델로, 논문 Zooming without Zooming (arXiv 2602.11858)과 ZoomBench 평가 세트와 함께 발표되었다. Apache-2.0이며, 완전한 모델 카드를 갖추고 있고, 7개월 동안 159회 다운로드되었다.

하지만 계보 힌트는 이름이 시사하는 것보다 빈약합니다. ZwZ-2B는 qwen3_vl 아키텍처를 기반으로 합니다. ZwZ2-9B는 qwen3_5를 기반으로 합니다. inclusionAI가 적용한 유일한 태그는 qwen3_5이며, 이 모델은 ZwZ 컬렉션에도, 다른 어떤 컬렉션에도 없습니다. 영역-대-이미지 레시피가 이어졌는지는 정확히 모델 카드라면 답했을 법한 질문이며, 이 저장소는 답하지 않습니다.

검색 엔진이 사람들을 이쪽으로 끌어들일 테니 짚어 둘 만한 함정이 하나 있습니다. 바로 서드파티에서 나온, 2025년 3월자에 해당하는, 관련 없는 더 오래된 ZwZ_32B GGUF 변환 계열입니다. 세 글자만 겹칠 뿐 그 외에는 아무 관련이 없습니다. 이것을 이전 버전의 ZwZ2-9B로 읽으면 안 됩니다.

문서화되지 않은 체크포인트를 처리하는 방법

실용적인 태도는 모델 카드 없이 도착한 가중치를 다룰 때와 같습니다. 먼저 config와 safetensors 헤더를 가져오세요. 이는 비용이 적게 들고 검증할 수 있습니다. 파라미터 수와 텐서 이름이 config가 보장하는 내용과 일치하는지 확인하세요. 그런 다음 해당 아키텍처를 지원하는 프레임워크에서 서빙하고, 존재하지 않는 수치를 빌려오는 대신 이미 자체 트래픽에서 실행 중인 평가를 실행하세요.

주말 이상의 용도라면 라이선스가 중요한 부분입니다. 라이선스 필드가 없는 체크포인트는 오픈된 것과 같지 않습니다. 선언이 없다면 기본적으로 게시자가 권리를 보유한 것으로 간주되며, 이는 이것이 프로덕션에 가까워지기 전에 해야 할 논의이지 그 후에 할 논의가 아닙니다. 또한 직접 실행하게 된다는 점에 유의하세요 — Hub는 이 모델을 제공하는 공급자가 없다고 보고하며, 벤더는 엔드포인트를 공개하지 않았습니다.

바로 이런 상황을 위해 자동 페일오버가 존재합니다. 검증되지 않은 체크포인트를 프로덕션 경로를 걸지 않고 기존 모델과 비교해 평가하고 싶다면, 후보 모델을 이미 신뢰하는 모델들과 동일한 인터페이스 뒤에 두고 새 모델이 문제를 일으키면 트래픽이 다시 돌아가게 하면 됩니다 — 나중에 걷어내야 할 두 번째 통합이 아니라, API 키 하나와 OpenAI 호환 엔드포인트 하나로 말이죠. OrcaRouter는 200개가 넘는 모델을 그런 방식으로 라우팅하며, 공급자 정가를 0% 마크업으로 그대로 전달하고, ZwZ2-9B를 호스팅하지 않습니다 — 카탈로그에 그것에 대한 항목이 존재하는 척할 생각은 없습니다. 오늘 제안할 수 있는 것은 그것이 기반으로 삼은 계열과 그것이 대체하는 계열입니다: Qwen3.5 라인은 여기에서 라우팅할 수 있으며, qwen/qwen3.5-35b-a3b 및 qwen/qwen3.5-flash, 그리고 qwen/qwen3-vl-8b-instruct가 문서화된 호스팅 모델로 8B 비전 슬롯을 담당하며, 입력 토큰 백만 개당 $0.18, 출력 토큰 백만 개당 $0.70입니다.

이것을 릴리스로 만들려면 무엇이 필요할까

세 가지다. 그중 어느 하나만으로도 이 글을 다시 쓸 명분이 충분하다. 리포지토리에 라이선스 필드가 나타나는 것 — 그것은 이를 호기심의 대상에서 기업이 쓸 수 있는 무언가로 바꿔 준다. 평가 수치가 담긴 모델 카드 — 그것은 이를 아키텍처에서 하나의 주장으로 바꿔 준다. 또는 논문 — 가장 가능성이 높은 형태는 첫 번째 ZwZ를 흥미롭게 만들었던 region-to-image 작업을 세 배 크기의 비전 타워에 적용한 것이다.

그중 하나가 현실화되기 전까지는 ZwZ2-9B를 파일 목록에 적힌 그대로, 즉 맞춤형 채팅 템플릿을 갖춘 94억 매개변수 Qwen3.5-9B 파생 모델로 간주하십시오. 이 모델은 아직 누구에게도 그 이유를 밝히지 않은 연구소가 공개한 것입니다. 가중치는 실제입니다. 이야기는 아직 쓰이지 않았으며, 솔직한 입장은 inclusionAI 외부의 누구도 그것을 쓸 수 없다는 것입니다.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.