UserRepGen-4B vs Qwen 3.8: Alibaba의 현행 플래그십에 맞선 7개월 된 4B 파인튜닝

이 조합을 이상하게 만드는 사실부터 시작하자. microsoft/UserRepGen-4B는 2026년 10월 14일 아무런 발표도 없이 업로드되었으며, Qwen3.5-4B의 파인튜닝이다 — 2026년 2월 체크포인트로, 여기서 비교되는 모델보다 꼬박 한 세대 뒤처져 있다. Qwen 3.8은 Alibaba의 2026년 8월 세대이며, 그 제공되는 모델에는 Qwen3.8-Max, 백만 입력 토큰당 $2.00, 백만 출력 토큰당 $6.00에 백만 토큰 컨텍스트를 제공하는 플래그십, Qwen3.8-27B는 262,144개 위치에 $0.33 및 $2.40, 그리고 Qwen3.8-Flash $0.15 및 $0.47이다. Microsoft는 그 패밀리를 보고 4B 베이스를 위해 한 세대 전으로 거슬러 올라갔다. 그런 다음 결과 모델이 자신이 잘하는 단 한 가지에서 GPT-5.5를 능가한다는 표를 공개했다. 그 조합이 이 글의 전부다: 표적 파인튜닝이 최신 플래그십이 주지 못하는 무엇을 얻게 해주는지, 그리고 그것을 얻는 데 무엇을 치르게 되는지.

먼저, "Qwen 3.8"이 무엇을 가리키는 이름인지

어떤 비교보다도 먼저 확실히 짚고 넘어갈 필요가 있습니다. 패밀리 이름이 아주 서로 다른 여러 아티팩트를 포괄하고, 가격은 13배 넘게 차이가 나기 때문입니다. 결정을 내리는 데 중요한 것은 제공되는 세 멤버입니다:

• Qwen3.8-Max — 텍스트, 이미지, 비디오 전반에 걸친 네이티브 멀티모달을 지원하는 플래그십으로, 100만 토큰 컨텍스트를 갖추고 있으며, Anthropic 호환 형식을 포함한 세 가지 와이어 형식으로 제공됩니다. 어려운 문제에서의 정확성이 비용보다 중요할 때 선택하는 프리미엄 등급입니다.

• Qwen3.8-27B — Apache 2.0 라이선스의 오픈 웨이트 dense 모델로, 262,144 토큰 컨텍스트에 텍스트, 이미지, 비디오 입력을 지원합니다. 알리바바 자체 모델 카드에는 LiveCodeBench v6에서 90.3, GPQA Diamond에서 89.2, OSWorld-Verified에서 84.3, QwenSWEBench에서 79.0으로 보고되어 있지만 — 이는 벤더가 보고한 수치일 뿐, 독립적으로 재현된 것이 아닙니다.

• Qwen3.8-Flash — 대량 처리용 라인으로, 100만 토큰 컨텍스트를 갖추었고, 짧은 작업을 백만 번 실행하는 용도에 맞춰 가격이 책정되어 있습니다. 카탈로그에는 동일한 요금으로 날짜가 지정된 Qwen3.8-Max (0902) 스냅샷도 있는데, 이는 계속 변화하는 최신 버전 대신 재현 가능한 동작이 필요할 때 고정하는 버전입니다.

그중 어느 것도 새로운 소식이 아니며, 이 페이지는 Qwen 출시를 보도하는 것이 아닙니다. 이 세대는 다섯 달 전에 나왔습니다. 이것이 여기 있는 이유는 비교 대상 중 더 새롭고 더 크며 벤치마크가 더 좋은 쪽이기 때문이고, 그 흥미로운 주장이 그렇게 강력한 무언가와 맞세워야만 의미가 있기 때문입니다.

정확하게 진술된 주장

Microsoft의 모델 카드는 모든 표현 생성기가 동일한 시뮬레이션 루프에 연결된 가운데 LLM 판정자가 1에서 10까지 점수를 매긴, 700개의 홀드아웃 대화에 대한 충실도 평가를 보고합니다:

• Qwen3.5-4B, 손대지 않은 백본 — best-of-1 3.41, best-of-3 4.42.

• GPT-5.5, 별도의 조정 없이 사용자를 설명하도록 프롬프트했을 때 — 3.90과 4.90.

• UserRepGen-4B, 사후 증류를 통한 온라인 지도 미세 조정 후 — 4.95와 6.02.

모든 수치는 GPT-5.4 mini가 판정한 마이크로소프트 자체 수치이며, 그중 어느 것도 연구실 밖에서 재현된 적이 없습니다. 이를 확정된 결과라기보다 방향성 주장으로 읽어야 합니다. 하지만 방향은 명확하며, 이는 파라미터 수에 관한 문제가 아닙니다: 그 학습 방법은 best-of-1에서 백본을 1.54점 끌어올렸고, 그 과정에서 프런티어 범용 모델을 앞질렀습니다. 의도된 해석은 "작은 모델이 큰 모델을 이긴다"가 아니라, 2월에 나온 4B 베이스가 하나의 좁은 행동에 강하게 파인튜닝되어, 단지 요청받은그 행동을 수행하도록

Qwen3.8-Max는 그 표에 없습니다. 더 강력한 범용 모델이기 때문에 아마도 GPT-5.5보다 더 나은 성과를 냈을 것으로 추정됩니다. 그래도 그 동작을 여전히 추측하는 수준일 것입니다. 훈련 과정에서 이에 최적화된 것이 전혀 없었기 때문입니다.

7개월 된 베이스가 올바른 선택이었던 이유

세대 격차는 실수처럼 보이지만, 파인튜닝이 실제로 백본에 요구하는 바를 파악하고 나면 그렇지 않다. 그것은 대략 유창하고, 실행 비용이 저렴하며, rank-64 LoRA가 모델을 망가뜨리지 않고 조정할 수 있을 만큼 안정적인 모델이 필요하다. 그것은 전혀 프런티어 추론을 필요로 하지 않는다, 왜냐하면 그 작업은 추론이 아니라 — 주어진 대화를 설명하는 일이기 때문이다.

카드의 두 가지 세부 정보가 그런 해석을 뒷받침한다. 첫째는 출력 상한이다. 표현에는 1,024토큰, 대화에는 8,192토큰이 주어진다. 둘째는 훈련 예산, 즉 2026년 7월부터 8월까지 두 달이라는 점과, 더 무거운 두 방법이 모두 졌다는 사실이다. OPSD는 4.46/5.60, GRPO는 3.57/4.59를 기록했으며, 둘 다 단순 지도 미세조정의 4.64/5.68보다 낮았다. 저렴한 방법이 값비싼 두 방법을 이길 때, 병목은 결코 백본의 성능이 아니었다. 2026년 플래그십 기반으로 간다면, 같은 상한으로 같은 작업을 하는 데 패스당 비용이 더 많이 드는 모델을 사는 셈이었을 것이다.

그 선택에는 대가가 따르며, 모델 카드는 이를 숨기지 않고 솔직히 밝힌다. 비전 타워가 부모 체크포인트와 함께 딸려 왔기 때문에, 모델은 AutoModelForImageTextToText를 통해 로드되며 실제로는 사용하지 않는 이미지 및 비디오 코드 경로를 포함한다 — 이 릴리스에서는 이미지와 비디오 입력이 명시적으로 지원되지 않는다. 당신은 그 아키텍처의 유창함과 함께 그 아키텍처의 짐까지 물려받게 된다.

사람들이 예상하는 대로 흘러가지 않는 비용 계산

본능적으로는 로컬 추론이 더 저렴하다고 생각하게 된다. 이 모델이 설계된 규모에서는 대개 그렇지 않으며, 숫자를 솔직하게 따져 보면 결정이 달라진다. Microsoft 자체 평가와 같은 규모인 700개 대화 배치를, 호출당 약 2,000개의 프롬프트 토큰과 400개의 출력 토큰으로 잡아 보자.

• Qwen3.8-27B를 통해 백만 토큰당 $0.33 및 $2.40: 전체 배치의 총 토큰 지출은 약 $1.13.

• Qwen3.8-Max 기준 $2.00 및 $6.00: 약 $4.48.

그에 반해 UserRepGen-4B는 9.1GB 다운로드, 이를 bfloat16으로 담을 수 있을 만큼 충분한 메모리의 GPU, 그리고 Python 클래스를 연결하기 위한 엔지니어링이 필요하다. Microsoft는 H100, A100, RTX A6000 및 B200 하드웨어에서 vLLM으로 서빙했다고 보고하며, CPU 추론에는 float32와 “약 9.1GB의 가중치 파일보다 훨씬 더 많은 메모리”가 필요하다고 언급한다. 유일한 고려 사항이 토큰당 비용이라면, 이 규모에서는 더 강력한 모델에 대한 API 접근이 이기며 그 차이는 크다.

즉, UserRepGen-4B를 직접 실행해야 하는 진짜 이유는 가격표에는 나타나지 않는 것들, 바로 여러분이 이 모델에 입력하는 대화입니다. 이 모델의 자체 카드에는 처리 권한이 있는 대화만 처리하고, 식별 정보를 먼저 최소화하라고 나와 있으며, 표현은 익명화된 데이터가 아니라고 되어 있습니다 — 모델의 행동 설명은 네 명의 후보 중 한 명을 51.02%의 비율로 식별하는데, 이는 그 설명이 요약하는 원본 대화의 44.22%보다 더 나은 수치입니다. 대화를 사람이 읽을 수 있는 휴대형 프로필로 바꾸는 구성 요소는 API 호출 비용이 얼마가 들든 자체 네트워크 안에 두고 싶은 구성 요소일 수 있습니다.

이와 같은 파이프라인에서 라우팅 계층이 들어가는 위치

이는 단일 모델 구성보다 두 모델 구성인 경우가 더 많습니다: 자체 하드웨어에서 실행되는 표현 생성기와, 어시스턴트 역할, 판단, 또는 그 주변의 평가 루프를 담당하는 범용 모델입니다. 두 번째 부분은 API를 통해 실행되는 부분입니다.

서비스되는 세 가지 Qwen 3.8 멤버는 모두 OrcaRouter에서 공급자의 정가로 추가 비용 없이 제공됩니다 — Max의 경우 $2.00 및 $6.00, 27B의 경우 $0.33 및 $2.40, Flash의 경우 $0.15 및 $0.47 — 하나의 키로, 공급자 전반에 걸친 자동 페일오버를 통해 평가 루프의 판정 호출이 단일 업스트림 때문에 죽지 않습니다. 수백 개의 대화 배치를 여러 시뮬레이터와 판정자를 통해 훑고 있다면, 그 페일오버는 토큰당 요금보다 더 중요합니다. 왜냐하면 대화 400에서 죽는 실행은 그 앞의 399개를 낭비하기 때문입니다. 라우팅 DSL을 사용하면 어시스턴트와 판정자를 두 번 연쇄하는 대신 하나의 호출로 구성할 수 있습니다. 우리가 하지 않는 일은 UserRepGen-4B를 제공하는 것입니다: 우리 카탈로그에는 이에 대한 항목이 없으며, 여기 있는 어떤 내용도 Microsoft 체크포인트에 대한 가용성 주장으로 읽혀서는 안 됩니다.

결정, 단호하게

추론하고, 코딩하고, 이미지를 읽고, 백만 토큰을 담을 수 있는 범용 모델을 원한다면, 이 글 어디에도 Qwen3.8-Max에 반대하는 내용은 없다 — UserRepGen-4B는 그중 어느 것도 할 수 없으며, 플래그십과의 비교는 애초에 그것이 나선 비교가 아니다. 실제 대화 행동을 조건으로 하는 사용자 시뮬레이터를 원한다면, Qwen 3.8 구성원들 중 어느 것도 그를 위해 훈련되지 않았으며, 선택은 측정된 우위를 지닌 작은 로컬 파인튜닝과 아무런 우위도 없는 대형 API 모델 사이에 있다.

남아 있는 의문은 이번 릴리스 전체를 감돌고 있는 바로 그 질문과 같다: 논문이 없다. 모델 카드에는 인용이 "확인 대기 중"이라고 적혀 있고, 저장소가 비공개라는 문구는 저장소가 공개된 뒤에도 여전히 사용 섹션에 남아 있으며, 충실도 표의 모든 수치는 한 연구소의 자체 평가자로 거슬러 올라간다. 마이크로소프트는 자사가 테스트한 가장 강력한 베이스라인을 능가하는 모델을 만들었다. 그것이 당신의 베이스라인을 능가하는지는 당신이 직접 실행하는 평가만이 답할 수 있는 문제다.

7개월 된 파인튜닝 모델을 현재의 플래그십과 비교해 측정해 보는 것은 이전에 무엇이 실패했는지 묻기에도 좋은 지점이다. 이 등급의 모델과 관련해 문서화된 AI 사고와 에이전트 실패 사례는 OrcaRouter AI 사고 아카이브에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 이의 제기 플래그가 함께 제공된다.