RepGen-4B vs Gemma 4 12B: 4B 특화 전문가 대 12B 제너럴리스트, 그리고 크기가 거짓말하는 이유

나란히 놓고 보면, microsoft/UserRepGen-4B와 Gemma 4 12B는 시작도 전에 승부가 정해진 듯한 짝처럼 보인다. 구글의 119억 5천만 파라미터 모델은 텍스트와 이미지, 오디오를 읽고, 256K 토큰의 컨텍스트를 보유하며, 기술 보고서와 출시 블로그를 갖추고 있고, 2026년 5월 이후 약 79,000회 다운로드되었다. 마이크로소프트의 모델은 rank-64 LoRA인데, 기반 모델은 Qwen3.5-4B이고, 2026년 10월 14일에 아무런 발표 없이 업로드되었으며, 딱 한 가지 일만 한다: 완성된 사용자-어시스턴트 대화를 읽고 그 안에 있는 사람에 대한 두 필드 JSON 설명을 돌려쓴다. 대화를 나누지도, 질문에 답하지도, 이미지를 보지도 못한다. 이 둘을 역량으로 저울질하는 것은 비교가 아니라 범주 오류다 — 그리고 그 범주 오류가 흥미로운 부분인데, 더 작은 모델이야말로 자신이 만들어진 작업에서 최전선 범용 모델을 이기는 쪽이기 때문이다.

각각이 실제로 무엇을 위한 것인지

두 가지를 머릿속에 담아두는 가장 깔끔한 방법은 Gemma 4 12B는 어시스턴트이고 UserRepGen-4B는 측정 도구라는 점이다.

• Gemma 4 12B — Gemma 4 패밀리의 인코더 없는 멀티모달 구성원. 텍스트, 이미지, 오디오가 입력되고 텍스트가 출력된다. Google 자체 카드에서 이를 "Unified"라고 설명하는 이유는, 패밀리의 나머지 모델들이 사용하는 전용 비전 및 오디오 인코더를 제거하고 원시 이미지 패치와 파형을 경량 선형 레이어를 통해 디코더의 임베딩 공간으로 곧바로 투영하기 때문이다. 48개 레이어, 1,024토큰 슬라이딩 윈도, 262K 어휘, 256K 토큰 컨텍스트. Apache 2.0, 기본 모델과 함께 공개된 인스트럭션 튜닝 변형.

• UserRepGen-4B — 표현 생성기. 입력: 최대 8,192 토큰의 승인된 멀티턴 대화. 출력: task 필드와 user_behavior 필드를 담은 JSON 객체로, 최대 1,024 토큰으로 제한되며, 사람이 검토한 뒤 시뮬레이션에서 사용자 역할을 맡는 별도의 LLM에 전달됩니다. Microsoft 기여분은 MIT, Qwen 백본에서 상속된 Apache 2.0. 체크포인트가 한 번도 사용하지 않는 비전 타워를 그대로 유지하고 있음에도 불구하고 텍스트 전용입니다.

Gemma 4 12B에게는 UserRepGen-4B가 하는 일, 즉 대화를 읽고 그 안의 사용자를 설명하는 일을 요청할 수 있다. 이것이 바로 이 맞대결에 들어가는 정직한 방식인데, Microsoft의 카드는 범용 모델이 정확히 그 일을 하는 것을 측정하며, 그것은 패배한다.

그들을 연결하는 유일한 실제 숫자

이 둘 사이에 공개된 직접 비교는 없으며, 없는 비교를 지어내는 것은 이런 페이지가 저지르기 쉬운 실패일 것입니다. UserRepGen-4B 카드가 실제로 공개하는 것은 1~10점 척도로 진행된 700개 대화 충실도 평가이며, 여기서 모든 생성기는 동일한 호출로 평가됩니다. 그 표에서 GPT-5.5를 기성 상태 그대로 표현 생성기로 사용하면 best-of-1에서 3.90, best-of-3에서 4.90을 기록합니다. UserRepGen-4B는 4.95와 6.02를 기록합니다. 훈련된 4B 전문가는 이 특정 작업에서 몇 자릿수나 더 큰 최전선 범용 모델을 능가합니다.

Gemma 4 12B는 그 표에 없으므로 어디에 위치할지는 아무도 모른다. 하지만 그것이 비교 기준으로 삼게 될 베이스라인은 답의 윤곽을 분명하게 보여준다. 사용자를 설명하도록 요청받은 범용 모델은 그럴듯하지만 일반적인 결과물을 내놓으며, UserRepGen-4B의 학습 방법은 바로 그 한계를 넘어서기 위해 존재한다. 12B는 일반 추론에서는 4B를 능가할 가능성이 매우 높지만, 이 좁은 과제에서는 4B에게 뒤질 것이다.

그러면 왜 Gemma 4 12B에게 똑같은 일을 하도록 간단히 프롬프트를 넣고 디스크에는 모델 하나만 두면 안 되는지 하는 당연한 의문이 생긴다. 이유는 두 가지인데, 두 번째가 중요한 이유다.

첫째는 대량 처리 시의 비용입니다. 대화마다 하나의 표현을 생성하는 것은 배치 작업이며, 12B 파라미터는 동일한 패스에 대해 4B 파라미터보다 대략 세 배의 비용이 듭니다. 둘째는 충실도 격차가 튜닝 문제가 아니라는 점입니다 — 해당 카드 자체의 어블레이션은 일반 지도 미세 조정이 4.64/5.68인 반면, 유능한 팀이라면 가장 먼저 선택할 두 강화학습 방법인 OPSD와 GRPO 모두그보다 낮은 4.46/5.60과 3.57/4.59에 머문다는 것을 보여줍니다. 일반 모델이 이런 행동을 하도록 만드는 것은 더 나은 프롬프트나 더 강도 높은 RL 실행의 문제가 아닙니다. 그것은 바로 훈련 루프가 만들어진 목적입니다.

둘 다 다운로드할 수 있으며, 그중 하나만 배포할 수 있습니다.

바로 여기서 4B 대 12B라는 구도가 완전히 무너집니다. 두 릴리스가 패키징 스펙트럼의 양 극단에 있기 때문입니다.

• Gemma 4 12B — 실제로 작동하는 생태계를 갖춘 출시 제품입니다. Transformers 지원, 인스트럭션 튜닝 변형, 제품군 전반에 걸쳐 공개된 양자화 및 엣지 포맷, 출시 블로그, arXiv 기술 보고서, 그리고 다운로드부터 서빙까지 이어지는 문서화된 경로를 갖추고 있습니다.

• UserRepGen-4B — 9,078,620,536바이트의 단일 bfloat16 safetensors 파일입니다. GGUF도, ONNX도, MLX도, 그 어떤 양자화도 없습니다. 카드에 직접 이렇게 나와 있습니다: "현재 최적화되었거나 기기별로 특화된 형식은 제공되지 않습니다."

그 격차는 우연이 아니다. Gemma 4 12B는 다른 사람들이 실행하도록 만들어졌고, 115억 개의 파라미터가 제품으로 출시된다. UserRepGen-4B는 논문을 위한 결과를 내도록 만들어졌으며, 그 카드에는 여전히 인용이 “확인 대기 중”이라고 적혀 있고 “저장소가 비공개인 동안” 인증하는 것을 언급한다 — 아직 업데이트되지 않은 스테이징 업로드에서 남은 문구다. 하나는 완성되었고, 다른 하나는 완성되었다고 할 만큼만 완성되었다.

만약 당신이 실제로 원했던 것이 API를 통한 Gemma 4였다면

분명히 말할 가치가 있습니다. Gemma 비교를 읽는 대부분의 독자가 실제로 여기에 해당하기 때문입니다. OrcaRouter는 Gemma 4 12B를 제공하지 않으며 — 우리 카탈로그에 해당 모델 페이지가 없습니다 — UserRepGen-4B도 제공하지 않습니다. 하지만 같은 Gemma 4 패밀리의 다른 두 모델은 카탈로그에 있으며, 둘 다 제공자의 정가를 아무것도 더하지 않고 그대로 제시합니다: Gemma 4 26B A4B, 3.8B 활성 매개변수를 262,144토큰 컨텍스트에 걸쳐 사용하는 25.2B 전문가 혼합(mixture-of-experts) 구성으로, 입력 100만 토큰당 $0.06, 출력 100만 토큰당 $0.33입니다; 그리고 Gemma 4 31B, 밀집형 30.7B 멀티모달 구성으로, 각각 $0.13, $0.38입니다. 12B를 특히 로컬 작업용으로 원하셨다면, 다운로드가 답이며 어떤 API도 그것을 바꾸지 않습니다.

시뮬레이션 쪽에 대해서도 솔직한 입장은 같습니다. UserRepGen-4B는 체크포인트와 프롬프트 파일입니다 — 처리 권한이 있는 대화를 대상으로, 자신의 환경에서 직접 실행합니다. 그것이 호스팅된 엔드포인트 호출이라면 편리했을 것입니다. 오늘날 그것은 저희 쪽에서도, 다른 어디에서도 그렇지 않습니다.

어느 것을 다운로드해야 하나요?

노트북에서 문서를 읽고, 오디오를 듣고, 질문에 답하는 작은 멀티모달 어시스턴트가 필요하다면 Gemma 4 12B가 바로 그 선택이며, UserRepGen-4B와의 비교는 관련성을 논할 수 없을 만큼 차이가 크다. 사용자 시뮬레이터를 만들고 있고 현재 접근 방식이 일반 모델에게 사용자를 설명하도록 프롬프트를 넣는 것이라면, 여기서 그런 용도로 학습된 것은 UserRepGen-4B뿐이며, 증거 — 벤더가 보고한, 단일 연구소의, 전 과정 GPT-5.4 mini가 판정한 — 는 학습이 프롬프팅을 이긴다고 말한다. 상황을 바꿀 것은 논문, 또는 Microsoft 외부에서 나온 그 4.95에 대한 독립적인 평가 하나다. 둘 다 아직 존재하지 않으며, 누군가 작동하는 파이프라인을 그것으로 교체하기 전에 둘 다 기다릴 가치가 있다.

이와 같은 비교는 실패 모드가 드러나는 지점이기도 합니다: 이 등급의 모델 뒤에 있는 문서화된 AI 사고와 에이전트 실패는 여기에 모여 있습니다: OrcaRouter AI Incident Archive, 각 항목은 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그를 갖추고 있습니다.