RepGen-4B so với Gemma 4 12B: Một chuyên gia hẹp 4B đối đầu với một mô hình tổng quát 12B, và vì sao kích thước lại đánh lừa

Khi đặt cạnh nhau, microsoft/UserRepGen-4B và Gemma 4 12B trông như một sự không cân xứng đã được định đoạt ngay từ trước khi bắt đầu. Mô hình 11,95 tỷ tham số của Google đọc được văn bản, hình ảnh và âm thanh, giữ 256K token ngữ cảnh, có một báo cáo kỹ thuật và một blog ra mắt, và đã được tải xuống khoảng 79.000 lần kể từ tháng 5 năm 2026. Mô hình của Microsoft là một LoRA hạng 64 trên Qwen3.5-4B, được tải lên vào ngày 14 tháng 10 năm 2026 mà không có thông báo, và nó chỉ làm đúng một việc: đọc một cuộc hội thoại người dùng-trợ lý đã hoàn thành và viết lại mô tả JSON hai trường về người trong đó. Nó không thể trò chuyện, trả lời câu hỏi hay nhìn thấy hình ảnh. Cân đo hai mô hình này về năng lực không phải là một so sánh, đó là một lỗi phạm trù — và lỗi phạm trù mới là phần thú vị, bởi vì mô hình nhỏ hơn mới là mô hình đánh bại một mô hình tổng quát tiên tiến ở chính công việc mà nó được tạo ra để làm.

Mỗi cái thực sự được dùng để làm gì

Cách rõ ràng nhất để giữ cả hai trong đầu là Gemma 4 12B là một trợ lý còn UserRepGen-4B là một công cụ đo lường.

• Gemma 4 12B — thành viên đa phương thức không dùng bộ mã hóa của gia đình Gemma 4. Văn bản, hình ảnh và âm thanh đi vào; văn bản đi ra. Thẻ chính thức của Google mô tả nó là "Unified" vì nó loại bỏ các bộ mã hóa thị giác và âm thanh chuyên dụng mà phần còn lại của gia đình sử dụng, chiếu thẳng các mảng ảnh thô và dạng sóng vào không gian embedding của bộ giải mã thông qua những lớp tuyến tính nhẹ. 48 lớp, cửa sổ trượt 1.024 token, từ vựng 262K, ngữ cảnh 256K token. Apache 2.0, các biến thể tinh chỉnh theo chỉ dẫn được phát hành song song với bản cơ sở.

• UserRepGen-4B — một trình tạo biểu diễn. Đầu vào: một cuộc trò chuyện nhiều lượt được ủy quyền, tối đa 8.192 token. Đầu ra: một đối tượng JSON có trường task và trường user_behavior, giới hạn ở 1.024 token, được con người đánh giá và sau đó chuyển cho một LLM riêng đóng vai người dùng trong một mô phỏng. MIT cho phần đóng góp của Microsoft, Apache 2.0 kế thừa từ xương sống Q​wen. Chỉ văn bản, dù checkpoint vẫn giữ một tháp thị giác mà nó không bao giờ dùng.

Gemma 4 12B có thể được yêu cầu làm điều mà UserRepGen-4B làm — đọc một cuộc trò chuyện và mô tả người dùng trong đó. Đó chính xác là cách trung thực để bước vào cuộc so tài này, bởi vì thẻ của Microsoft đo lường một mô hình tổng quát đang làm đúng điều đó, và nó thua.

Con số thực sự duy nhất kết nối chúng

Không có so sánh trực tiếp nào được công bố giữa hai mô hình này, và việc tự bịa ra một so sánh như vậy sẽ là kiểu thất bại dễ mắc phải của một trang như thế này. Điều mà thẻ UserRepGen-4B thực sự công bố là một đánh giá độ trung thực trên 700 cuộc hội thoại theo thang điểm từ 1 đến 10, trong đó mọi trình tạo đều được đánh giá bằng những lời gọi giống hệt nhau. Trong bảng đó, GPT-5.5 được dùng nguyên bản như một trình tạo đại diện đạt 3,90 ở best-of-1 và 4,90 ở best-of-3. UserRepGen-4B đạt 4,95 và 6,02. Chuyên gia 4B đã qua huấn luyện đánh bại một mô hình tổng quát tiên tiến lớn hơn nhiều bậc độ lớn ở công việc cụ thể này.

Gemma 4 12B không có trong bảng đó, nên không ai biết nó sẽ nằm ở đâu. Nhưng mốc cơ sở mà nó sẽ được đánh giá dựa theo lại khiến hình dạng của câu trả lời trở nên rõ ràng: một mô hình tổng quát được yêu cầu mô tả một người dùng sẽ tạo ra thứ gì đó nghe hợp lý và chung chung, và phương pháp huấn luyện trong UserRepGen-4B tồn tại chính là để vượt qua điều đó. Một mô hình 12B rất có thể sẽ vượt qua mô hình 4B về suy luận tổng quát và bị mô hình 4B vượt qua trong tác vụ hẹp này.

Điều này làm nảy sinh câu hỏi hiển nhiên rằng tại sao bạn không chỉ đơn giản yêu cầu Gemma 4 12B làm điều tương tự và giữ một mô hình trên ổ đĩa của mình. Có hai lý do, và lý do thứ hai mới là điều quan trọng.

Đầu tiên là chi phí ở quy mô lớn. Việc tạo một biểu diễn cho mỗi cuộc hội thoại là một tác vụ theo lô, và 12B tham số tốn khoảng gấp ba lần so với 4B tham số cho cùng một lượt chạy. Thứ hai là khoảng cách về độ trung thực không phải là một vấn đề tinh chỉnh — các ablation của chính card cho thấy supervised fine-tuning thông thường đạt 4.64/5.68 trong khi cả OPSD và GRPO, hai phương pháp học tăng cường mà một đội ngũ đủ năng lực sẽ nghĩ đến đầu tiên, lại nằm dưới mức đó ở 4.46/5.60 và 3.57/4.59. Để một mô hình tổng quát đạt được hành vi này không phải là vấn đề của một prompt tốt hơn hay một lần chạy RL nặng hơn. Đó là điều mà vòng lặp huấn luyện được xây dựng để làm.

Cả hai đều có thể tải xuống, và chỉ một trong số chúng có thể triển khai được.

Đây chính là lúc cách đặt vấn đề 4B so với 12B hoàn toàn sụp đổ, bởi vì hai bản phát hành nằm ở hai thái cực đối lập của phổ đóng gói.

• Gemma 4 12B — một sản phẩm đã phát hành với hệ sinh thái đang hoạt động. Hỗ trợ Transformers, một biến thể tinh chỉnh theo chỉ dẫn, các định dạng lượng tử hóa và biên được công bố trên khắp dòng sản phẩm, một blog ra mắt, một báo cáo kỹ thuật trên arXiv và một lộ trình được ghi lại từ tải xuống đến phục vụ.

• UserRepGen-4B — một tệp safetensors bfloat16 duy nhất ở 9,078,620,536 byte. Không có GGUF, không có ONNX, không có MLX, không có bất kỳ hình thức lượng tử hóa nào. Thẻ mô hình ghi rõ như vậy: "Hiện tại không có sẵn bất kỳ định dạng tối ưu hóa hoặc dành riêng cho thiết bị nào."

Khoảng cách đó không phải là tình cờ. Gemma 4 12B được xây dựng để người khác chạy, và mười một tỷ rưỡi tham số được phát hành như một sản phẩm. UserRepGen-4B được xây dựng để tạo ra một kết quả cho một bài báo, và thẻ của nó vẫn ghi rằng trích dẫn đang "chờ xác nhận" và đề cập đến việc xác thực "trong khi kho lưu trữ là riêng tư" — một dòng còn sót lại từ một lần tải lên theo giai đoạn chưa được cập nhật. Một cái đã hoàn thiện; cái kia thì hoàn thiện ở mức đủ dùng.

Nếu điều bạn thực sự muốn là Gemma 4 thông qua một API

Cần nói thẳng, vì đây là điều mà hầu hết độc giả của một bài so sánh Gemma thực sự quan tâm: OrcaRouter không cung cấp Gemma 4 12B — không có trang mô hình nào cho nó trên danh mục của chúng tôi — và cũng không cung cấp UserRepGen-4B. Tuy nhiên, hai thành viên khác của cùng dòng Gemma 4 có trên danh mục, và cả hai đều niêm yết đúng giá niêm yết của nhà cung cấp mà không cộng thêm gì: Gemma 4 26B A4B, bản mixture-of-experts 25,2B với 3,8B tham số hoạt động trên ngữ cảnh 262.144 token, ở mức $0.06 mỗi triệu token đầu vào và $0.33 mỗi triệu token đầu ra; và Gemma 4 31B, bản đa phương thức dày đặc 30,7B, ở mức $0.13 và $0.38. Nếu bạn muốn cụ thể bản 12B cho công việc cục bộ, thì việc tải xuống chính là câu trả lời và không API nào thay đổi được điều đó.

Về phía mô phỏng, quan điểm trung thực cũng như vậy. UserRepGen-4B là một checkpoint và một tệp prompt — bạn tự chạy nó, trong môi trường của chính bạn, trên những cuộc hội thoại mà bạn được phép xử lý. Sẽ rất tiện nếu đó là một lệnh gọi tới một endpoint được lưu trữ sẵn. Nhưng hiện nay thì không phải vậy, dù là trên hệ thống của chúng tôi hay bất kỳ nơi nào khác.

Tải cái nào

Nếu bạn cần một trợ lý đa phương thức nhỏ đọc tài liệu, nghe âm thanh và trả lời câu hỏi trên một chiếc laptop, thì Gemma 4 12B chính là lựa chọn đó, còn so sánh với UserRepGen-4B thì khác xa đến mức không còn đáng để bận tâm. Nếu bạn đang xây dựng một trình mô phỏng người dùng và cách tiếp cận hiện tại của bạn là nhắc một mô hình tổng quát mô tả người dùng, thì UserRepGen-4B là thứ duy nhất ở đây được huấn luyện cho việc đó, và bằng chứng — do nhà cung cấp báo cáo, từ một phòng thí nghiệm duy nhất, được GPT-5.4 mini đánh giá xuyên suốt — cho thấy việc huấn luyện vượt trội hơn việc nhắc. Điều có thể thay đổi cục diện là bài báo, hoặc một đánh giá độc lập về con số 4.95 đó từ bên ngoài Microsoft. Cả hai đều chưa tồn tại, và cả hai đều đáng để chờ đợi trước khi bất kỳ ai thay thế một pipeline đang hoạt động bằng nó.

Những so sánh như thế này cũng là nơi các dạng thất bại lộ diện: những sự cố AI và lỗi agent được ghi nhận đằng sau các mô hình thuộc lớp này đều được tập hợp trong Kho lưu trữ Sự cố AI OrcaRouter, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp.