Granite 4.2 3B đã ra mắt: mô hình suy luận cỡ laptop của IBM đạt 78,33 trên AIME 2025

Bạn có thể chạy Granite 4.2 3B trên một chiếc laptop ngay tối nay. Đó là thực tế ứng dụng đằng sau con số nổi bật: IBM đã phát hành Granite 4.2 3B vào ngày 25 tháng 8 năm 2026 theo giấy phép Apache-2.0, là mô hình nhỏ nhất trong ba mô hình suy luận dày đặc của gia đình Granite 4.2 mới — Granite 4.2 3B, Granite 4.2 8B và Granite 4.2 30B — và thẻ mô hình của nó công bố điểm 78.33 trên AIME 2025, một điểm số suy luận toán học mà vài năm trước chỉ thuộc về những mô hình lớn gấp trăm lần. Trọng số có khoảng 3 tỷ tham số: sáu đến tám gigabyte ở định dạng bfloat16, dưới hai gigabyte ở mức lượng tử hóa thực tế. Đó chính là toàn bộ ý nghĩa của bản phát hành này — một mô hình suy luận trước đây là khoản đầu tư cho trung tâm dữ liệu giờ đây nằm gọn trong một chiếc túi.

Cách trình bày trung thực phải được đặt cạnh điều đó. Mọi con số trên thẻ đều là của IBM, được in vào ngày các trọng số được đưa lên, và chưa có phòng thí nghiệm độc lập nào tái tạo được bất kỳ con số nào trong số đó. Hiện chưa có API lưu trữ nào — thẻ không liệt kê nhà cung cấp suy luận nào — vì vậy cách duy nhất để tiếp cận mô hình này ngày nay là tự chạy nó hoặc chờ một tầng lưu trữ xuất hiện. Đây là bản tổng kết những gì chúng ta biết hiện tại về thành viên nhỏ nhất trong gia đình, nghĩa là cần chính xác về những tuyên bố mà kho lưu trữ thực sự hỗ trợ.

Đã phát hành những gì, và âm thầm đến mức nào

Granite 4.2 là thế hệ mô hình suy luận của IBM — dòng Granite đầu tiên được xây dựng quanh chuỗi suy nghĩ tường minh (chain-of-thought), đồng thời là dòng đầu tiên bổ sung huấn luyện tác tử (agentic training) ở quy mô lớn trên các thành viên lớn hơn của dòng mô hình này. Cả ba kích thước đều là mô hình Transformer thuần decoder, dạng dense, phát hành theo giấy phép Apache 2.0, được tiền huấn luyện trên khoảng 15 nghìn tỷ token qua năm giai đoạn, và đều chạy ở ngữ cảnh gốc 128K với khả năng mở rộng ngữ cảnh dài lên 512K. Đây không phải một đợt ra mắt báo chí: nguồn chính là blog kỹ thuật của Hugging Face, "Granite 4.2 LLMs: How They're Built," được xuất bản cùng các thẻ mô hình (model cards) vào ngày 25 tháng 8. Báo chí công nghệ Trung Quốc đã đưa tin về dòng mô hình này chỉ trong vài giờ, và Ollama đã niêm yết bản dựng granite4.2:3b.

Điều gì khiến 3B trở thành cấu kiện biên?

3B được hậu huấn luyện từ Granite-4.1-3B-Base, và điều phân biệt nó với các phiên bản anh chị em chính là điều nó không có. Granite 4.2 8B và Granite 4.2 30B đều nhận được quá trình học tăng cường tác nhân (agentic reinforcement learning) của IBM — quá trình huấn luyện dạy mô hình vận hành terminal, chạy mã và tìm kiếm web trong các môi trường sandbox, đó là lý do hai phiên bản này có điểm SWE-Bench và Terminal-Bench. Bản 3B bỏ qua hoàn toàn khối huấn luyện đó; thẻ thông số của nó không báo cáo kết quả SWE-Bench hay Terminal-Bench vì bộ huấn luyện học tăng cường tác nhân chưa bao giờ được tích hợp vào nó.

Điều mà 3B giữ lại là lõi suy luận và giao diện:

• Tham số — 3B (tổng cộng khoảng 4B bao gồm cả embeddings theo metadata của safetensors), Transformer dạng dense chỉ có decoder được xây dựng trên Granite-4.1-3B-Base.

• Kiến trúc — grouped-query attention (40 đầu, 8 đầu KV), RoPE tại θ=10,000,000, SwiGLU MLP (kích thước ẩn 8,192), RMSNorm, bfloat16.

• Ngữ cảnh — 131.072 token nguyên bản; giai đoạn tiền huấn luyện thứ năm mở rộng cửa sổ lên 512K.

• Chế độ suy luận — tư duy đầy đủ theo mặc định (<think>...</think>), chế độ không tư duy qua enable_thinking=False, và chế độ nỗ lực thấp dành một ngân sách suy luận ngắn cho các câu hỏi dễ.

• Gọi công cụ — Gọi hàm tương thích OpenAI, cùng lược đồ mà các phiên bản lớn hơn sử dụng, được phục vụ qua endpoint vLLM; tài liệu tích hợp OpenHands, OpenCode và Pi đều có sẵn.

• Ngôn ngữ — 12 ngôn ngữ đã kiểm tra: Tiếng Anh, Tiếng Đức, Tiếng Tây Ban Nha, Tiếng Pháp, Tiếng Nhật, Tiếng Bồ Đào Nha, Tiếng Ả Rập, Tiếng Séc, Tiếng Ý, Tiếng Hàn, Tiếng Hà Lan, Tiếng Trung.

• Phục vụ — Hugging Face Transformers, vLLM (v0.20+ với trình phân tích tư duy chuyên dụng), SGLang, các bản dựng GGUF cho llama.cpp, lượng tử hóa FP8/NVFP4/MXFP4, và Ollama.

Các con số do nhà cung cấp báo cáo

Thẻ thông số liệt kê các điểm số suy luận mạnh mẽ, và mọi con số đều là của chính IBM. Trong các bài đánh giá toán học và suy luận, mô hình 3B đạt 78.33 trên AIME 2025, 66.67 trên HMMT tháng 2/2025, 54.80 trên GPQA và 69.71 trên LiveCodeBench v6. Về khả năng làm theo chỉ dẫn: 67.84 trên MMLU-Pro và 74.33 trên IFBench. Về ngữ cảnh dài, điểm RULER là 67.52 ở mức 64K và 55.30 ở mức 128K. Trong các bài đánh giá agentic tổng quát mà 3B hỗ trợ — sử dụng công cụ cơ bản, không có khối agentic-RL — nó đạt 52.41 trên BFCL v4.

Không điều nào trong số này đã được tái tạo độc lập. Mô hình được phát hành vào ngày 25 tháng 8; Artificial Analysis chưa có mục nhập nào cho nó, và chưa có đánh giá bên thứ ba nào được công bố. Con số 78.33 AIME là con số cần theo dõi: đối với mô hình dense loại 3B, con số này nằm vượt xa phạm vi mà các mô hình mở nhỏ từng đạt được trong lịch sử, và một con số trên giấy như thế chính là thứ mà một lần chạy tái tạo sẽ xác nhận hoặc lặng lẽ rút lại. Hãy coi mọi con số trong phần này là tuyên bố của IBM.

Điều gì đã được xác nhận, và điều gì chưa được xác nhận?

Được xác nhận bởi các tạo phẩm: các trọng số có thể tải xuống; giấy phép là Apache 2.0; kiến trúc, độ dài ngữ cảnh, chế độ suy luận và giao diện gọi công cụ khớp với thẻ mô hình; và công thức huấn luyện được ghi chép chi tiết một cách bất thường, đến từng tỷ lệ dữ liệu và cụm NVIDIA GB200 NVL72 (do CoreWeave lưu trữ) dùng để huấn luyện gia đình mô hình. Được xác nhận bởi công việc tích hợp trong ngày phát hành: Ollama đã liệt kê granite4.2:3b, và thẻ mô hình ghi lại các đường dẫn phục vụ vLLM, SGLang, Transformers và GGUF.

Vẫn chưa được xác nhận: kết quả benchmark độc lập; liệu một API lưu trữ — watsonx của IBM hoặc bên thứ ba bất kỳ — sẽ xuất hiện và với mức giá nào; phần mở rộng 512K hoạt động ra sao trên các tác vụ tài liệu dài thực tế thay vì các bài kiểm tra kim RULER; và cách gọi công cụ cơ bản của mô hình 3B trụ vững trong các vòng lặp tác tử sản xuất khi nó không có huấn luyện agentic-RL để dựa vào.

Nơi 3B cạnh tranh và cách kiểm tra nó

Cá cược của 3B là quy mô nhỏ và chạy cục bộ là một tính năng, không phải sự thỏa hiệp. Bên dưới nó, dòng sản phẩm dừng lại — 3B là nền tảng của dòng Granite 4.2 — và xung quanh nó, mảng mô hình suy luận tiết kiệm chi phí rất dày đặc ở phía lưu trữ, với DeepSeek V4 Flash và Gemini 3.5 Flash-Lite làm trụ cột cho các tầng suy luận lưu trữ giá rẻ, cùng các mô hình suy luận trọng số mở nhỏ ra mắt quanh năm. 3B khác biệt với tất cả theo một cách cụ thể: nó là mô hình dense, Apache-2.0, và đủ nhỏ để chi phí biên của một yêu cầu chỉ là điện năng của một GPU tầm trung — và nó cũng mới, chưa được kiểm chứng, và chưa có một đánh giá nào từ bên thứ ba.

Sự kết hợp đó chính là nơi một lớp định tuyến chứng tỏ giá trị của nó. OrcaRouter không định tuyến Granite 4.2 3B — con đường khả dụng thực tế là tự lưu trữ qua vLLM, SGLang, hoặc Ollama, hoặc các kênh riêng của IBM khi chúng xuất hiện — nhưng các mô hình lưu trữ mà nó cạnh tranh đều có trên OrcaRouter với giá niêm yết của nhà cung cấp, chuyển qua với mức chênh lệch 0%, chỉ với một khóa API. Nếu bạn đang xây dựng bộ khung so sánh để quyết định xem suy luận cục bộ của bản 3B có thắng việc thuê một mô hình bình dân lưu trữ hay không, một khóa API trỏ tới phía lưu trữ, bạn A/B test nó với một Granite tự lưu trữ qua một endpoint duy nhất, và chuyển đổi dự phòng tự động sẽ hấp thụ những giờ mà cụm GPU của bạn bị bão hòa. Việc giảm giá trên các lựa chọn lưu trữ đó sẽ xuất hiện trong giá chuyển qua ngay trong ngày nó xảy ra.

Xem gì

Ba điều sẽ quyết định cách phiên bản này được ghi nhớ. Thứ nhất, việc tái lập độc lập các con số AIME và GPQA — khoảng cách giữa 78.33 trên một tấm thẻ và 78.33 từ một lần chạy của bên thứ ba chính là nơi các tuyên bố về mô hình nhỏ sống hay chết. Thứ hai, liệu watsonx hay một nền tảng lưu trữ khác có tiếp nhận mô hình 3B hay không và ở mức giá mỗi token ra sao; một mô hình suy luận được lượng tử hóa dưới 2 gigabyte có thể tạo ra một tầng dịch vụ lưu trữ rẻ đến bất ngờ. Thứ ba, liệu chế độ suy luận nỗ lực thấp có giữ được chất lượng trên các câu hỏi dễ hay không, vì chế độ đó chính là thứ khiến một mô hình suy luận cỡ laptop có thể sử dụng được trong lưu lượng sản phẩm thực tế. Granite 4.2 3B là một mô hình suy luận thực sự mở, được tài liệu hóa đầy đủ, ra mắt lặng lẽ và có thể chạy trên phần cứng của bạn ngay từ ngày mai; tất cả các câu hỏi còn bỏ ngỏ đều sẽ có lời giải đáp trong vài tuần tới.