Một thẻ tiêu đề được tạo cho bài viết, có tiêu đề là 'Granite Switch 4.1 8B so với LFM2.5 2.6B Base' với phụ đề 'Kích thước gấp ba lần, ba công việc khác nhau: một mô hình instruct được tổng hợp phía máy chủ đối lại với một mô hình base trên thiết bị' và hai thẻ bo tròn, một thẻ ghi Granite Switch 4.1 8B / phía máy chủ, sẵn sàng để gọi và một thẻ ghi LFM2.5 2.6B Base / trên thiết bị, để tinh chỉnh; phần chân trang ghi '8.78B được tổng hợp so với 2.69B hybrid. Không cùng một loại tạo tác.' Logo OrcaRouter được ghép vào dải trắng bên dưới hình minh họa.
Guides & Insights

Granite Switch 4.1 8B so với LFM2.5 2.6B Base: Liệu ở đây có thực sự có sự lựa chọn nào không?

Tác giả

Alistair Wren

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Đây là cặp đôi trong bộ trông ít giống một cuộc so găng công bằng nhất, nên hãy xử lý điều đó ngay thay vì giả vờ rằng mọi chuyện khác đi. Granite Switch 4.1 8B là một checkpoint tổng hợp 8,78 tỷ tham số mà IBM công bố ngày 14 tháng 10 năm 2026: một Granite 4.1 8B đóng băng với hai adapter có thể chuyển đổi và một bộ mã hóa giọng nói, đảm nhiệm chat, chấm điểm quyết định và chuyển thoại thành văn bản từ một endpoint duy nhất. LFM2.5 2.6B Base là một mô hình văn bản tiền huấn luyện 2,69 tỷ tham số mà Liquid AI công bố ngày 1 tháng 8 năm 2026, được xây dựng riêng cho việc triển khai trên thiết bị — và quan trọng là, chính model card của nó nói rằng đây là một checkpoint base "chỉ được khuyến nghị cho những tác vụ đòi hỏi tinh chỉnh chuyên sâu." So sánh chúng như thể cái này có thể thay thế cái kia là một lỗi phân loại. So sánh chúng lại cho bạn biết điều hữu ích hơn: ranh giới của mỗi mô hình thực sự nằm ở đâu, và vì sao gần như chẳng ai sẽ phải chọn giữa hai cái này.

Vậy đây không phải là một cuộc so tài. Đó là bản đồ của quyết định mà bạn thực sự sẽ đưa ra — quyết định mà trong đó bạn có một mục tiêu ở biên và một mục tiêu máy chủ, và bạn đang cố gắng xác định mô hình nào sẽ đi vào đâu.

Từng cái dùng để làm gì

LFM2.5 2.6B Base là một kiến trúc hybrid, và tính hybrid chính là điểm mấu chốt. Ba mươi lớp, trong đó 22 lớp là các khối tích chập ngắn có cổng kép và 8 lớp là attention truy vấn theo nhóm — vì vậy phần lớn chồng lớp là tích chập chứ không phải attention, điều này giúp giữ mức tiêu thụ bộ nhớ và chi phí trên mỗi token ở mức thấp trên phần cứng nhỏ. Kích thước ẩn 2.048, 32 đầu truy vấn so với 8 đầu KV, ngữ cảnh 131.072 token, từ vựng 128.000 token, và ngân sách tiền huấn luyện 34 nghìn tỷ token. Mười sáu ngôn ngữ được liệt kê: tiếng Anh, tiếng Ả Rập, tiếng Trung, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Nhật, tiếng Hàn, tiếng Bồ Đào Nha, tiếng Tây Ban Nha, tiếng Việt, tiếng Thái, tiếng Indonesia, tiếng Hindi, tiếng Nga và tiếng Ba Lan. Liquid mô tả dòng mô hình này là được xây dựng để triển khai trên thiết bị và phát hành mô hình instruct cùng dòng ở các định dạng GGUF, ONNX và MLX song song với checkpoint gốc.

Granite Switch 4.1 8B là bản năng ngược lại được áp dụng cho bài toán ngược lại. Thay vì thu nhỏ mô hình, nó giữ một backbone văn bản khá lớn và bổ sung năng lực theo chiều ngang. Nền tảng là Granite 4.1 8B: 40 lớp, kích thước ẩn 4.096, 32 đầu truy vấn so với 8 đầu KV, cửa sổ 131.072 token, từ vựng 100.352 token. Nằm trên đó là guardian-core, một bộ điều hợp LoRA kích hoạt hạng 16 trên các phép chiếu attention để phát hiện tổn hại, jailbreaking, ngôn từ tục tĩu, bạo lực, nội dung tình dục, thiên kiến xã hội và hành vi phi đạo đức; decision, một bộ điều hợp hạng 64 trên cả bảy phép chiếu trả về softmax đã hiệu chỉnh trên các token tùy chọn được gắn nhãn trong một lượt truyền tiến; và Granite Speech 5.0 TurboCTC, một bộ mã hóa conformer phi tự hồi quy với 470M tham số dùng cho phiên âm. Tổng số sau khi kết hợp là 8.776.400.896 tham số so với nền tảng 8.380.551.168 — mức tăng 4,72%.

A generated comparison scoreboard card titled 'Granite Switch 4.1 8B vs LFM2.5 2.6B Base — the scoreboard' with two columns of six matching rows: Parameters 8.78B vs 2.69B, Layers 40 dense vs 30 hybrid, Context 131K vs 131K, Modalities text and audio vs text only, Checkpoint type composed instruct vs pre-trained base, and License Apache-2.0 vs LFM 1.0. The footer reads 'Both figures from the vendors' own model cards; neither has an independent evaluation.' The OrcaRouter logo is composited in the white strip below the artwork.

Yếu tố quyết định: instruct so với base

Sự khác biệt lớn nhất giữa hai checkpoint này không nằm ở kích thước hay kiến trúc. Mà ở chỗ một cái là mô hình hoàn chỉnh, còn cái kia chỉ là nguyên liệu thô.

Granite Switch 4.1 8B được phát hành sẵn sàng để gọi. Các adapter đã được tích hợp sẵn, các token điều khiển đã được nối xuyên suốt chat template, các công thức gọi cho adapter quyết định đã được ghi tài liệu kèm mã chạy được, và thẻ mô hình liệt kê chính xác các phiên bản Transformers và vLLM mà nó yêu cầu. Bạn tải nó về, chạy nó, và nó thực hiện ba nhiệm vụ.

LFM2.5 2.6B Base không làm bất kỳ điều nào trong số đó, theo thiết kế. Hướng dẫn của chính Liquid là checkpoint này dành cho "các trợ lý theo ngôn ngữ cụ thể (ví dụ: tiếng Nhật) hoặc theo lĩnh vực cụ thể (ví dụ: y tế), huấn luyện trên dữ liệu độc quyền, hoặc thử nghiệm các phương pháp hậu huấn luyện mới" — và nếu thứ bạn muốn là một mô hình trả lời câu hỏi ngay khi dùng, thì model card chỉ sang phiên bản anh em đã qua hậu huấn luyện. Một checkpoint nền không có hành vi tuân theo chỉ dẫn nào để so sánh, không có căn chỉnh, và không có kỷ luật theo mẫu chat. Đặt cả hai vào cùng một bài đánh giá và mô hình Granite sẽ trông tốt hơn hẳn vì một lý do không liên quan gì đến việc mô hình nào tốt hơn: một mô hình đã qua hậu huấn luyện còn một mô hình thì chưa.

• Tham số — 8,78 tỷ tổng hợp so với 2,69 tỷ.

• Lớp — 40 khối transformer dày đặc so với 30 khối lai (22 tích chập ngắn có cổng kép + 8 GQA).

• Ngữ cảnh — 131,072 token so với 131,072 token. Ngang nhau tuyệt đối, điều này thật bất thường và đáng lưu ý.

• Từ vựng — 100.355 (ba id được dành riêng cho các adapter) so với 128.000.

• Phương thức — đầu vào văn bản và âm thanh, đầu ra văn bản so với chỉ văn bản.

• Loại checkpoint — đã tổng hợp, đã huấn luyện hậu kỳ, sẵn sàng gọi so với mô hình cơ sở tiền huấn luyện để tinh chỉnh.

• Giấy phép — Apache-2.0 so với giấy phép LFM 1.0, vốn không phải Apache. Sự khác biệt đó có ý nghĩa quan trọng về mặt thương mại và rất dễ bị bỏ sót.

• Bằng chứng đã công bố — một Chỉ số Quyết định do nhà cung cấp tự thực hiện, đạt 42,9 tổng thể, không có đánh giá độc lập, so với việc không có chuẩn đối sánh công khai tương đương cho checkpoint cơ sở.

Điều mà 2,69 tỷ mua được cho bạn mà 8,78 tỷ không thể

A screenshot of the Liquid AI LFM2.5 2.6B Base model card on Hugging Face, showing 51 likes, the TextGeneration pipeline tag, tags reading 16 languages, lfm2 and liquid, an LFM 1.0 licence rather than Apache, a last-month download count of 5,776, a 3B parameter and BF16 model size, and a model-details table listing LFM2.5-2.6B-Base as the pre-trained base model for fine-tuning against LFM2.5-2.6B post-trained for agentic workloads, with the base described as the pre-trained text-only checkpoint at 2.69B total parameters built from 30 layers, 22 of them double-gated short convolution blocks and 8 GQA.

Tính di động, và đó không phải là một lợi thế mềm. Một mô hình 2,69B với 22 trong số 30 lớp được xây dựng từ các phép tích chập ngắn được thiết kế để sống trên một thiết bị — một laptop, một SoC cấp điện thoại, một thiết bị nhúng — và Liquid cung cấp các biến thể GGUF, ONNX và MLX đã lượng tử hóa chính vì mục đích đó. Một checkpoint tổng hợp 8,78B với bộ mã hóa giọng nói 470M là một sản phẩm phía máy chủ. Nó chạy trên GPU, trong một container, sau một endpoint.

Điều đó có nghĩa là các hình thái triển khai không chồng lấn: một cái dành cho trường hợp yêu cầu không thể rời khỏi thiết bị, cái kia dành cho trường hợp nó có thể. Nếu ràng buộc là "không có mạng", thì so sánh đã kết thúc trước cả khi bắt đầu, và không có cách kết hợp nào thay đổi được điều đó. Thêm điểm về giấy phép vào nữa — LFM 1.0 thay vì Apache-2.0 — thì checkpoint 2.6B là cái bạn sẽ chọn khi bạn định tinh chỉnh mô hình của riêng mình trên dữ liệu của riêng mình và đưa nó vào sản phẩm, trong khi Granite Switch là cái bạn chọn khi bạn muốn ba năng lực ngay hôm nay dưới một giấy phép thông thoáng.

Sự hợp thành mang lại cho bạn điều gì mà 2.69B không thể?

Ba công việc từ một endpoint, và một xác suất thay vì một câu trả lời.

Bộ chuyển đổi quyết định là phần không có tương đương ở phía bên kia. Cho một trạng thái và một câu hỏi với các lựa chọn đã được gán nhãn, nó trả về một softmax đã hiệu chỉnh trên các nhãn đó trong một lượt lan truyền xuôi duy nhất — lời gọi được tài liệu hóa yêu cầu vLLM trả về logprobs của đúng các token id nhãn thông qua logprob_token_ids rồi lấy lũy thừa của chúng, cho ra kết quả có dạng như A: 0.982, B: 0.0035, C: 0.014. Prompt cho bạn một token; cái này cho bạn một con số mà bạn có thể đặt ngưỡng, lấy trung bình và ghi log. Cũng có một điểm cần lưu ý được tài liệu hóa, đáng để biết trước khi bạn xây dựng dựa trên nó: vLLM giới hạn logprob_token_ids ở 128 id mỗi yêu cầu, nên một câu hỏi có hơn 128 lựa chọn cần các id nhãn của nó được chia thành các nhóm 128, mỗi nhóm một yêu cầu với prompt giống hệt nhau, sau đó nối các kết quả lại và áp dụng một softmax duy nhất trên toàn bộ tập nhãn. Vì các logprobs trả về bao trùm toàn bộ từ vựng, giá trị của mỗi nhãn không phụ thuộc vào việc nhóm nào đã yêu cầu nó, nên kết quả chia nhóm về mặt toán học hoàn toàn giống với một lời gọi không bị giới hạn.

Giọng nói trên cùng một endpoint là cách thứ hai. Hãy gửi một input_audio dưới dạng phần nội dung trong một chat completion thông thường và encoder 470M sẽ phiên âm nó trước khi ghép bản phiên âm vào ngữ cảnh. Những lưu ý của IBM rất cụ thể và đáng để nhắc lại: chỉ hỗ trợ tiếng Anh, đầu ra viết thường và không có dấu câu, và encoder cùng mô hình ngôn ngữ không được huấn luyện chung — không có projection nào được huấn luyện để liên kết chúng, nên một lỗi phiên âm có thể âm thầm thay đổi thứ mà mô hình phản hồi. Một mô hình edge hoàn toàn không có đường xử lý âm thanh thì gặp một vấn đề khác chứ không phải là không có vấn đề gì.

Và bộ chuyển đổi an toàn là cái thứ ba: một bộ phân loại tổn hại và jailbreak chạy trên cùng checkpoint, được kích hoạt bởi một token điều khiển mà mẫu chat chèn vào khi bạn truyền một adapter_name, thay vì phải triển khai và trả chi phí cho một mô hình thứ hai.

Router nằm ở đâu khi câu trả lời là “cả hai”

Phiên bản thực tế của phép so sánh này kết thúc với cả hai mô hình trong cùng một sản phẩm. LFM2.5 2.6B Base, đã được tinh chỉnh, chạy trên thiết bị, đảm nhiệm những gì không thể rời khỏi thiết bị; Granite Switch 4.1 8B, tự vận hành, đảm nhiệm các quyết định và phiên âm ở phía máy chủ. Đó là một kiến trúc hai tầng, và câu hỏi vận hành mà nó đặt ra là điều gì xảy ra tại mối nối — một mô hình trên thiết bị bị lỗi, một máy chủ bị quá tải, một yêu cầu cần được chuyển tiếp sang thứ khác. Cả hai checkpoint hiện đều chưa có trong danh mục của OrcaRouter, nên chúng tôi không phải là con đường để có được bất kỳ cái nào trong hai; điểm mà chúng tôi trở nên hữu ích là chuỗi dự phòng phía sau chúng. Một khóa API bao phủ hơn 200 mô hình được lưu trữ với khả năng chuyển đổi dự phòng tự động, DSL định tuyến cho phép bạn kết hợp nhiều mô hình vào một lệnh gọi duy nhất thay vì tự mình dựng cơ chế phân nhánh thủ công, và giá niêm yết của nhà cung cấp được chuyển nguyên vẹn với mức chênh lệch 0% nên việc nhà cung cấp giảm giá có hiệu lực ngay trong cùng ngày. img src="4.png" alt="Ảnh chụp màn hình danh mục mô hình của OrcaRouter, với tiêu đề 210 mô hình, 16 nhà cung cấp, một khóa API, một hóa đơn, cùng các thẻ phân loại phương thức hiển thị 173 mô hình văn bản, 12 mô hình hình ảnh, 5 embeddings, 10 video và 10 TTS, một thanh lọc bên cạnh cho các phương thức đầu vào, độ dài ngữ cảnh, giá đầu vào, trạng thái, cấp truy cập, dòng sản phẩm và các tham số được hỗ trợ, và danh sách thẻ mô hình xếp mới nhất lên đầu, bắt đầu bằng OrcaCyber Zero 1.5, OpenAI GPT-6.1 Sol và Anthropic Claude Sonnet 5.5 cùng mức giá trên mỗi triệu token cho đầu vào và đầu ra." /> Đó chính là tầng giúp cho thiết kế hai tầng có thể trụ vững thay vì mong manh, và nên được thiết lập sẵn trước khi tầng biên bắt đầu hỏng ngoài thực địa.

A screenshot of the OrcaRouter models catalogue, headed 210 models, 16 providers, one API key, one bill, with modality facets showing 173 text, 12 image, 5 embeddings, 10 video and 10 TTS models, a filter sidebar for input modalities, context length, input price, status, access tier, series and supported parameters, and a newest-first list of model cards beginning with OrcaCyber Zero 1.5, OpenAI GPT-6.1 Sol and Anthropic Claude Sonnet 5.5 with their per-million-token input and output rates.

Phán quyết, dù sao đi nữa

Chọn LFM2.5 2.6B Base nếu bạn định tinh chỉnh, nếu suy luận phải diễn ra trên thiết bị, hoặc nếu mức chiếm dụng 2.69B là ràng buộc cứng. Chọn Granite Switch 4.1 8B nếu bạn cần một phân phối quyết định đã được hiệu chỉnh, một bộ phân loại an toàn nội tuyến, hoặc phiên âm từ cùng endpoint như chat, và nếu một container được hỗ trợ bởi GPU là chấp nhận được. Mức giao nhau giữa hai trường hợp sử dụng đó gần bằng không, đó là lý do câu trả lời trung thực cho câu hỏi “mô hình nào thắng” là câu hỏi đó được đặt sai — và cũng là lý do điều hữu ích hơn để mang theo là một checkpoint base 2.69B và một mô hình instruct tổng hợp 8.78B không phải là hai điểm trên cùng một đường chất lượng. Chúng là hai sản phẩm khác nhau mà tình cờ có số tham số liền kề nhau.