LFM3-1.7B-Base so với LFM2.5-2.6B-Base: Ít tham số hơn, ít token hơn, nhiều ngữ cảnh hơn

Phép toán lại đi ngược hướng. LFM3-1.7B-Base, công bố ngày 26 tháng 10 năm 2026, nhỏ hơn 36% so với LFM2.5-2.6B-Base, mà Liquid AI phát hành ngày 4 tháng 8 năm 2026 — 1,73 tỷ tham số so với 2,69 tỷ. Nó cũng được huấn luyện trên ít token hơn: 22 nghìn tỷ so với khoảng 34 nghìn tỷ. Theo hai con số mà ngành thường dùng để xếp hạng các mô hình tiền huấn luyện, checkpoint mới hơn lẽ ra phải kém hơn. Tuyên bố của Liquid thì ngược lại, ít nhất là đối với mô hình hậu huấn luyện được xây dựng trên nền nó, và câu hỏi thú vị đối với bất kỳ ai đang chọn một trunk để tinh chỉnh là những khác biệt nào trong số đó là thật và khác biệt nào chỉ là một câu chuyện được kể bằng một bộ benchmark. Việc chạy so sánh nên tốn compute, chứ không phải thêm một hợp đồng thứ hai. 0% phụ phí OrcaRouter chuyển thẳng giá niêm yết của nhà cung cấp với 0% phụ phí.

Đây là một phép so sánh trong cùng một dòng mô hình, khiến nó đặc biệt rõ ràng. Cùng nhà cung cấp, cùng nhóm giấy phép, cùng bộ từ vựng 128.000 token, cùng kích thước ẩn 2.048, cùng vai trò base-to-base. Hai checkpoint khác nhau ở kiến trúc, khối lượng dữ liệu, độ dài ngữ cảnh và lượng hậu huấn luyện được tích hợp sẵn vào phần thân. Hầu hết mọi thứ còn lại đều được giữ nguyên.

Phần chênh lệch, theo từng chiều một

• Tham số — 1,73B cho LFM3-1.7B-Base so với 2,69B cho LFM2.5-2.6B-Base. Mức giảm 35,7%, đây chính là nguồn gốc của cụm "35% ít tham số hơn" trong bài đăng ra mắt của Liquid.

• Số lớp — 24 so với 30. Mẫu mới hơn vừa nông hơn vừa hẹp hơn.

• Kết hợp tầng — mười ba tích chập ngắn có cổng, năm khối chú ý cửa sổ trượt và sáu khối chú ý đầy đủ cho LFM3; hai mươi hai tích chập và tám khối chú ý đầy đủ cho LFM2.5, không có tầng cửa sổ trượt.

• Cơ chế chú ý — mười sáu head truy vấn và bốn head khóa-giá trị trong LFM3, so với ba mươi hai và tám trong LFM2.5. Cả hai đều giữ nguyên chiều head là 128 và kích thước ẩn là 2.048.

• Độ rộng feed-forward — 7,680 cho LFM3 so với 10,752 cho LFM2.5. Đây chính là nơi phần lớn việc giảm tham số thực sự diễn ra.

• Bộ nhớ đệm tích chập — bảy cho LFM3 so với ba cho LFM2.5, với cửa sổ trượt 256 token được thêm vào.

• Ngữ cảnh — 262.144 token so với 128.000. Checkpoint mới hơn nhân đôi con số này.

• Token tiền huấn luyện — 22 nghìn tỷ so với khoảng 34 nghìn tỷ, trong đó 3,5 nghìn tỷ cuối cùng của lần chạy mới hơn được dành cho dữ liệu mid-training đã được tuyển chọn, bao gồm các dấu vết tác tử và lệnh gọi công cụ.

• Tệp phát hành — LFM3-1.7B-Base chỉ được phát hành dưới dạng safetensors BF16, dung lượng 3,46 GB. LFM2.5-2.6B-Base được phát hành ở dạng Safetensors cùng các bản dựng GGUF, ONNX và MLX, chạy dưới 2,5 GB khi lượng tử hóa và được hỗ trợ bởi Transformers, vLLM, SGLang, llama.cpp và MLX.

Các tham số đã đi đâu

Mức giảm không được phân bổ đều, và điều đó quan trọng với bất kỳ ai ước tính chi phí tinh chỉnh. Embedding được ràng buộc ở cả hai mô hình và từ vựng giống hệt nhau ở 128.000 token, vì vậy ma trận embedding không thay đổi. Kích thước ẩn không đổi ở 2.048. Phần tiết kiệm đến từ ba nơi: ít hơn sáu lớp, số đầu chú ý bằng một nửa, và khối feed-forward hẹp hơn khoảng 29%.

Thu hẹp khối feed-forward là cách rẻ nhất để thu gọn một transformer, vì khối đó chứa phần lớn tham số trong mỗi lớp. Giảm một nửa số đầu chú ý sẽ giảm cả bộ nhớ đệm key-value lẫn trọng số, đó là lý do một mô hình có ngữ cảnh gấp đôi vẫn có thể được mô tả là vừa khoảng 1 GB ở 4-bit. Cái giá phải đánh đổi là dung lượng: một MLP hẹp hơn có ít chỗ hơn để lưu các liên kết thực tế, và số đầu ít hơn cho mô hình ít mẫu chú ý độc lập hơn để làm việc. Lập luận của Liquid là dữ liệu tốt hơn và cách phối trộn lớp tốt hơn bù đắp nhiều hơn mức cần thiết. Lập luận đó có thể kiểm chứng được, và tính đến thời điểm công bố, chưa ai bên ngoài công ty kiểm chứng nó.

Ngữ cảnh đến từ đâu

Tăng ngữ cảnh từ 128K lên 256K mà không tăng gấp đôi chi phí attention đòi hỏi không attention trên toàn cục. Ngăn xếp của LFM3 làm được điều đó bằng cách đưa năm trong số hai mươi tư lớp của nó vào cửa sổ trượt 256 token và mười ba lớp vào các phép tích chập, chỉ để lại sáu lớp nhìn thấy toàn bộ chuỗi. Cấu hình cũng mang hệ số rotary một phần là 0,5 trên các lớp attention toàn cục, áp dụng rotary embeddings cho một nửa số chiều của mỗi head, và rotary theta là một triệu trên các lớp đó so với mười nghìn trên các lớp cửa sổ trượt.

Bài đăng ra mắt của Liquid đưa ra một con số cụ thể cho những gì điều này mang lại: ở 128K token, KV cache của mô hình văn bản là 1,6 GB. Đối với LFM2.5-2.6B-Base, không có con số tương đương nào được công bố. Do đó, so sánh này mang tính định hướng chứ không chính xác tuyệt đối — kiến trúc mới hơn được thiết kế để giữ ngữ cảnh dài hơn trong ít bộ nhớ hơn, và con số của chính nhà cung cấp là phép đo duy nhất hiện có.

Vì sao ít token hơn lại là tuyên bố thú vị

Ba mươi tư nghìn tỷ token giảm xuống còn hai mươi hai nghìn tỷ là mức giảm 35% trong tính toán tiền huấn luyện ở cấp độ dữ liệu, và đó là hướng ngược lại so với hầu hết các thế hệ mô hình. Câu chuyện thường thấy là nhiều dữ liệu hơn, nhiều tham số hơn, mô hình tốt hơn. Câu chuyện của Liquid là ít hơn cả hai, với một kiến trúc mới và một hỗn hợp dữ liệu bổ sung các bài báo khoa học, mã cấp kho lưu trữ, toán học và phạm vi rộng hơn các nguồn tri thức.

Giai đoạn mid-training 3,5 nghìn tỷ token là phần khiến checkpoint này khác với một lần pre-train thông thường. Giai đoạn này sử dụng dữ liệu được tuyển chọn, chất lượng cao hơn với tỷ lệ dấu vết tác tử và lệnh gọi công cụ lớn hơn, và đây cũng là nơi cửa sổ ngữ cảnh được mở rộng. Giai đoạn đó cũng là lý do mô hình cơ sở mang một mẫu trò chuyện: dữ liệu mid-training được định dạng dưới dạng các cuộc hội thoại, có và không có dấu vết suy nghĩ.

Không điều nào trong số này có thể được xác minh từ bên ngoài. Số lượng token là tự báo cáo, hỗn hợp dữ liệu không được công bố, và không có ablation nào cho thấy thay đổi nào tạo ra mức tăng nào. Tuyên bố này là hợp lý — chất lượng dữ liệu đã nhiều lần đánh bại khối lượng thô trong hai năm qua — nhưng hợp lý không phải là được đo lường.

So sánh từng base với từng base có thể giải quyết được điều gì

Nó có thể trả lời dứt điểm về thông số kỹ thuật, chi phí và khả năng tương thích, và trang này làm được điều đó. Nó không thể trả lời dứt điểm về chất lượng, vì cả hai checkpoint đều không có benchmark được công bố. Liquid không công bố đánh giá nào cho LFM2.5-2.6B-Base và cũng không công bố đánh giá nào cho LFM3-1.7B-Base. Cả hai card mô hình đều khuyến nghị checkpoint này cho việc tinh chỉnh chuyên sâu và hướng người đọc đến nơi khác để tìm hiểu về chat.

Bằng chứng chất lượng duy nhất trong dòng mô hình là cặp đã qua post-training. Liquid báo cáo LFM3-1.7B đạt trung bình 49,37 trên bộ đánh giá riêng của mình, so với 31,55 của LFM2.5-2.6B, trong khi mô hình mới hơn dùng ít hơn 35% tham số. Đó là một khoảng cách lớn, và đây là con số do nhà cung cấp công bố, được đo trên một bộ đánh giá do nhà cung cấp tự chọn, so sánh hai mô hình khác nhau cả ở post-training lẫn ở phần thân mô hình. Đây là bằng chứng cho thấy công thức LFM3 tạo ra một mô hình instruct tốt hơn. Đây không phải bằng chứng cho thấy checkpoint gốc là một điểm khởi đầu tốt hơn, vì phần post-training chồng lên trên đó có thể giải thích toàn bộ khác biệt.

Ghi chú di chuyển dành cho những ai đang dùng LFM2.5

Hai checkpoint dùng chung kích thước bộ từ vựng, kích thước ẩn và một họ tokenizer, khiến việc chuyển đổi trông có vẻ dễ hơn thực tế. Chúng không dùng chung mã mô hình: LFM2.5 tải dưới dạng Lfm2ForCausalLM và LFM3 dưới dạng Lfm3ForCausalLM, cả hai đều thông qua mã tùy chỉnh với trust_remote_code=True. Một script huấn luyện viết cho cái này sẽ không tải được cái kia nếu không thay đổi lớp mô hình, và các mẫu chat khác nhau trong cách xử lý dấu vết suy nghĩ.

Khác biệt vận hành lớn hơn nằm ở khâu đóng gói. LFM2.5-2.6B-Base có các bản dựng GGUF, ONNX và MLX và chạy trên llama.cpp, vLLM, SGLang, Transformers và MLX. LFM3-1.7B-Base được phát hành dưới dạng một tệp safetensors BF16 duy nhất; các bản dựng lượng tử hóa và đa nền tảng chỉ tồn tại cho LFM3-1.7B sau huấn luyện, không phải cho checkpoint gốc. Nếu pipeline của bạn phụ thuộc vào một artifact GGUF, bạn sẽ phải tự chuyển đổi và xác thực kết quả.

Hỗ trợ tinh chỉnh là đối trọng. LFM3-1.7B-Base liên kết các notebook TRL cho tinh chỉnh có giám sát và tiền huấn luyện tiếp tục, còn tài liệu thì bao quát lộ trình từ đó. Checkpoint nhỏ hơn, ngữ cảnh 256K và quá trình huấn luyện trung gian mang tính tác tử đều nhắm chính xác đến kiểu thích ứng miền mà những notebook đó minh họa.

Nên bắt đầu từ thân nào

Hãy bắt đầu từ LFM3-1.7B-Base nếu bạn đang bắt đầu một lần tinh chỉnh mới, tác vụ của bạn được hưởng lợi từ ngữ cảnh dài và bạn có thể làm việc ở BF16 với Transformers hoặc tự chuyển đổi trọng số. Việc giảm 35% tham số là khoản tiết kiệm thực sự cho một lần chạy huấn luyện trên một GPU, ngữ cảnh được nhân đôi là một thay đổi năng lực thực sự, và mẫu trò chuyện rút ngắn giai đoạn có giám sát.

Hãy tiếp tục dùng LFM2.5-2.6B-Base nếu bạn đã có một pipeline đang hoạt động, phụ thuộc vào một artifact GGUF hoặc ONNX, hoặc cần một checkpoint đã có cả năm trời công cụ cộng đồng hỗ trợ phía sau. Mô hình mới hơn mới chỉ ba ngày tuổi. Bản instruct cùng dòng của nó có các bản build lượng tử hóa và được hỗ trợ ngay từ ngày đầu trong vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX và ONNX Runtime, nhưng checkpoint base thì không, và khoảng cách đó chính là cái giá thực tế của việc đi trước.

Nếu bạn không chắc chắn, hãy chạy thử nghiệm thay vì đọc tài liệu quảng cáo. Hãy lấy một phần nhỏ dữ liệu của chính bạn, chạy cùng công thức tiền huấn luyện tiếp tục trên cả hai nhánh trong cùng số bước, và đánh giá trên một tập giữ lại mà bạn đã xây dựng trước khi bắt đầu. Đó chỉ là vài giờ GPU và nó trả lời một câu hỏi mà không bảng nào của nhà cung cấp có thể trả lời. Khi hai bản tinh chỉnh đã có, hãy đặt cả hai phía sau một endpoint: OrcaRouter DSL định tuyến của nó có thể chia lưu lượng giữa chúng, và chuyển đổi dự phòng tự động nghĩa là một thử nghiệm tồi sẽ không trở thành một ngày sản xuất tồi. Nền tảng chuyển giá niêm yết của nhà cung cấp qua với mức phụ phí 0%, vì vậy chi phí chạy thử nghiệm là chi phí tính toán, không phải một hợp đồng thứ hai.

Con số cần theo dõi

Tuyên bố có thể giải quyết được điều này không phải là một con số trung bình khác. Đó là một đánh giá mô hình nền — bất kỳ đánh giá mô hình nền nào — được Liquid hoặc một bên thứ ba công bố, so sánh LFM3-1.7B-Base và LFM2.5-2.6B-Base sau cùng một công thức tinh chỉnh. Cho đến khi điều đó tồn tại, chênh lệch giữa các thế hệ được ghi nhận trong kiến trúc và cấu hình, có vẻ hợp lý trong số lượng token, và chưa được chứng minh ở nơi quan trọng. Checkpoint mới hơn nhỏ hơn, có ngữ cảnh dài hơn và được đóng gói tốt hơn để huấn luyện. Liệu nó có tốt hơn hay không là câu hỏi mà kho lưu trữ không trả lời.