LFM3-1.7B-Base: Repo nói gì, và những gì Liquid AI chưa nói

Checkpoint có tác động lớn nhất trong dòng mô hình mới của Liquid AI lại là checkpoint có ít thông tin để đọc nhất. LFM3-1.7B-Base là một mô hình tiền huấn luyện chỉ dành cho văn bản với 1,73 tỷ tham số, và vào ngày 27 tháng 10 năm 2026, nó trở thành phần nền tảng mà mọi mô hình LFM3 hậu huấn luyện đều được xây dựng từ đó — mô hình văn bản, mô hình thị giác, mô hình âm thanh, mô hình omni và cả hai mô hình quyết định. Bài đăng ra mắt dòng mô hình chỉ nhắc đến nó trong một mệnh đề duy nhất. Không có thông cáo riêng cho nó, không có bảng đánh giá chuẩn nào cho mô hình nền, và không có đưa tin báo chí nào nhắm đến nó. Trong khi đó, kho lưu trữ lại đặc biệt rõ ràng về việc checkpoint này là gì và dùng để làm gì, khiến đây là một bản phát hành dễ mô tả nhưng khó phóng đại. Không có phụ phí nào được cộng thêm vào khoản mà nhà cung cấp mô hình tính. Giá niêm yết của nhà cung cấp Thay đổi giá của nhà cung cấp sẽ được phản ánh vào hóa đơn của bạn ngay trong ngày.

Phần dưới đây tách biệt hai điều đó. Mọi thứ trong nửa đầu đều đến từ thẻ mô hình, tệp cấu hình, văn bản giấy phép hoặc bài đăng ra mắt của chính Liquid, và có thể kiểm chứng ngay hôm nay. Nửa sau là những gì vẫn thực sự chưa rõ ba ngày sau khi trọng số được đăng lên.

Hai kho lưu trữ, một bài đăng ra mắt và khoảng cách mười hai giờ

Các dấu thời gian kể câu chuyện về một bản phát hành đã diễn ra công khai trước khi nó diễn ra trên truyền thông. Kho lưu trữ của mô hình sau huấn luyện LFM3-1.7B đã được tạo vào ngày 23 tháng 10 năm 2026. Kho lưu trữ cơ sở được tạo vào ngày 26 tháng 10 lúc 16:28 UTC, và thẻ của nó được sửa đổi lần cuối vào ngày 27 tháng 10 lúc 04:15 UTC — chưa đầy mười hai giờ sau đó. Bài đăng trên blog, "Giới thiệu LFM3: Mọi phương thức cho Trí tuệ Chuyên biệt," được ghi ngày 27 tháng 10. Vào thời điểm bất kỳ ai bên ngoài công ty có thể đọc được một bản đặc tả, các trọng số đã nằm trên Hugging Face được một ngày.

Thứ tự đó đáng được nói thẳng ra vì đây là thứ gần nhất với một "bản phát hành thầm lặng" ở đây. Liquid đã công bố dòng mô hình, và thông báo nêu LFM3-1.7B-Base là checkpoint mà sáu mô hình còn lại được huấn luyện từ đó. Điều công ty không làm là công bố checkpoint nền theo cách riêng của nó — không có bài đăng riêng, không có đánh giá riêng cho bản nền, không có định vị nào ngoài một đoạn trong thẻ mô hình. Dòng mô hình được phát hành. Phần thân chính được một kho lưu trữ và một chỉ dẫn tới dòng mô hình.

Có gì trong kho lưu trữ?

Thẻ mô hình nhỏ gọn và, lần này, đầy đủ ở những điểm cơ bản. Một tệp model.safetensors 3,46 GB ở định dạng bfloat16. Một tokenizer với bộ từ vựng 128.000 token. Mã mô hình được phát hành dưới dạng Python tùy chỉnh đi kèm trọng số, được tải bằng trust_remote_code=True thay vì thông qua một bản phát hành Transformers thượng nguồn đã được hợp nhất. Giấy phép là LFM Open License v1.0, cùng nhóm điều khoản mà Liquid đã sử dụng từ LFM2.

• Tham số — 1,73 tỷ, dày đặc, mọi tham số đều được đọc ở mỗi token.

• Lớp — 24: mười ba khối tích chập ngắn có cổng, năm khối chú ý cửa sổ trượt, sáu khối chú ý đầy đủ.

• Ngữ cảnh — 262,144 token, đầu vào cộng đầu ra.

• Hình học attention — kích thước ẩn 2.048, mười sáu đầu truy vấn, bốn đầu khóa-giá trị, số chiều mỗi đầu 128. Đó là attention nhóm truy vấn bốn-một, không phải tám-một của LFM2.5.

• Cửa sổ cục bộ — 256 token, với bộ đệm tích chập là bảy. Đây là một thiết lập attention theo từng lớp, không phải độ dài ngữ cảnh, và nó đã gây ra một làn sóng nhỏ các báo cáo sai khi kiến trúc này lần đầu xuất hiện trong một pull request của engine một ngày trước khi ra mắt.

• Từ vựng và ngôn ngữ — 128.000 token, mười sáu ngôn ngữ được liệt kê: tiếng Anh, tiếng Ả Rập, tiếng Trung, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Nhật, tiếng Hàn, tiếng Bồ Đào Nha, tiếng Tây Ban Nha, tiếng Việt, tiếng Thái, tiếng Indonesia, tiếng Hindi, tiếng Nga, tiếng Ba Lan.

• Bộ nhớ — khoảng 1 GB ở độ chính xác 4-bit theo Liquid, 3,46 GB khi xuất xưởng ở BF16.

Một điểm không nhất quán nhỏ đáng để biết trước khi bạn nêu một kích thước. Thanh bên của Hugging Face làm tròn mô hình thành "2B params" trong khi bảng trên thẻ ghi 1.73B. Tệp dữ liệu giải đáp điều đó: 3.46 GB bfloat16 là 1.73 tỷ tham số với hai byte mỗi tham số, vậy nhãn ở thanh bên là một quy ước làm tròn, không phải một thông số kỹ thuật thứ hai. Vào thời điểm viết bài, kho lưu trữ hiển thị mười lăm lượt tải xuống trong tháng trước và tám lượt thích — hồ sơ của một checkpoint đã được phát hành, được liên kết từ bài đăng ra mắt, và chưa được ai để ý tới.

Kiến trúc, không có sơ đồ

Thiết kế này dễ hiểu nhất khi xem nó như một lập luận về ngân sách. Attention đầy đủ là phần tốn kém của một transformer ở ngữ cảnh dài: mỗi token so sánh chính nó với mọi token khác, và chi phí tăng theo bình phương của chuỗi. Chồng tri-hybrid của Liquid chỉ dành sáu trong hai mươi bốn lớp của nó cho thao tác đó. Mười ba lớp là các phép tích chập ngắn có cổng, trộn thông tin cục bộ với chi phí cố định trên mỗi token, và năm lớp là các khối attention cửa sổ trượt chỉ nhìn thấy 256 token mỗi lần. Hai phần ba mạng hoàn toàn không bao giờ thực hiện thao tác attention toàn cục.

Đây chính là canh bạc mà Liquid đã theo đuổi từ LFM2, nay được đẩy xa hơn. LFM2.5-2.6B-Base sử dụng ba mươi lớp được chia thành hai mươi hai phép tích chập và tám khối chú ý đầy đủ, không có tầng cửa sổ trượt. LFM3 thay thế một cặp tích chập bằng một khối chú ý trượt tại năm điểm trong ngăn xếp, nâng bộ nhớ đệm tích chập từ ba lên bảy, và bổ sung các thiết lập chuẩn hóa sandwich và quay một phần xuất hiện trong cấu hình. Việc đánh đổi cụ thể đó có cải thiện chất lượng hay không là câu hỏi chỉ đánh giá mới trả lời được, và tính đến thời điểm công bố, chưa có đánh giá mô hình cơ sở nào để trả lời điều đó. Điều mà cấu hình xác lập là ngữ cảnh 256K không đạt được bằng cách mở rộng chú ý lên 256K; nó đạt được bằng cách giữ phần lớn ngăn xếp cục bộ.

Mô hình cơ sở đi kèm với một mẫu trò chuyện

Đây là chi tiết dễ khiến bất kỳ ai tải checkpoint về với kỳ vọng sinh văn bản thô cảm thấy bối rối nhất. LFM3-1.7B-Base bao gồm một chat template đầy đủ, và card cho biết mid-training đã bao gồm dữ liệu trò chuyện cả có lẫn không có dấu vết suy luận, được định dạng bằng cùng template như mô hình đã hậu huấn luyện. Gọi apply_chat_template thì reasoning được bật theo mặc định: phản hồi bắt đầu bên trong một khối suy luận trừ khi bạn truyền enable_thinking=False, tùy chọn này điền trước một dấu vết rỗng và yêu cầu trả lời trực tiếp.

Vì vậy, nó hành xử hơi giống một mô hình instruct nhưng lại được tài liệu hóa như một thứ hoàn toàn khác. Khuyến nghị của chính card là rõ ràng: LFM3-1.7B-Base “chỉ được khuyến nghị cho các tác vụ cần tinh chỉnh chuyên sâu, như trợ lý theo ngôn ngữ cụ thể hoặc theo miền cụ thể, huấn luyện trên dữ liệu độc quyền, hoặc thử nghiệm các phương pháp hậu huấn luyện mới.” Đối với trò chuyện, gọi công cụ và agent, nó trỏ tới LFM3-1.7B. Template ở đó vì dữ liệu huấn luyện trung gian được định dạng theo cách đó và vì một bản fine-tune kế thừa nó — không phải vì checkpoint đã được tinh chỉnh cho hội thoại. Bất kỳ ai coi template là tín hiệu sẵn sàng sẽ thất vọng với đầu ra, và card đã nói rõ điều đó trước khi họ bắt đầu.

Những con số mà người ta sẽ trích dẫn không phải là những con số của mô hình này.

Bài đăng ra mắt có một bảng benchmark đồ sộ, và gần như không có phần nào trong đó áp dụng cho checkpoint mà bài viết này nói đến. Mức trung bình được nêu bật là 49.37 thuộc về LFM3-1.7B, mô hình post-trained, được đo trên bộ benchmark riêng của Liquid. Các hàng so sánh — LFM2.5-2.6B ở 31.55, MiniCPM5-2B ở 39.19, Gemma 4 E4B ở 31.74, Qwen3.5-4B ở 39.27, Qwen3.5-9B ở 47.24 — là các mô hình post-trained so với các mô hình post-trained. Điểm 43.40 trên SWE-bench Verified và 73.46 trên LiveCodeBench v6 cũng là điểm của mô hình đã được tinh chỉnh.

Hai tuyên bố thường bị gắn vào checkpoint gốc khi đọc lướt và lẽ ra không nên như vậy. Đầu tiên là “35% ít tham số hơn” — đó là việc LFM3-1.7B vượt trội LFM2.5-2.6B, một phát biểu về cặp mô hình sau huấn luyện, chứ không phải kết quả so sánh base với base. Thứ hai là tuyên bố rằng LFM3 “ngang ngửa Gemma 4 12B”. Câu đó nói về LFM3-VL-2B, mô hình thị giác, trên 62 benchmark thị giác. Nó không nói gì về checkpoint gốc dạng văn bản, vốn không có đánh giá nào được công bố. Một mô hình base không có bảng benchmark không phải là điều bất thường — Liquid cũng cố ý không công bố bảng nào cho LFM2.5-2.6B-Base — nhưng việc thiếu vắng đó nghĩa là mọi tuyên bố về chất lượng của checkpoint này hiện tại đều là tuyên bố về mô hình được tạo ra từ nó.

Đào tạo, và phần thực sự đặc trưng

Liquid cho biết checkpoint đã thấy 22 nghìn tỷ token trong hai giai đoạn. Giai đoạn tiền huấn luyện chính đã thay đổi hỗn hợp dữ liệu so với LFM2, bổ sung nhiều bài báo khoa học hơn, mã cấp kho lưu trữ, toán học và phạm vi nguồn tri thức rộng hơn. 3,5 nghìn tỷ token cuối cùng là giai đoạn huấn luyện trung gian trên dữ liệu được tuyển chọn, chất lượng cao hơn với tỷ lệ lớn hơn các dấu vết tác tử và lệnh gọi công cụ, và đây là giai đoạn mà cửa sổ ngữ cảnh được mở rộng lên 256K.

Phần bất thường không phải là số lượng token; mà là dữ liệu agentic đã được đưa vào mô hình nền thay vì chỉ đưa vào hậu huấn luyện. Hầu hết nhà cung cấp giữ lại các dấu vết gọi công cụ cho giai đoạn tinh chỉnh theo chỉ dẫn. Liquid đã đưa chúng vào phần lõi rồi sau đó hậu huấn luyện sáu mô hình khác nhau trên nền đó bằng SFT, RL hỗn hợp, chưng cất on-policy đa miền và RL agentic. Đó là một chiến lược mạch lạc cho một họ mô hình nhằm chia sẻ một xương sống chung xuyên các phương thức, và cũng là lý do checkpoint nền mang sẵn một mẫu trò chuyện. Đây là một tuyên bố về phương pháp huấn luyện không thể kiểm chứng từ bên ngoài, và không tồn tại bản tái lập độc lập nào.

Những gì bạn có thể làm với nó ngày hôm nay

Thẻ này liên kết tới hai notebook TRL, một notebook dùng để tinh chỉnh có giám sát nhằm trích xuất JSON có cấu trúc từ các tài liệu lộn xộn và một notebook dùng để tiếp tục tiền huấn luyện trên một ngôn ngữ mới, lấy tiếng Thổ Nhĩ Kỳ từ văn bản thô làm ví dụ. Cả hai đều được viết cho LFM3-1.7B và chỉ cần thay đổi một model_id duy nhất để trỏ đến checkpoint gốc. Trang tài liệu bao quát phần còn lại của quy trình tinh chỉnh. Mô hình instruct có đầy đủ các biến thể runtime — BF16 cho vLLM, SGLang và Transformers; FP8 và NVFP4 cho SGLang; GGUF cho llama.cpp, Ollama và LM Studio; MLX cho Apple silicon; ONNX Runtime. Checkpoint gốc chỉ có đúng một artifact: tệp safetensors BF16. Không có GGUF, không có bản build MLX, không có bản phát hành lượng tử hóa. Nếu bạn muốn chạy nó trên điện thoại, bạn phải tự thực hiện việc chuyển đổi đó.

Điều này phù hợp ở đâu nếu bạn kiếm sống bằng việc phục vụ các mô hình?

Một checkpoint được tiền huấn luyện không phải là một endpoint trò chuyện, và đáng để nói rõ điều đó. LFM3-1.7B-Base không xuất hiện trong danh mục của OrcaRouter tại thời điểm viết bài, và việc định tuyến một mô hình nền sẽ là điều kỳ lạ: nó không có khả năng tuân theo chỉ dẫn để định tuyến tới. Vị trí hữu ích cho một router bắt đầu muộn hơn một bước, sau khi bản fine-tune đã tồn tại. OrcaRouter đặt hơn 200 mô hình phía sau một API với 0% phụ phí trên giá niêm yết của nhà cung cấp, chuyển đổi dự phòng tự động và một DSL định tuyến, nhờ đó một checkpoint LFM3 được tinh chỉnh theo lĩnh vực có thể nằm cạnh một mô hình tổng quát lớn hơn và được so sánh hoặc chuyển đổi dự phòng sang mà không cần tích hợp lần hai. Hợp nhất mô hình — một hội đồng cùng trả lời — là lựa chọn còn lại khi một chuyên gia 1,73B giỏi một việc và bạn cần ý kiến thứ hai. Không điều nào trong số đó đòi hỏi bản thân checkpoint nền phải được lưu trữ ở bất kỳ đâu.

Điều gì vẫn chưa được xác nhận?

• Chất lượng bản Base. Không có bảng benchmark, không có đầu ra của harness đánh giá, không so sánh với LFM2.5-2.6B-Base trên bất kỳ tác vụ nào.

• Xác minh độc lập. Không có phòng thí nghiệm bên thứ ba nào công bố một lần chạy của mô hình cơ sở hoặc mô hình đã tinh chỉnh. Mọi con số trong bài đăng ra mắt đều là của chính Liquid.

• Hỗ trợ từ Transformers gốc. Kho lưu trữ dùng mã mô hình tùy chỉnh và trust_remote_code. Điều đó là bình thường khi mới ra mắt, nhưng về sau sẽ là một khoản chi phí bảo trì.

• Mô hình cơ sở được phục vụ như thế nào. Bài đăng ra mắt cho biết mô hình cơ sở và mô hình sau huấn luyện có sẵn trên Hugging Face, Liquid Playground và Liquid API. Không có giải thích về việc API làm gì với một checkpoint cơ sở chưa tinh chỉnh, và không có thông tin giá nào cho nó được công bố.

• Các trường hợp biên về giấy phép. LFM Open License v1.0 miễn phí cho mục đích thương mại khi doanh thu hằng năm dưới 10 triệu USD; trên ngưỡng đó, giấy phép thương mại sẽ được áp dụng. Văn bản này được công khai, nhưng cách văn bản xử lý một mô hình phái sinh được huấn luyện trên mô hình nền và sau đó được cung cấp thương mại là câu hỏi dành cho luật sư, không phải cho thẻ mô hình.

Xem gì

Tín hiệu có ý nghĩa tiếp theo không phải là một thông báo khác — mà là đánh giá độc lập đầu tiên về mô hình đã qua post-training, và bản fine-tune công khai đầu tiên báo cáo việc huấn luyện trên checkpoint gốc diễn ra như thế nào. Cách Liquid tự diễn đạt mời gọi đúng phép thử đó: một thân 1,73B tạo ra sáu mô hình và tuyên bố vượt qua mô hình tiền nhiệm 2,69B hoặc là một kiến trúc thực sự hiệu quả, hoặc là một bộ benchmark được chọn khéo, và chỉ những lượt chạy bên ngoài mới phân biệt được hai khả năng. Trước đó, kho mã là toàn bộ câu chuyện: một tệp 3,46 GB, một đặc tả rõ ràng, một chat template không phải lời mời, và một giấy phép đáng đọc trước khi dòng doanh thu tiến lại gần.