LFM2.5-24B-A2B-DSpark so với LFM2.5-8B-A1B-DSpark: Cùng một tệp 328M, hai hướng đặt cược rất khác nhau

Tải xuống một trong hai tệp và bạn nhận được 655.421.522 byte. LFM2.5-24B-A2B-DSpark và LFM2.5-8B-A1B-DSpark có cùng kích thước đến từng byte, dùng chung một xương sống năm lớp, cùng một đầu Markov hạng 256, cùng kích thước khối là 9 và cùng bộ từ vựng 128.000 token — và không cái nào có thể trả lời một lời nhắc duy nhất, vì cả hai đều là drafter giải mã suy đoán chỉ tồn tại để đoán token cho một mô hình mục tiêu. Thứ phân biệt chúng không phải là thông số kỹ thuật của chính chúng. Mà là mục tiêu mà chúng được huấn luyện nhắm tới, và có bao nhiêu bằng chứng cho thấy thủ thuật này hiệu quả trên mục tiêu đó. Một cái có các phép đo GPU và MacBook đã công bố từ bài đăng ra mắt; cái kia có một bảng GPU và không có thông báo. Vì vậy, chọn giữa chúng hoàn toàn không phải là so sánh các mô hình — mà là so sánh hai canh bạc, và chỉ một trong số đó đã được quy đổi thành tiền. Các thất bại AI và sự cố tác tử được ghi nhận đằng sau những bản phát hành như bản này được tập hợp trong the OrcaRouter AI Incident Archive nơi mỗi mục có nguồn riêng, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp.

Các tệp giống hệt nhau; còn các công việc thì không.

Đọc hai config.json cạnh nhau và gần như mọi trường đều khớp: kích thước ẩn 2.048, kích thước trung gian 6.144, kích hoạt SiLU, 32 đầu chú ý trên 8 đầu KV với chiều đầu 64, năm lớp full-attention, kích thước khối 9, enable_confidence_head: true, một đầu Markov vanilla hạng 256. Số lượng tham số giống hệt nhau, đó là lý do các tệp safetensors khớp từng byte.

Ba trường khác nhau, và mỗi trường đều có vai trò then chốt.

• Các điểm trích xuất lớp đích — 8B drafter đọc các trạng thái ẩn từ các lớp 2, 6, 10, 14 và 18 của một mô hình đích 24 lớp; 24B drafter đọc các lớp 2, 10, 18, 26 và 34 của một mô hình đích 40 lớp. Đây là trường khiến các tệp không thể hoán đổi cho nhau.

• Số vị trí tối đa — 128.000 cho drafter 8B so với 131.072 cho 24B, bám theo cửa sổ ngữ cảnh của các mô hình mục tiêu tương ứng.

• RoPE theta — 5,000,000 so với 10,000,000, do positional encoding của target quy định chứ không phải do bất cứ điều gì về drafter.

Cặp cuối cùng đó là bằng chứng rõ ràng nhất cho thấy các checkpoint này được huấn luyện theo từng mô hình đích thay vì được mở rộng quy mô từ một nền tảng chung. Drafter không có danh tính độc lập: phân phối đầu vào của nó chính là hình dạng của các trạng thái ẩn của mô hình đích, và những trạng thái đó thay đổi khi kiến trúc và quá trình huấn luyện của mô hình đích thay đổi. Chỉ cần hướng drafter 8B vào mô hình 24B là riêng các chỉ số lớp đã khiến nó vô nghĩa; ngay cả khi chúng khớp nhau, các logits mà nó được huấn luyện để dự đoán cũng sẽ không khớp.

Mỗi thứ thực sự đang tăng tốc điều gì

Các mục tiêu khác nhau nhiều hơn so với hàm ý của cách đặt tên "8B so với 24B", và sự khác biệt đi ngược lại với bất kỳ ai cho rằng mô hình lớn hơn là gánh nặng hơn khi chạy trên thiết bị.

• Tổng số tham số và tham số hoạt động — LFM2.5-8B-A1B có tổng cộng 8,3B tham số với 1,5B tham số hoạt động trên mỗi token; LFM2.5-24B-A2B có tổng cộng 24,0B tham số với 2,45B tham số hoạt động.

• Độ sâu — 24 lớp (18 tích chập có cổng cộng 6 GQA) so với 40 lớp (30 tích chập cộng 10 GQA).

• Ngữ cảnh — 128,000 token so với 131,072.

• Ngân sách huấn luyện — 38T token so với 36T, vì vậy mô hình nhỏ hơn không bị thiếu huấn luyện so với mô hình lớn hơn.

• Định tuyến — 8B sử dụng MoE 64 chuyên gia với định tuyến top-4, giống như 24B, vì vậy cả hai đều phải chịu chi phí kích hoạt chuyên gia làm tổn hại đến việc xác minh.

Cả hai đều là mô hình suy luận biết suy nghĩ trước khi trả lời, điều này ở đây quan trọng hơn số lượng tham số. Điểm yếu lớn nhất của giải mã suy đoán là đầu ra dài, không bị ràng buộc, và chuỗi suy nghĩ chính xác là như vậy. Các bảng của nhà cung cấp cho thấy điều đó: những hàng có tỷ lệ chấp nhận cao nhất trong cả hai bản phát hành là các benchmark trả lời ngắn như MBPP và MT-Bench, còn thấp nhất là những hàng mà mô hình phải tự nghĩ ra một lộ trình giải dài.

Khoảng trống bằng chứng mới là sự khác biệt thực sự.

Đây là lúc hai bản phát hành không còn so sánh được với nhau nữa. Bản drafter 8B được phát hành vào ngày 2026-08-20 như một phần trong thông báo ra mắt trọn bộ dòng sản phẩm, với các phép đo trên hai cỗ máy rất khác nhau: một H100 80 GB đơn lẻ ở BF16 thông qua SGLang, và một M4 Max MacBook Pro chạy trọng số GGUF FP16 thông qua llama.cpp với các kernel Metal thử nghiệm. Nó đạt trung bình 2,54× trên H100 với mức đỉnh 3,18× trên MATH-500, và chỉ 1,18× trên MacBook — 90 đến 106 token mỗi giây, tính trung bình trên năm bộ dữ liệu.

Drafter 24B chỉ có một dòng phần cứng: một NVIDIA B300 duy nhất với target FP8, KV cache BF16, temperature 0. Trung bình đạt 2,38× ở concurrency 1, 2,69× ở concurrency 32 và 1,71× ở concurrency 256 trên tám bộ dữ liệu, với đỉnh 3,28× trên MBPP ở concurrency 32. Không có dòng Mac nào, không có dòng H100 nào và không có bài đăng công bố nào giải thích cho việc thiếu sót này.

Đối với mô hình mà toàn bộ điểm bán hàng là các tác nhân trên thiết bị — bài đăng ra mắt dòng 24B của Liquid mở đầu bằng 184 token mỗi giây trên Apple M5 Max — con số MacBook còn thiếu chính là khoảng trống quan trọng nhất trong bản phát hành. Kết quả 8B cho thấy vì sao nó có thể nhỏ: việc xác minh một khối token kích hoạt nhiều chuyên gia hơn so với giải mã một token, nên một mục tiêu MoE di chuyển nhiều trọng số hơn trên mỗi token được chấp nhận. Và chỉ riêng tỷ lệ chấp nhận không phải là yếu tố dự báo: bộ soạn thảo 8B thực sự đạt trung bình nhiều hơn token được chấp nhận mỗi bước so với thông số 24B công bố (6,95 trên năm bộ dữ liệu so với 5,16 trên tám bộ) và vẫn chỉ đạt 1,18× trên MacBook. Đó là điểm đáng giữ lại — trên 8B, tỷ lệ chấp nhận mạnh không cứu được thông lượng trên thiết bị. Giả định rằng 24B hành xử khác đi là một canh bạc không có con số nào chống lưng.

Đọc hai bảng đối chiếu với nhau

Các tỷ lệ nêu ở tiêu đề không phải là so sánh cùng tiêu chuẩn và không nên trừ lẫn nhau. GPU khác nhau, độ chính xác mục tiêu khác nhau, các bộ dữ liệu khác nhau, các đợt quét mức đồng thời khác nhau. Nhưng vẫn có hai mẫu hình tồn tại bất chấp sự không đồng nhất này.

Đầu tiên, mức trần là tương tự. Ô H100 tốt nhất của 8B đạt 3.18× trên MATH-500 với batch size 1; ô B300 tốt nhất của 24B đạt 3.28× trên MBPP với độ đồng thời 32. Các drafter của thiết kế này đều rơi vào cùng dải 1.5×–3.3× bất kể chúng phục vụ mục tiêu nào, đúng như bạn kỳ vọng khi kiến trúc drafter được giữ cố định và chỉ có trọng số thay đổi.

Thứ hai, và hữu ích hơn, chính ở mức sàn là nơi các mục tiêu khác biệt nhau. Ô H100 yếu nhất của 8B là GSM8K ở 1.29×; ô B300 yếu nhất của 24B ở độ đồng thời 256 là LiveCodeBench ở 1.34× và AIME ở 1.36×. Không bản phát hành nào tạo ra trường hợp mà suy đoán là miễn phí, và cả hai đều tạo ra những trường hợp mà nó chỉ vừa đủ đáng với lượng bộ nhớ bỏ ra.

Ngoài ra còn có một thay đổi về tài liệu giữa hai card dễ bị bỏ sót và đáng nêu ra. Tài liệu tháng Tám nói rằng đầu ra khi giải mã tham lam giống hệt baseline “theo thiết kế”; card 8B hứa hẹn “đầu ra hoàn toàn giống nhau”. Card 24B thì lại cảnh báo rằng khác biệt số dấu phẩy động giữa xác minh theo lô và giải mã thông thường có thể tạo ra văn bản khác nhau, kể cả khi lấy mẫu tham lam. Card sau là card cẩn thận hơn, và nếu bạn chạy diff đầu ra ở mức byte trong CI, cả hai đều đáng được coi là có khả năng không giống hệt nhau thay vì tin vào lời hứa cũ hơn.

Cái nào phù hợp với bạn là do mục tiêu của bạn quyết định, chứ không phải ngân sách của bạn.

Không có tình huống nào mà một nhóm lại chọn cái này thay vì cái kia dựa trên năng lực thực sự. Bạn chạy mô hình 24B vì bạn cần năng lực của một mô hình 24B trên một cỗ máy có thể chứa được nó — 14,5 GB ở Q4_K_M trong GGUF, hoặc một B300 duy nhất cho cấu hình phục vụ FP8. Bạn chạy mô hình 8B vì 8,3B tổng tham số với 1,5B hoạt động là mức vừa vặn với một thiết bị biên hoặc máy tính xách tay, và drafter bù lại một phần tốc độ giải mã mà bạn đã đánh đổi khi chọn mô hình nhỏ hơn. Drafter chỉ là phụ kiện cho quyết định đầu tiên đó, và quyết định ấy gần như luôn được đưa ra dựa trên bộ nhớ và chất lượng rất lâu trước khi yếu tố suy đoán xuất hiện trong cuộc thảo luận.

Trường hợp duy nhất mà lựa chọn này thực sự còn mở là đánh giá. Nếu bạn đang kiểm tra xem DSpark có đáng để áp dụng vào stack của mình hay không, thì cặp 8B là thử nghiệm rẻ hơn: nó vừa trên một H100, có số liệu trên Mac để bạn đối chiếu với laptop của mình, và chế độ lỗi của nó trên thiết bị đã được nhà cung cấp ghi lại. Cặp 24B là thử nghiệm sản xuất thú vị hơn và cũng ít được ghi lại hơn.

Với cả hai, con số quyết định kết quả là bộ đếm tỷ lệ chấp nhận, không phải bảng của nhà cung cấp. SGLang công bố tỷ lệ chấp nhận của giải mã suy đoán theo từng yêu cầu; llama.cpp báo cáo draft_n và draft_n_accepted trong số liệu thời gian của từng phản hồi. Hãy chạy lời nhắc của riêng bạn trong mười phút và chia ra. Nếu tỷ lệ chấp nhận nằm gần mức trung bình của card, mô hình soạn nháp có lợi; nếu nằm ở mức thấp, bạn đang phải trả cho các lượt xác minh và nên tách nó ra — và kết luận đó sẽ đúng với cả hai checkpoint, vì cơ chế là như nhau.

Không có checkpoint nào là mô hình mà bạn có thể gọi được.

Đây là phần khiến những người gặp các tên này trong một danh mục mô hình tưởng rằng chúng là các lựa chọn trên một thực đơn. Chúng không phải là endpoint. Không drafter nào có giá trên mỗi triệu token, không drafter nào xuất hiện trong danh sách API, và không drafter nào sẽ từng được một nền tảng phục vụ mô hình định tuyến tới — vì cặp ghép đúng là một cấu hình phía máy chủ, không phải một tham số yêu cầu.

Liquid AI bán chính mô hình mục tiêu 24B với giá $0,10 mỗi triệu token đầu vào, $0,05 cho token được cache và $1,00 mỗi triệu token đầu ra, và mọi suy đoán mà họ vận hành đằng sau mức giá đó đều vô hình với người gọi. Đó là hình thái thông thường của thị trường hiện nay: phần kỹ thuật thú vị diễn ra bên trong ngăn xếp phục vụ, còn thứ đến tay nhà phát triển là một mức giá và một con số token mỗi giây. Nơi các nền tảng định tuyến khẳng định vị trí của mình là ở phép so sánh bên trên lớp đó — đặt một ứng viên cạnh những mô hình mà nó phải đánh bại. OrcaRouter chạy một endpoint duy nhất trên hơn 200 mô hình với mức cộng thêm 0% so với giá niêm yết của nhà cung cấp, vì vậy khi giá của một nhà cung cấp thay đổi, mức giá bạn thấy sẽ thay đổi trong cùng ngày, và cơ chế chuyển đổi dự phòng giúp một mô hình ứng viên không trở thành điểm lỗi đơn lẻ trong khi bạn đánh giá nó. Dòng LFM2.5 hiện chưa nằm trong số đó, nên một mô hình 8B hoặc 24B tự lưu trữ gắn kèm drafter vẫn là một triển khai cục bộ; những mô hình đáng để kiểm thử đối chiếu với nó — Qwen3.6-35B-A3B ở phía tác nhân, Gemma 4 26B-A4B ở phía hiệu quả — chính là những mô hình chúng tôi định tuyến.

Một năm phát hành DSpark đã khẳng định được điều gì

Dòng mô hình này giờ trải rộng bốn mô hình đích văn bản và một mô hình đích thị giác, từ 1,2B đến 24B, tất cả đều dùng chung một công thức drafter: khoảng 300M tham số, năm lớp attention, block 9, được huấn luyện trên chính các hidden state của mô hình đích. Chính sự nhất quán đó mới là phát hiện thực sự. Liquid đã biến speculative decoding từ một dự án nghiên cứu riêng cho từng mô hình thành một bước sản xuất — cùng một drafter, được chuyển đích, phát hành trong vòng vài ngày sau mỗi mô hình mới. Việc bước đó có đáng thực hiện trên phần cứng của bạn hay không là câu hỏi về lưu lượng của bạn, và câu trả lời khác nhau theo khối lượng công việc nhiều hơn hẳn so với việc bạn tải xuống tệp nào trong hai tệp này.

Điều mà bản phát hành 24B bổ sung vào bức tranh đó không phải là một tỷ lệ tốt hơn. Đây là lần đầu tiên một mô hình nháp được phát hành mà không có tài liệu mô tả đi kèm — và cũng là lần đầu tiên thẻ của chính nhà cung cấp nói với bạn, bằng ngôn từ rõ ràng, rằng xét cho cùng, đầu ra có thể không giống hệt từng bit.