d1-2B so với Liquid AI d1-3B: Mô hình nhỏ hơn thắng trên bảng xếp hạng và thua khi triển khai

Bốn câu hỏi quyết định cuộc đối đầu này, và không câu nào trong số đó là “mô hình nào tốt hơn”. Trạng thái có bao gồm video không? Nó có vượt quá 32K token không? Bạn có cần chạy nó dưới llama.cpp không? Bạn có đủ khả năng để trở thành người đầu tiên thử nghiệm nó không? d1-2B là mô hình quyết định 1.92B của Liquid AI, được xây dựng trên LFM3-VL-2B và đạt 51.1 trên bảng Decision Index của nhà cung cấp. Liquid AI d1-3B là mô hình 3.12B được phát hành ngày 7 tháng 10, được xây dựng trên LFM2.5-VL-3B và đạt 49.0 trên cùng bảng đó. Mô hình mới hơn, nhỏ hơn dẫn đầu về trung bình. Nó vẫn thua ở ba trong số các hàng mà một triển khai thực sự bật, và trong hai mô hình, đây là mô hình không có đường chạy llama.cpp và không có kết quả thử nghiệm độc lập. Trang này được tổ chức xoay quanh bốn câu hỏi đó thay vì xoay quanh bảng xếp hạng, vì bảng xếp hạng không trả lời câu nào trong số đó.

Câu trả lời ngắn gọn: tùy theo khối lượng công việc

• Sàng lọc chỉ văn bản ở quy mô lớn — d1-2B, nhờ 1.132 quyết định mỗi giây cho 64 trạng thái theo lô và 3,84GB trọng số. Lợi thế của 3B về Typed Decisions không còn ý nghĩa khi đầu ra chỉ là một nhãn.

• Đọc sơ đồ và biểu đồ — Liquid AI d1-3B. Nó thắng AI2D 79.9 so với 76.7, và đây là mô hình có một lần chạy độc lập đằng sau nó.

• Tài liệu dài, biểu mẫu dài, bản ghi cuộc gọi dài — d1-2B. Cửa sổ của nó là 128K token so với 32.768, và thẻ thông tin nói thật rằng độ tin cậy giảm sau khoảng 64K, vẫn còn gấp đôi tổng dung lượng của 3B.

• Các thiết bị biên chạy llama.cpp — Liquid AI d1-3B, được chọn theo mặc định chứ không phải dựa trên ưu điểm. Nó có một kho GGUF và một bản dựng kích hoạt trọng số đã lượng tử hóa; d1-2B không có cả hai.

• Bất cứ điều gì mà một quyết định sai gây tốn kém và chưa được kiểm chứng — không cái nào, cho đến khi bạn đã chạy cả hai trên dữ liệu của chính mình. Chỉ một trong số chúng thậm chí đã được bên thứ ba chạy.

Cùng dòng, cách nhau một thế hệ

Hai mô hình không phải là anh em theo cách mà tên gọi gợi ý. Liquid AI d1-3B bắt nguồn từ LFM2.5-VL-3B, vốn có nguồn gốc từ LFM2.5-2.6B-Base, và mang một bộ mã hóa thị giác SigLIP2 NaFlex 400M. d1-2B bắt nguồn từ LFM3-VL-2B, dòng kế tiếp, trên một xương sống gồm 24 lớp được chia thành 13 tích chập ngắn có cổng, 5 lớp attention cửa sổ trượt và 6 lớp attention toàn cục. Chính khoảng cách thế hệ đó là nguồn gốc của sự đảo ngược trên benchmark: kiến trúc mới hơn làm được nhiều hơn trên mỗi tham số, nên checkpoint nhỏ hơn có thể đạt điểm cao hơn checkpoint lớn hơn ở hầu hết các hàng.

• Tham số — 1,92B cho d1-2B so với 3,12B cho Liquid AI d1-3B.

• Tải xuống — 3.84GB so với 6.25GB của BF16 safetensors, cả hai đều là tệp đơn.

• Ngữ cảnh — 128K token so với 32.768.

• Từ vựng — 128.000 token so với từ vựng LFM2.5.

• Đầu vào — văn bản hoặc JSON, hình ảnh hoặc video, cùng với các câu hỏi được đặt tên, dành cho d1-2B; văn bản hoặc JSON cùng với hình ảnh dành cho 3B. Video là khác biệt về năng lực rõ ràng nhất giữa chúng.

• Ngôn ngữ — mỗi bên mười sáu, cùng một bộ.

• Giấy phép — LFM Open License v1.0 cho cả hai, với việc sử dụng thương mại có điều kiện là phải duy trì dưới $10,000,000 doanh thu hằng năm. Không có lý do cấp phép nào để ưu tiên bên nào.

• Phát hành — Trọng số của d1-3B được tải lên vào ngày 5 tháng 10 và được công bố vào ngày 7 tháng 10. Kho lưu trữ của d1-2B được tạo vào ngày 24 tháng 10 và chưa từng có bài đăng riêng; câu duy nhất của nhà cung cấp nhắc đến nó nằm trong buổi ra mắt LFM3 ngày 27 tháng 10.

Một chi tiết tài liệu đáng được đọc như một tín hiệu hơn là một sự kiện: trang tài liệu về mô hình quyết định của Liquid AI giờ đây liệt kê d1-2B, d1-omni-2B, d1-omni-600M, d1.1 và d1-ultra. Trang không còn liệt kê d1-3B. Mẫu 3B chưa bị ngừng hỗ trợ — repo, bản dựng GGUF và MLX của nó đều vẫn hoạt động — nhưng chỉ mục của chính nhà cung cấp đã chuyển vị trí trọng số mở sang 2B.

Bảng điểm, đọc từng hàng một

Tất cả các số liệu dưới đây đều đến từ bảng benchmark trên thẻ mô hình của d1-2B, bảng này chấm điểm bốn mô hình d1 mở trên cùng các mục với cùng một bộ chấm điểm. Điều đó quan trọng vì thẻ của chính Liquid AI d1-3B báo cáo 48.57 trên Decision Index 0.2.1, trong khi bảng này báo cáo 49.0 trên phiên bản 0.3; khoảng cách là do ấn bản chỉ số, không phải do thay đổi mô hình, và thẻ nói rõ điều đó trong một ghi chú. So sánh trực tiếp hai thẻ — 48.57 với 51.1 — sẽ là trừ số liệu giữa hai bài kiểm tra khác nhau. So sánh trong bảng này là hợp lý, và đó là điều phần còn lại của mục này làm.

• Decision Index public suite v0.3 — 51,1 so với 49,0.

• DecisionBench (Hanno Labs) v1 — 77.1 so với 73.1.

• Decision Bench (decisionbench.ai) v4 — 85,2 so với 83,6.

• JevBench v1.4.1 — 77,9 so với 76,2.

• ImajevBench v2.0-lite — 75,5 so với 64,0, mức chênh lệch lớn nhất ở phía ra quyết định.

• WorkflowEvals — 81,6 so với 74,4.

• Bảng nội bộ của Liquid AI — 63,2 so với 58,8.

• Trung bình thị giác — 70,2 so với 65,4 trên mười tám bài kiểm chuẩn.

Mọi bộ đánh giá quyết định có tên trong bảng đó đều về phía 2B, đó là điều mà bài đăng ra mắt LFM3 muốn nói khi gọi d1-2B là bản thay thế cho d1-3B "với số tham số ít hơn một phần ba" và điểm số cao hơn "trên cả bốn bộ đánh giá quyết định". Tuyên bố này chính xác như đã viết — và hẹp hơn so với "đánh bại 3B", đó là lý do đoạn tiếp theo xuất hiện. Tiếp theo là ba dòng đi theo hướng ngược lại. Fast Decisions là 58.8 đối với d1-2B so với 59.3 đối với 3B. Typed Decisions là 61.3 so với 65.0. AI2D là 76.7 so với 79.9. Không có khoảng cách nào trong số đó là lớn, và hai trong ba khoảng cách nằm trong phạm vi một điểm, nhưng đây là những dòng mà 1.2B tham số tăng thêm vẫn mang lại điều gì đó đo lường được: các quyết định thiên về tốc độ, trích xuất có kiểu, và đọc biểu đồ. Nếu công việc của pipeline của bạn là trích xuất có kiểu từ biểu mẫu, thì 3B không phải là lựa chọn lỗi thời như trang tài liệu ngụ ý.

Độ trễ: hai con số nổi bật không thể so sánh với nhau

Liquid AI công bố 5,7 ms mỗi quyết định cho d1-2B và 8 ms cho Liquid AI d1-3B, và đó không phải là cùng một phép đo. Con số 2B là trên H100 PCIe; con số 3B là trên RTX 4090. Khoảng cách 2,3 ms giữa hai GPU khác nhau không cho bạn biết gì về việc mô hình nào nhanh hơn trên phần cứng của bạn, và việc lặp lại nó như một so sánh sẽ đúng kiểu tẩy trắng số liệu mà blog này tồn tại để tránh.

Có một máy mà cả hai card đều báo cáo. Trên Apple M5 Pro, d1-2B mất 18,6 ms mỗi câu hỏi và bản 3B mất 30 ms — giảm 38% trên cùng một silicon. Đó là so sánh tốc độ trung thực, và nó cho thấy cùng một xu hướng như chênh lệch kích thước gợi ý. Về xử lý theo lô, d1-2B xử lý 1.132 quyết định mỗi giây trên H100 PCIe và 1.699 mỗi giây trên MI325X với 64 trạng thái trong một lần gọi; card của bản 3B báo cáo 475 mỗi giây trên RTX 4090 và 1.106 mỗi giây trên MI325X. Dòng MI325X là dòng mà cả hai card cùng có, và ở đó bản 2B dẫn trước khoảng 54%.

Thử nghiệm độc lập duy nhất hiện có đã chạy 3B

Vào giữa tháng 10, Efraín Garay đã chạy tám mô hình quyết định đối chiếu với Decision Index 0.3 và ba tác vụ dữ liệu thực tế, rồi công bố kết quả kèm mã. Hai phát hiện có liên quan đến so sánh này.

Điều đầu tiên là đáng yên tâm cho bảng điểm. Anh ấy đã dựng lại bộ kiểm thử công khai từ bộ công cụ của nó, kiểm tra rằng các tệp đã tải xuống khớp với các tệp chính thức, lấy mẫu 6.000 yêu cầu, và chấm Liquid AI d1-3B được 49,11 — so với 49,04 của chính Liquid trên cùng các dòng đó và 48,99 trên toàn bộ bộ kiểm thử. Đó là bằng chứng mạnh nhất hiện có cho thấy các số v0.3 trong bảng trên đang được tính toán một cách chính xác. Đó là bằng chứng về 3B, không phải về d1-2B, mà anh ấy đã không kiểm thử.

Điều thứ hai là một cảnh báo về những gì một chỉ số đo lường. Trên một tập dữ liệu tổng hợp về gian lận thẻ gồm 10.000 giao dịch, Liquid AI d1-3B đạt AUC 0,314 — thấp hơn mức ngẫu nhiên, xếp hạng các bất thường là ít đáng ngờ hơn các giao dịch bình thường, vì các đợt thanh toán liên tiếp dồn dập rơi vào xác suất trung vị 0,41 so với 0,56 của một giao dịch bình thường. Mô hình đứng thứ hai trên chỉ số công khai và đứng cuối trong nhiệm vụ đó. Bài học chuyển trực tiếp: 51,1 của d1-2B là điểm số trên một bộ đánh giá quyết định tổng quát, và chưa ai chứng minh rằng nó dự báo hiệu suất trên quyết định cụ thể của bạn. Nhà cung cấp cũng nói đúng như vậy trong model card của chính mình, trong hướng dẫn hiệu chỉnh ngưỡng trên dữ liệu của bạn.

Những gì bạn thực sự có thể chạy ngay hôm nay

Đây là lúc cuộc so tài không còn sít sao nữa. Liquid AI d1-3B đã có kho GGUF từ ngày 6 tháng 10, một bản dựng trọng số-kích hoạt 8-bit từ ngày 7 tháng 10 và bốn biến thể MLX từ ngày 12 tháng 10. d1-2B chỉ có ba bản dựng MLX và một bản xuất ONNX vào ngày 27 tháng 10, và không có gì khác. Không có GGUF cho d1-2B, không có lượng tử hóa nào ngoài 4-bit và 8-bit của MLX, và do đó không có đường chạy llama.cpp nào được công bố cho đầu quyết định — mặc dù mô hình nền, LFM3-VL-2B, đã có GGUF riêng từ ngày 19 tháng 10.

Đối với một triển khai Transformers, sự khác biệt biến mất: cả hai đều tải với trust_remote_code=True và cung cấp cùng system_one và system_one_batch các lệnh gọi. Đối với một triển khai biên thì không. Nếu ngăn xếp của bạn là llama.cpp trên một Jetson hoặc một điện thoại, 3B là mô hình duy nhất trong hai mô hình mà bạn có thể chạy mà không cần viết tích hợp runtime, và các số liệu biên đã công bố của nó — 16 ms trên Jetson AGX Thor, 26 ms trên AGX Orin 64GB, 50 ms trên Orin Nano — là những con số bạn có thể dựa vào để lập kế hoạch.

OrcaRouter không phục vụ mô hình nào trong hai mô hình này, vì vậy việc chọn giữa chúng dù thế nào cũng là quyết định tự vận hành. Router chứng minh được giá trị của mình ở một lớp bên ngoài: các mô hình ra quyết định hiếm khi chạy một mình, và bước sinh tạo xử lý theo nhãn định tuyến thường đến từ một mô hình được lưu trữ. Một khóa tương thích OpenAI cho hơn 200 mô hình, một DSL định tuyến cho phép bạn kết hợp các bước đó vào một lệnh gọi, và cơ chế chuyển đổi dự phòng tự động giúp nửa kia của pipeline không trở thành một dự án tích hợp thứ hai trong khi nút quyết định vẫn nằm trên phần cứng của chính bạn.

Nếu bạn đang di chuyển, ba điều sẽ thay đổi

Bề mặt API đủ tương đồng đến mức việc port trông có vẻ đơn giản nhưng không phải vậy. Đầu tiên, hợp đồng đầu vào: d1-3B nhận hình ảnh; d1-2B nhận một danh sách media mà có thể bao gồm video, và card của nó mô tả media được mã hóa một lần cho tất cả các câu hỏi trong một lần gọi. Mã truyền một hình ảnh duy nhất sẽ chạy, nhưng nó sẽ không tận dụng được thứ mà mô hình được xây dựng để làm.

Thứ hai, ngưỡng. Cả hai mô hình đều trả về xác suất và cả hai đều cần một ngưỡng quyết định được khớp trên dữ liệu của bạn. Một ngưỡng được tinh chỉnh theo hiệu chỉnh của d1-3B không chuyển giao được — các bảng hiệu chỉnh được đóng gói bên trong từng repo, được khớp riêng — vì vậy một cuộc di trú giữ nguyên ngưỡng cắt cũ sẽ tạo ra một điểm vận hành khác và, trong một luồng kiểm duyệt hoặc chống gian lận, một cấu trúc lỗi khác.

Thứ ba, vách đá độ tin cậy. Cửa sổ 128K là điểm nhấn; thẻ cho biết câu trả lời trở nên kém tin cậy hơn khi vượt quá khoảng 64K token trạng thái. Trên 3B, trần là 32.768, nên việc chuyển sang d1-2B thường sẽ là một khoản tăng dung lượng thuần túy — nhưng một pipeline bắt đầu nạp trạng thái 100K token vì giờ đã có thể làm vậy là đang kiểm thử phần của dải mà nhà cung cấp đã đánh dấu là yếu hơn.

Phán quyết không đối xứng như bảng điểm. Với một build mới trong Transformers, trên văn bản, hình ảnh hoặc video, với các trạng thái có thể chạy dài, d1-2B là mặc định tốt hơn và rẻ hơn để chạy. Với triển khai ở biên dưới llama.cpp, để trích xuất có kiểu, hoặc cho thị giác nặng về sơ đồ, Liquid AI d1-3B vẫn là mô hình nên chọn — và nó là mô hình duy nhất trong cặp có bất kỳ bằng chứng bên ngoài nào đằng sau. Điều duy nhất không nên làm là chọn chỉ dựa trên con số 51.1-so-với-49.0. Hai điểm trên chỉ số của nhà cung cấp, giữa hai mô hình mà chưa ai chạy trên tác vụ của bạn, không phải là một quyết định; đó là một tiêu chí phá thế hòa.