Liquid AI d1 so với Liquid AI d1-3B: Điều mà Thư viện Ollama gọi là một mô hình còn nhà cung cấp gọi là hai

Có hai cách để gọi tên cùng một tập trọng số, và Liquid AI d1 và Liquid AI d1-3B minh họa sự khác biệt rõ hơn bất kỳ so sánh tham số nào. Bỏ một dấu gạch nối và một hậu tố kích thước khỏi tên thứ hai thì bạn được tên thứ nhất, nên rất dễ coi chuỗi ngắn hơn là một biệt danh. Hai danh mục thực sự liệt kê những mô hình này không đồng tình với cách hiểu đó. Chỉ mục tài liệu của chính Liquid AI giữ d1 ở hàng riêng với chữ "API" tại vị trí các liên kết tải xuống, và giữ d1-3B và d1-omni-600M trong một cặp hàng riêng với các liên kết Hugging Face và GGUF hoạt động được và chữ "No" ở cột trainable. Ollama, mà mục thư viện của nó là lý do cặp này đáng để viết đến, gộp tất cả lại vào một trang gọi là d1, mô tả nó trong một dòng là "một mô hình ra quyết định 3B từ Liquid AI, được xây dựng trên LFM2.5-VL-3B," và cung cấp đúng ba tag ở bên dưới. So sánh Liquid AI d1 với Liquid AI d1-3B do đó không phải là so sánh giữa một endpoint được host và một checkpoint mở, cũng không phải là so sánh giữa hai checkpoint. Đó là so sánh giữa một endpoint được host và checkpoint mở mà hệ sinh thái runtime cục bộ đã quyết định chính là d1 khi bạn nói từ đó mà không kèm thêm gì. Phần lớn những gì tiếp theo nói về việc triển khai của bạn thực sự phụ thuộc vào cách hiểu nào trong số đó.

Một lưu ý về cách các số liệu dưới đây được dẫn nguồn, vì tính trung thực quan trọng hơn cách trình bày của nó. Mọi số liệu ở đây là báo cáo của chính Liquid AI, trên các model card hoặc trong bài đăng phát hành ngày 7 tháng 10. Các dòng Decision Index được nhà cung cấp chấm điểm bằng công cụ chấm điểm chính thức thay vì được gửi để xếp hạng công khai, và không có bên thứ ba nào tái tạo độc lập bất kỳ kết quả d1 nào mà chúng tôi có thể tìm thấy. Ở chỗ một con số là kết quả tính toán số học từ một số liệu đã công bố chứ không phải từ một phép đo, điều đó được ghi rõ.

Hai cái tên đó bắt nguồn từ đâu

Tên ngắn hơn là tên cũ hơn. Bài đăng ngày 5 tháng 10 của Liquid AI đã giới thiệu mô hình với tên Liquid AI d1 — “mô hình quyết định đầu tiên của chúng tôi”, là mô hình đa phương thức trong bản phát hành đó, trả lời các câu hỏi được gõ dựa trên một trạng thái gồm văn bản, hình ảnh hoặc cả hai, trong một lượt truyền xuôi với 0 token đầu ra. Bài đăng đó dẫn giá dịch vụ hosted là $0,04 mỗi triệu token đầu vào, chỉ tính phí token đầu vào, và lưu ý rằng hình ảnh được tính phí như văn bản ở mức 1,5 token cho mỗi miếng 32×32, nên một hình ảnh 1024×1024 tốn 1.536 token. Bài đăng đó cũng cho biết độ trễ quyết định văn bản là 200–300 ms. Đó là các con số của dịch vụ hosted, và bài đăng nói rõ rằng runtime đằng sau chúng là điểm cuối quyết định của chính nhà cung cấp tại api.liquid.ai/decisions/v1/systemone.

Tên dài hơn xuất hiện trong bài đăng ngày 7 tháng 10 và trên Hugging Face, và nó là tên mang chi tiết có thể tái lập: 3,12 tỷ tham số, ngữ cảnh 32.768 token, từ vựng 128.000 token, mười sáu ngôn ngữ được ghi tài liệu, một bộ mã hóa thị giác 400M SigLIP2 NaFlex tối ưu hóa theo hình dạng, và chuỗi cơ sở LFM2.5-2.6B-Base → LFM2.5-VL-3B → d1-3B. Thẻ đó cũng nói rõ rằng mô hình không phải là mô hình trò chuyện và không viết văn bản. Đây là checkpoint mà toàn bộ hệ sinh thái cục bộ được xây dựng dựa trên: kho GGUF chứa Q4_K_M với 1,67 GB, Q8_0 với 2,87 GB, còn F16 và BF16 với 5,4 GB mỗi loại.

Điều mà không tài liệu nhà cung cấp nào nói thẳng ra là Liquid AI d1 và Liquid AI d1-3B là cùng một bộ trọng số. Chỉ mục tài liệu gán chúng vào các hàng riêng. Bài đăng phát hành gọi d1 là một họ mô hình, không phải một checkpoint. Các bài viết của bên thứ ba đã nhận ra khoảng trống và lưu ý rằng nhà cung cấp chưa xác nhận sự đồng nhất đó. Vậy nên phát biểu trung thực là một câu ngắn: những con số mà hai cái tên này được công bố kèm theo không mâu thuẫn ở bất cứ đâu chúng tôi có thể tìm thấy, bản phát hành họ mô hình và endpoint được phục vụ được công bố cách nhau hai ngày với mô tả tương thích, và nhà cung cấp chưa nói chúng là cùng một mô hình. Hãy coi sự tương đương này là một giả định làm việc hợp lý, chứ không phải một sự thật mà nhà cung cấp đã đứng tên xác nhận.

Bản dựng cục bộ thực sự thay đổi điều gì

Mục của Ollama không phải là bản phát hành lại và cũng không phải là checkpoint mới. Đây là một quyết định đóng gói, và việc đóng gói áp đặt ba ràng buộc mà tài liệu của chính nhà cung cấp hoàn toàn không đề cập đến. Ràng buộc đầu tiên là danh sách tag: d1:latest, d1:3b và d1:3b-q8_0, ba tag cùng đặt tên cho một mức lượng tử hóa. Kho GGUF mà Liquid công bố có bốn độ chính xác, và Q4_K_M 1.67 GB — bản mà hầu hết mọi người sẽ chọn trên laptop — không nằm trong các tag của Ollama. Thứ bạn có thể pull về là Q8_0 2.87 GB và bất cứ thứ gì nó mở rộng thành trong kho cục bộ; trang thư viện báo cáo dung lượng tải xuống là 3.7 GB.

Thứ hai là hợp đồng yêu cầu. Ollama trả lời các mô hình này trên /v1/systemone, nhận một state cùng một đối tượng questions, và trả về các câu trả lời có kiểu với output_tokens: 0. Đó là cùng hình dạng mà endpoint host của nhà cung cấp sử dụng, và chính điều đó khiến việc chuyển đổi giữa cục bộ và host trở thành một thay đổi cấu hình thay vì một lần viết lại. Ràng buộc thứ ba nằm trong tài liệu endpoint của Ollama chứ không phải trên trang mô hình, và nó chặt hơn so với của một mô hình sinh: các yêu cầu phải nằm trong 64 KiB khi không có ảnh và 32 MiB khi có ảnh, không hỗ trợ streaming, các mô hình host trên cloud bị từ chối, và ảnh phải là base64 PNG, JPEG hoặc WebP trong phần thân yêu cầu — URL từ xa bị từ chối. Ảnh được chia sẻ cho mọi câu hỏi trong một yêu cầu, vì vậy một bức ảnh mà bạn chỉ muốn một câu trả lời xét đến cần có lệnh gọi riêng. Đầu vào không bao giờ bị cắt cụt, nghĩa là một state quá lớn sẽ trả về lỗi thay vì bị cắt bớt một cách âm thầm. Đó là chế độ lỗi tốt hơn, và nó vẫn là một chế độ lỗi mà client của bạn phải xử lý.

Vẫn còn hai chi tiết tài liệu chưa được giải quyết và đáng để biết trước khi bạn báo lỗi. Tài liệu tham chiếu endpoint của Ollama mô tả loại câu hỏi lựa chọn là chấp nhận từ 2 đến 255 khóa tùy chọn, trong khi trang về khả năng mô hình quyết định của nó lại nói từ 2 đến 26; một trong hai đã lỗi thời. Và trang về khả năng này liệt kê các mô hình được hỗ trợ là Nimble, Tev1, Clef và Clef Flash, không hề nhắc đến d1 — dù readme của chính gói d1 có ghi tài liệu về /v1/systemone và hỗ trợ --ask, và gói này yêu cầu Ollama 0.40.4 trong khi mức tối thiểu được ghi trong chính endpoint là 0.35.0. Hãy đọc yêu cầu phiên bản trên gói, không phải yêu cầu trong hướng dẫn.

Các con số, và chúng được công bố dưới tên nào

Đây là phần dễ bị hiểu sai nhất trong việc ghép cặp, vì cả hai tên đều được công bố kèm các số liệu hiệu suất và những số liệu này không được sắp xếp theo cách bạn mong đợi.

• Decision Index 0.2.1 — 48,57, được công bố dưới tên Liquid AI d1-3B. Liquid mô tả đây là điểm số tốt nhất cho một mô hình ra quyết định dưới 10B tham số và xếp nó trên một mô hình 35B-A3B đạt 47,11. • Độ trễ quyết định văn bản — 200–300 ms, được công bố dưới tên Liquid AI d1 trong bài đăng về API được lưu trữ. Không có con số tương đương nào gắn với tên riêng của checkpoint mở. • Độ trễ cho một câu hỏi trên phần cứng cục bộ — 8 ms trên RTX 4090, 16 ms trên Jetson AGX Thor, 26 ms trên Jetson AGX Orin 64 GB, 50 ms trên Orin Nano, 30 ms trên Apple M5 Pro. Được công bố dưới tên Liquid AI d1-3B. • Thông lượng — 475 quyết định mỗi giây trên RTX 4090 và 1.106 mỗi giây trên AMD MI325X khi các câu hỏi được gộp thành lô. Được công bố dưới tên Liquid AI d1-3B. • Thị giác — trung bình 74,1 trên mười một benchmark hình ảnh công khai, so với 73,9 của mô hình nền LFM2.5-VL-3B mà nó được xây dựng dựa trên. Được công bố dưới tên Liquid AI d1-3B. • Loại bỏ hình ảnh — cùng bộ câu hỏi được trả lời khi loại bỏ hình ảnh đạt 45,1, đây là thước đo của chính nhà cung cấp về mức đóng góp của nhánh thị giác. Được công bố dưới tên Liquid AI d1-3B.

Hai vấn đề nảy sinh từ danh sách đó và không vấn đề nào trong số đó là chí mạng, đó chính xác là lý do chúng bị bỏ qua. Con số hosted và con số cục bộ cách nhau 25 đến 37 lần — 200–300 ms so với 8 ms — và chúng được đo trên những thứ mà nhà cung cấp không mô tả bằng những thuật ngữ có thể so sánh được. Diễn giải khoảng cách đó thành “cục bộ nhanh hơn” là không có cơ sở, bởi vì con số hosted là đầu-cuối qua một API còn 8 ms là một forward pass trên một GPU được nêu tên. Chúng không phải là cùng một phép đo, và nhà cung cấp chưa bao giờ tuyên bố chúng là như vậy.

Vấn đề thứ hai là hàng thị giác. Mức cải thiện 0,2 điểm so với mô hình cơ sở trên mười một benchmark hình ảnh nằm trong ngưỡng nhiễu của hầu hết các báo cáo benchmark, vì vậy bất kể đầu quyết định mang lại cho bạn điều gì, nó cũng không phải là một bộ mã hóa hình ảnh tốt hơn đáng kể về mặt thực chất. Hàng ablation trông ấn tượng hơn nhiều theo hướng ngược lại — mức chênh lệch khoảng 29 điểm khi thêm hình ảnh — nhưng nó so sánh hai bộ câu hỏi khác nhau thay vì hai phiên bản của cùng một bộ, điều mà chính Liquid nêu trong bài viết. Cả hai hàng đều hữu ích. Không hàng nào ủng hộ một tuyên bố mạnh mẽ về chất lượng quyết định thị giác, và chưa có bên thứ ba nào chạy thử một trong hai.

Nơi hai cái tên khác biệt trong thực tế

Đối với người mua, sự khác biệt này quy về bốn câu hỏi, và các câu trả lời không phải đều chỉ về cùng một hướng.

• Cấu trúc chi phí — Liquid AI d1 được tính phí theo từng token đầu vào, theo mức giá công bố của nhà cung cấp, không phải trả cho token đầu ra. Liquid AI d1-3B là bản tải xuống 2,87 GB trong gói của Ollama hoặc bản 1,67 GB từ repo GGUF của nhà cung cấp, hoàn toàn không có đồng hồ tính theo lượt gọi. • Độ trễ, có thể đo được — tuyến hosted báo 200–300 ms cho mỗi quyết định văn bản. Con số 8 ms được công bố của tuyến cục bộ là một lượt truyền xuôi trên RTX 4090 với mô hình đã được làm nóng, đó là một con số thật và không phải một vòng khứ hồi yêu cầu. • Đường đi dữ liệu — tuyến hosted gửi trạng thái đến nhà cung cấp. Tuyến cục bộ giữ nó trên máy, điều mà với một phiếu hỗ trợ, một ghi chú y tế hay một bức ảnh thường là lập luận kết thúc cuộc thảo luận. • Ghim phiên bản — Liquid AI d1 đằng sau một endpoint là bất cứ thứ gì nhà cung cấp đang phục vụ hôm nay. Liquid AI d1-3B trong Ollama là một gói cố định do bạn kiểm soát, và đánh đổi là bạn phải tự lo các bản nâng cấp.

Thực tế khó xử nằm dưới cả bốn điều này là checkpoint mở là anh em với mô hình được host chứ không phải là sản phẩm thay thế cho nó, và nhà cung cấp chưa nói gì khác. Model card cho checkpoint mở khuyến nghị dùng nó cho định tuyến và sàng lọc, kiểm duyệt, phân loại ý định, kiểm tra trích xuất, xếp hạng lại, LLM-as-a-judge và guardrails, đồng thời mô tả nó là được post-train trên LFM2.5-VL-3B để đưa ra các quyết định đã hiệu chỉnh trong một lượt. Bài đăng về bản được host mô tả cùng tập tác vụ bằng từ ngữ khác và dẫn mức giá của bản được host. Nếu đó là cùng một mô hình, bản dựng cục bộ là một bản sao miễn phí của một sản phẩm được host, một điều lạ thường để một phòng thí nghiệm phát hành mà không nói ra. Nếu chúng là hai bản fine-tune của một nền tảng chung, thì không nên mặc định rằng các số liệu công bố có thể chuyển dịch theo cả hai hướng. Cách giải thích thứ hai đòi hỏi ít hơn ở nhà cung cấp và khớp với bằng chứng chúng ta có.

Chạy cả hai nửa của quyết định mà không cần chạy hai stacks

Dù bạn chọn cái tên nào đi nữa, pipeline xung quanh nó vẫn thường trông giống nhau. Một hàng đợi hỗ trợ nhận một câu hỏi lựa chọn về nhóm đích, một câu hỏi noul để xác định liệu có đang yêu cầu hoàn tiền hay không, và một câu hỏi tính điểm cho mức độ khẩn cấp — một trạng thái, ba câu trả lời, một lượt. Nơi hai cái tên thực sự khác biệt là ở điểm mà quyết định đóng vai trò cổng cho một lệnh gọi tới một mô hình sinh mà bạn thuê thay vì tự chạy. Lệnh gọi đó là một vấn đề khác với một đặc tính lỗi khác, và đó là phần của pipeline nơi d1 đúng ít quan trọng nhất: một câu trả lời định tuyến với xác suất 0,98 theo sau bởi mã 502 từ mô hình mà bạn đã định tuyến tới thì dù thế nào vẫn là một yêu cầu thất bại.

Chúng tôi không lưu trữ bất kỳ mô hình Liquid AI nào — chúng tôi đã kiểm tra danh mục của chính mình trước khi viết bài này — nên không có gì ở đây là tuyên bố về việc gọi các trọng số này thông qua chúng tôi. Điều chúng tôi làm là lớp nằm ở phía bên kia của quyết định: một khóa tương thích OpenAI duy nhất cho các mô hình mà một yêu cầu đã được phân loại tỏa ra tới, ở mức giá niêm yết của từng nhà cung cấp được chuyển nguyên với 0% markup, để việc nhà cung cấp giảm giá đến được với bạn ngay ngày nó có hiệu lực thay vì vào lúc gia hạn hợp đồng, cùng với chuyển đổi dự phòng tự động giữa các nhà cung cấp để một yêu cầu đã được phân loại vẫn sống sót khi mô hình mà bạn định tuyến tới nó ngừng hoạt động. Nếu bạn đang lần đầu nối một mô hình quyết định vào một pipeline, thì đó chính là nửa phần đáng để làm cho nhàm chán.

Nên dùng tên nào, theo từng tình huống

Nếu bạn muốn thử mô hình trong tuần này mà không cần duy trì một môi trường Python nào đáng kể, hãy dùng tên mà runtime cục bộ sử dụng. Kéo Liquid AI d1từ thư viện, chấp nhận Q8_0 và 3,7 GB, rồi coi giới hạn yêu cầu 64 KiB và quy tắc không truyền phát là những ràng buộc thiết kế chứ không phải điều phiền toái. Ngay từ ngày đầu tiên, bạn đã có một endpoint thật, những câu trả lời có kiểu dữ liệu thật và không bị tính phí theo từng lần gọi.

Nếu bạn cần dung lượng nhỏ hơn Q8_0, cái tên cần dùng là Liquid AI d1-3B, vì bản dựng Q4_K_M 1,67 GB nằm trong kho GGUF của nhà cung cấp chứ không nằm trong mục thư viện. Chi tiết duy nhất đó chính là khác biệt thực tế nhất giữa hai cái tên này hiện nay, và cũng là điều dễ bị bỏ sót nhất đối với bất kỳ ai chỉ đọc trang thư viện rồi dừng lại ở đó.

Nếu bạn đang đưa thứ này ra trước người dùng trả tiền và cần bằng chứng về độ chính xác trước tiên, thì cả hai cái tên đều chưa giúp được gì cho bạn. Không có đánh giá độc lập nào về bất kỳ mô hình d1 nào mà chúng tôi có thể tìm thấy, các dòng của Decision Index là tự chấm điểm, và nhà cung cấp hoàn toàn chưa công bố một benchmark quyết định bằng âm thanh nào. Điều bạn có thể làm là đo lường giá trị độ tin cậy mà mô hình đã trả về — từ 0 đến 1, phản ánh mức độ các xác suất nghiêng về một câu trả lời mạnh đến đâu, chứ không phải câu trả lời đó có khả năng đúng đến mức nào — và tự tìm hiểu trên lưu lượng của chính bạn xem thứ này không chắc chắn ở đâu. Phép đo đó đáng giá hơn bất kỳ slide nào ở trên, và chỉ mất một ngày.

Mô hình quyết định là nửa rẻ tiền của pipeline. Mô hình sinh mà nó định tuyến tới mới là nửa cần một hợp đồng — một khóa tương thích OpenAI mang theo các mô hình mà một yêu cầu đã được phân loại sẽ tỏa ra tới, mỗi mô hình theo giá niêm yết của nhà cung cấp được chuyển nguyên với mức chênh 0%.

Việc thu gọn kích thước một checkpoint chưng cất so với bản phát hành đầy đủ của chính nó cũng là thời điểm tốt để kiểm tra hồ sơ: các sự cố AI và lỗi agent được ghi nhận xung quanh những mô hình Liquid nhỏ được tập hợp trong the OrcaRouter AI Incident Archive, trong đó mỗi mục đi kèm nguồn riêng, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp.