d1-2B so với Liquid AI d1-omni-600M: Khi đầu vào quyết định là âm thanh

Đưa một ghi chú thoại và một hóa đơn chụp ảnh cho hai mô hình này, và chỉ một trong hai có thể trả lời — đó không phải mô hình có điểm cao hơn. d1-2B đọc được văn bản, JSON, hình ảnh và video, đồng thời hoàn toàn không thể nhận âm thanh. Liquid AI d1-omni-600M đọc văn bản kèm hình ảnh hoặc văn bản kèm tối đa 30 giây lời nói, và không thể nhận âm thanh cùng hình ảnh trong cùng một yêu cầu. Chính sự bất đối xứng đó quyết định phần lớn các triển khai thực tế trước khi người ta tra cứu bất kỳ benchmark nào. Dù sao thì phần sau đây là phiên bản trung thực của so sánh: mô hình 587M thực sự cạnh tranh ở đâu, mô hình 1.92B còn xa mới có thể bị thay thế, và một mẫu pipeline duy nhất dùng cả hai mà không giả vờ rằng chúng là những lựa chọn thay thế.

Quyết định là một vấn đề về phương thức, không phải vấn đề về điểm số.

Một mô hình quyết định nhận một trạng thái và một tập hợp các câu hỏi có tên, rồi trả về một xác suất cho mỗi câu trả lời, không sinh ra token nào. Trạng thái là toàn bộ đầu vào, và kiểu của trạng thái là ràng buộc then chốt. Thẻ của d1-2B liệt kê văn bản, JSON, hình ảnh và video. Thẻ của Liquid AI d1-omni-600M liệt kê văn bản cùng hình ảnh, hoặc văn bản cùng âm thanh — và mã nguồn thực thi việc loại trừ: truyền đồng thời một hình ảnh và một đoạn âm thanh vào system_one sẽ gây ra ValueError.

Vậy câu hỏi đầu tiên không phải là mô hình nào đạt điểm cao hơn. Mà là thứ bạn cần đánh giá đến dưới dạng pixel, văn bản hay dạng sóng. Nếu nó đến dưới dạng sóng, thì trong cặp này chỉ có một câu trả lời, và phần còn lại của trang này nói về việc bạn phải hy sinh bao nhiêu độ chính xác để có được nó.

587M thực sự mua được gì

600M không phải là phiên bản thu nhỏ của d1-2B. Đây là một cấu trúc khác, và ngân sách đáng để xem dưới dạng chi tiết từng mục vì nó giải thích cả điểm mạnh lẫn giới hạn trần của nó.

• Tham số — tổng cộng 587M: một thân chung và đầu quyết định 381M, một bộ mã hóa thị giác 94M, và một bộ mã hóa âm thanh 112M. Mọi phương thức đều chạy qua cùng bộ trọng số thân.

• Base — LFM2.5-Encoder-350M, một bộ mã hóa hai chiều, với tháp thị giác SigLIP2 được mượn từ LFM2.5-VL-450M và FastConformer 17 lớp cho âm thanh.

• Ngữ cảnh — 16.384 token trên các vị trí văn bản, hình ảnh và âm thanh cộng lại, cùng bộ từ vựng 65.536 token. Cửa sổ của d1-2B là 128K.

• Âm thanh — tối đa 30 giây giọng nói mono 16 kHz cho mỗi yêu cầu. Thẻ nêu rõ rằng phần âm thanh được huấn luyện trên các yêu cầu giữa một người nói tiếng Anh và một trợ lý, đây là một phân phối hẹp đối với một mô hình mà người ta sẽ đem áp dụng cho các bản ghi cuộc gọi.

• Quy tắc phương tiện — hình ảnh hoặc âm thanh, không bao giờ cả hai. Thẻ ghi lại ValueError thay vì để bạn tự phát hiện ra.

• Giấy phép — LFM Open License v1.0, cấu trúc ngưỡng giống như d1-2B: sử dụng thương mại khi doanh thu hằng năm dưới $10,000,000.

• Tốc độ — không được công bố. Thẻ không đưa ra số liệu độ trễ nào, gọi mô hình là bản phát hành nghiên cứu sớm đang được phát triển tích cực. d1-2B công bố 5.7 ms trên H100 PCIe, 3.8 ms trên MI325X và 18.6 ms trên M5 Pro.

Bảng cùng lần chạy và các hàng có khoảng cách nhỏ.

Cả hai mô hình đều xuất hiện trong bảng đánh giá trên card của d1-2B, bảng này chấm điểm bốn mô hình d1 mở trên các mục giống hệt nhau với cùng một bộ chấm điểm. Điều đó khiến việc so sánh sạch hơn hầu hết các so sánh chéo card, với một lưu ý: card của chính d1-omni-600M báo cáo 15,95 trên Decision Index 0.2.1, trong khi bảng này báo cáo 18,3 trên phiên bản 0.3. Sự khác biệt là ở phiên bản chỉ mục, và cả hai con số đều đúng cho bài kiểm tra tương ứng của chúng.

• Bộ công cụ công khai Decision Index v0.3 — 51,1 cho d1-2B so với 18,3 cho Liquid AI d1-omni-600M.

• DecisionBench (Hanno Labs) v1 — 77.1 so với 58.7.

• Decision Bench (decisionbench.ai) v4 — 85,2 so với 57,9.

• ImajevBench v2.0-lite — 75,5 so với 21,7, khoảng cách ở phía ra quyết định lớn nhất giữa hai bên.

• WorkflowEvals — 81,6 so với 48,8.

• Trung bình Vision, 18 bài đánh giá — 70,2 so với 42,8.

• VisualWebBench — 96,2 so với 14,9, đây không hẳn là một phép so sánh mà là một tuyên bố về việc một bộ mã hóa thị giác 94M có thể mang được bao nhiêu.

Tiếp đến là những hàng lập luận cho sự thận trọng. Typed Decisions là 61,3 so với 57,5 — chênh lệch 3,8 điểm đối với một mô hình chỉ có một phần ba số tham số. POPE, bộ đánh giá ảo giác vật thể, là 88,7 so với 82,7. JevBench là 77,9 so với 58,0, một khoảng cách lớn, nhưng DecisionBench v4 là 85,2 so với 57,9, và hai kết quả cùng nhau cho thấy mô hình 600M không đồng đều thay vì yếu đều. Bài đăng ra mắt của chính Liquid AI đưa mức trung bình bảy bộ đánh giá ở 78,4, mức cao đối với 587M; thẻ mô hình của d1-2B không công bố mức trung bình tương đương, nên không nên đặt hai con số cạnh nhau.

Con số duy nhất không tô hồng cho mô hình nào là con số độc lập. Efraín Garay đã chạy Liquid AI d1-omni-600M trên một mẫu 6.000 yêu cầu của Decision Index 0.3 và nhận được 14,0, so với 14,17 của chính nhà cung cấp trên cùng mẫu — một lần tái tạo sát sao. Ông cũng phát hiện rằng 1.758 yêu cầu vượt quá ngân sách chỉ dẫn và lựa chọn của mô hình và bị từ chối, bị tính là sai, đó là một cái giá thực sự của cửa sổ 16K trên một bộ đánh giá được xây dựng cho các trạng thái dài hơn.

Nơi 600M là lựa chọn duy nhất

Định tuyến âm thanh là trường hợp mà mô hình được xây dựng để xử lý, và các ví dụ trong thẻ rất cụ thể: định tuyến cuộc gọi và tin nhắn thoại, sự kiện âm thanh, hướng dẫn bằng lời nói dựa trên trạng thái bằng văn bản. Không có nội dung nào trong số đó khả dụng từ d1-2B ở bất kỳ độ chính xác nào, vì nó không có bộ mã hóa âm thanh và không có vị trí âm thanh trong lược đồ đầu vào của nó.

Hai điểm dữ liệu độc lập nên làm dịu bớt lời chào hàng. Điểm thứ nhất là đánh giá ở trên, trong đó mô hình 600M đạt AUC phát hiện tiếng súng là 0,580 và AUC dự báo mưa là 0,593 trên các tác vụ dữ liệu thực — chỉ nhỉnh hơn mức ngẫu nhiên và kém hơn mọi mô hình lớn hơn được thử nghiệm. Điểm thứ hai là một bài đánh giá trải nghiệm thực tế đo được mức sử dụng VRAM dưới 2GB và nhận thấy mô hình phân loại cách nói và giọng điệu trong âm thanh đáng tin cậy hơn nhiều so với ý nghĩa ngữ nghĩa, còn các câu hỏi kiểu suy luận thì gần như tung đồng xu. Cả hai đều chỉ về cùng một hướng: đây là một mô hình sàng lọc. Nó giỏi ở việc "đây là loại thứ gì", và nó không phải là sản phẩm thay thế cho một mô hình hiểu được điều đã được nói.

Đó không phải là lời chỉ trích một checkpoint 587M. Đó là những gì 587M mua được khi 381M trong số đó là phần thân dùng chung. Lý do để dùng nó là chi phí và kích thước — dưới 2GB VRAM, một kho GGUF từ ngày 6 tháng 10, các bản dựng MLX từ ngày 12 tháng 10, và quyết định trong một lượt forward — không phải độ trung thực.

Một chuỗi cascade sử dụng cả hai

Sai lầm là coi những thứ này như đối thủ cạnh tranh. Chúng là hai giai đoạn của cùng một bộ lọc, và quy trình tự nhiên sẽ chạy mô hình rẻ trước.

Giai đoạn một: Liquid AI d1-omni-600M tiếp nhận mục đầu vào — một ghi chú thoại, một cuộc gọi hỗ trợ, một khiếu nại bằng văn bản kèm tệp đính kèm — và trả lời những câu hỏi thô. Đây là vấn đề thanh toán hay vấn đề kỹ thuật? Người gọi có đang tức giận không? Thông điệp này có chứa yêu cầu nào không? Với dung lượng dưới 2GB và chỉ một lượt xử lý, chi phí đủ thấp để chạy trên mọi mục.

Giai đoạn hai: bất cứ thứ gì mà 600M đặt gần giữa thang điểm của nó, hoặc bất cứ thứ gì đến kèm một hình ảnh cần đọc, sẽ được chuyển lên d1-2B. Mô hình 2B có cửa sổ 128K, đầu vào video và năng lực thị giác gấp khoảng ba lần mức trung bình, và nó chỉ thấy phần lưu lượng mà giai đoạn đầu không thể xử lý xong.

Ngưỡng mới là phần việc thực sự. Cả hai thẻ đều trả về xác suất, và cả hai đều bảo bạn hiệu chỉnh trên dữ liệu của chính mình — thẻ của d1-2B nói thẳng đúng như vậy. Một cascade với dải giữa chưa được hiệu chỉnh thì hoặc đẩy mọi thứ lên tầng trên, khi đó 600M chỉ để trang trí, hoặc không đẩy gì cả, khi đó 2B không bao giờ sửa được giai đoạn không đọc nổi.

Trong hầu hết hệ thống thực tế còn có giai đoạn thứ ba: mô hình viết câu trả lời. Đó là nơi một API được lưu trữ xuất hiện, và là nơi OrcaRouter trở nên liên quan. Không mô hình Liquid AI nào được chúng tôi phục vụ, nên các nút quyết định vẫn nằm trên GPU của bạn; bước sinh tạo sử dụng nhãn của chúng có thể đến từ một khóa tương thích OpenAI bao trùm hơn 200 mô hình, với mức chênh lệch 0% so với giá niêm yết của nhà cung cấp và tự động chuyển đổi dự phòng nếu một nhà cung cấp ngừng hoạt động giữa lưu lượng truy cập. DSL định tuyến cũng là cách trung thực để biểu đạt chính chuỗi tầng — hai mô hình quyết định là các bước phía GPU, việc sinh câu trả lời là một bước được lưu trữ, được kết hợp với nhau thay vì gắn chặt trong mã ứng dụng.

Điều mà cả hai mô hình đều không làm, và lựa chọn thứ ba

Cả hai đều không viết văn bản. Cả hai trả về câu trả lời có kiểu và xác suất với 0 token đầu ra; nếu bước tiếp theo cần văn xuôi, thì đó là một mô hình khác. Cả hai đều không xử lý video có âm thanh: d1-2B nhận các khung hình video nhưng không nhận âm thanh, 600M nhận âm thanh nhưng không nhận cùng với hình ảnh, và giới hạn âm thanh 30 giây là một giới hạn cứng chứ không phải khuyến nghị.

Nếu yêu cầu thực sự là “âm thanh và hình ảnh trong cùng một yêu cầu,” thì câu trả lời không phải là cả hai mô hình này — mà là d1-Omni-2B, người anh em 2,17B mà Liquid AI đã tạo ra hai mươi bốn giây sau d1-2B và chấp nhận văn bản, hình ảnh, khung hình video và đoạn âm thanh trong một danh sách phương tiện duy nhất. Điểm Decision Index của nó là 49,0 trên cùng bảng v0.3, điểm trung bình thị giác của nó là 67,7, và nó cũng không có thử nghiệm độc lập giống như d1-2B. Nó tốn khoảng bốn lần số tham số của bản 600M, đó là cái giá của việc không phải lựa chọn giữa các phương thức.

Vậy quy tắc rất ngắn. Nếu trạng thái chứa giọng nói và không cần xem gì khác, Liquid AI d1-omni-600M là thành viên duy nhất trong cặp này có thể chạy, và nó nên được coi như một màn hình. Nếu trạng thái là văn bản, hình ảnh hoặc video và câu trả lời phải đứng vững, d1-2B là mô hình — và đây là mô hình có con số độ trễ được công bố, cửa sổ 128K và lợi thế benchmark vẫn giữ được khi đọc từng dòng. Nếu trạng thái có cả hai, cả hai đều không phải câu trả lời, mà mô hình omni 2.17B mới là.