SingVL_S1_4B so với LFM2.5-VL-3B: Xác suất so với Đoạn văn

Hỏi liệu SingVL_S1_4B có đánh bại LFM2.5-VL-3B hay không là một câu hỏi sai lệch, và cách nhanh nhất để lãng phí một tuần là cứ trả lời nó. Một trong hai mô hình này viết cả đoạn văn về hình ảnh; mô hình còn lại trả về xác suất cho từng lựa chọn bạn đưa cho nó và không bao giờ tự phát ra một từ nào. Sự khác biệt đó không phải là khoảng cách chất lượng để được phân định trên bảng xếp hạng. Nó quyết định pipeline nào của bạn có thể dùng mô hình nào, trước khi phải tra cứu bất kỳ benchmark nào. Vì vậy, so sánh trung thực phải đi theo hướng ngược lại: hãy bắt đầu từ những gì mã của bạn cần nhận được, rồi xem mô hình nào có thể tạo ra nó.

Hai kiểu trả về khác nhau

LFM2.5-VL-3B của Liquid AI là một mô hình ngôn ngữ - thị giác theo nghĩa thông thường. Đưa cho nó một hình ảnh và một câu hỏi, nó sẽ tạo ra câu trả lời từng token một, nghĩa là nó có thể mô tả một khung cảnh, theo dõi một cuộc hội thoại nhiều lượt, gọi hàm, phiên âm một trang văn bản kèm chú thích bố cục, hoặc trả về hộp giới hạn cho các đối tượng mà bạn chỉ định. Mô hình được phát hành vào ngày 12 tháng 8 năm 2026, được xây dựng trên xương sống ngôn ngữ LFM2.5-2.6B với bộ mã hóa thị giác SigLIP2 NaFlex, và được định hướng rõ ràng cho việc triển khai trên thiết bị — 228 token mỗi giây trên Apple M5 Max trong mức bộ nhớ dưới 3,3 GB, cùng với các bản dựng GGUF, ONNX và MLX được công bố song song với checkpoint gốc.

SingVL_S1_4B của inclusionAI, được âm thầm tải lên vào ngày 11 tháng 11 năm 2026, chỉ làm một việc và làm việc đó trong một lượt truyền xuôi duy nhất. Bạn cung cấp cho nó một trạng thái — văn bản, JSON, tối đa bốn hình ảnh — và một từ điển các câu hỏi có tên, mỗi câu khai báo một kiểu (lựa chọn, có/không dưới nhãn "noul", hoặc điểm số có thứ tự từ 2 đến 10 mức) và các câu trả lời ứng viên của nó. Nó trả về một xác suất cho mỗi ứng viên. Không có bước lấy mẫu, không có nhiệt độ cần đặt, không có đầu ra cần phân tích cú pháp. Bản thân thẻ mô hình được viết hoàn toàn bằng từ vựng đó, cho đến tận các ví dụ API.

Nếu endpoint của bạn cần trả về "hóa đơn đến từ Acme, ghi ngày tháng Ba, tổng cộng 1.240,00", LFM2.5-VL-3B có thể làm được còn SingVL_S1_4B thì không. Nếu endpoint của bạn cần {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}, thì điều ngược lại đúng. Đó là toàn bộ quyết định, và mọi thứ bên dưới đều nói về các ranh giới của nó.

Bảng thông số kỹ thuật, đặt cạnh nhau mà không dùng bảng.

• Tham số — SingVL_S1_4B có khoảng 4,54B ở BF16 trải trên hai shard với tổng cộng 9,1 GB; LFM2.5-VL-3B là 3,1B, với phần nền ngôn ngữ 2,6B.

• Đầu ra — SingVL_S1_4B trả về xác suất cho từng tùy chọn từ một lượt lan truyền thuận; LFM2.5-VL-3B trả về văn bản được tạo, lệnh gọi công cụ hoặc chú thích bố cục có cấu trúc.

• Ngữ cảnh — SingVL_S1_4B chấp nhận 65,536 token đầu vào chỉ cho văn bản, giảm xuống 10,000 khi có hình ảnh được đính kèm; LFM2.5-VL-3B công bố 32,768 token xuyên suốt từ đầu đến cuối.

• Số ảnh mỗi yêu cầu — SingVL_S1_4B giới hạn tối đa bốn ảnh, với mức tối đa của bộ xử lý là 1.806.336 pixel mỗi ảnh; LFM2.5-VL-3B nhận đầu vào một ảnh và nhiều ảnh, đồng thời chia ảnh lớn thành các mảnh 512×512 cùng một ảnh thu nhỏ.

• Ngôn ngữ — LFM2.5-VL-3B liệt kê mười lăm ngôn ngữ, từ tiếng Ả Rập đến tiếng Việt; thẻ của SingVL_S1_4B hoàn toàn không đưa ra bất kỳ tuyên bố nào về ngôn ngữ.

• Giấy phép — LFM2.5-VL-3B được phát hành theo LFM Open License v1.0, với các bản phái sinh đã lượng tử hóa vốn đã lưu hành rộng rãi; SingVL_S1_4B được phát hành mà không có trường giấy phép và không có tệp LICENSE.

• Triển khai — LFM2.5-VB-3B có các bản dựng native, GGUF, ONNX và MLX, cùng với bản demo WebGPU và các đường dẫn vLLM, SGLang và llama.cpp; SingVL_S1_4B nghĩa là sao chép kho lưu trữ và chạy máy chủ FastAPI riêng của nó trên cổng 8173.

• Hệ sinh thái — LFM2.5-VL-3B đã có mặt trên Hub từ tháng 8 và đã thu hút được các bản lượng tử hóa cùng các bản port từ cộng đồng; SingVL_S1_4B mới ra đời được một ngày tính đến thời điểm viết bài, với không lượt tải xuống nào.

Hai trong số những dòng đó mang tính quyết định hơn vẻ ngoài của chúng. Dòng về giấy phép là dòng đầu tiên: một kho lưu trữ không có giấy phép không trao cho bất kỳ ai quyền phân phối lại hoặc phát hành, và “nhà cung cấp chưa nói” không phải là một sự cho phép mà bạn có thể đưa vào một buổi đánh giá tuân thủ. Dòng về triển khai là dòng thứ hai: một bản dựng ONNX chạy trên điện thoại và một máy chủ Python mong đợi một thiết bị CUDA không cạnh tranh cho cùng một vị trí trong kiến trúc của bạn, bất kể số lượng tham số nói gì.

Vì sao không thể trừ các con số benchmark

Cả hai thẻ đều báo cáo điểm số trên các bộ dữ liệu có tên trùng nhau, và sự trùng lặp ấy là một cái bẫy. SingVL_S1_4B báo cáo 82,17 trên RealWorldQA, 72,11 trên BLINK, 50,17 trên MMMU-Pro vision và 96,31 trên InfographicVQA. LFM2.5-VL-3B báo cáo 73,1 trên RealWorldQA, 61,5 trên BLINK, 30,5 trên MMMU Pro và 81,3 trên ChartQA. Đặt cạnh nhau thành một hàng, điều đó trông như một trận thắng áp đảo. Đó chẳng phải là so sánh gì cả.

Lý do đầu tiên là chế độ trả lời. Mọi số liệu của SingVL_S1_4B đều được tạo ra bằng cách chấm điểm một tập lựa chọn được cung cấp và lấy lựa chọn có xác suất cao nhất, một nhiệm vụ về bản chất dễ hơn nhiều so với việc sinh ra một câu trả lời tự do mà sau đó một bộ chấm điểm phải đối chiếu. Decision Index đo chính điều này và nói rõ như vậy: điểm của nó được hiệu chỉnh theo mức ngẫu nhiên, nên đoán mò không được tính công, nhưng mô hình vẫn không bao giờ phải tạo ra chuỗi đó — chỉ cần xếp hạng các ứng viên do người khác viết. Một mô hình sinh trả lời cùng câu hỏi đó từ đầu đang làm nhiều việc hơn để có cùng một điểm trên biểu đồ.

Lý do thứ hai là ai đã chạy nó. Cả hai bộ đều do nhà cung cấp tự báo cáo, trên harness riêng của từng nhà cung cấp. Không bộ nào được một phòng thí nghiệm trung lập tái lập. SingVL_S1_4B còn mới chỉ một ngày tuổi, chưa có bài gửi nào cho bộ công cụ tái lập công khai của Decision Index — thẻ này có kèm hướng dẫn tạo một bộ như vậy, điều đó cho thấy ý định chứ không chứng minh được gì. LFM2.5-VL-3B đã có ba tháng người ta chạy nó, điều đó không giống với một con số đã được kiểm toán nhưng có nghĩa là các số liệu của nó ít nhất đã được người lạ xem xét.

Thứ ba là sự lệch phiên bản. Thẻ riêng của LFM2.5-VL-3B đánh dấu chỉ số OCRBench v2 của nó là tập con chỉ tiếng Anh. Hàng InfographicVQA của SingVL_S1_4B được báo cáo bên trong một bộ đánh giá có cách chuẩn hoá riêng. Hai con số có cùng tên bộ dữ liệu nhưng khác tập con không phải là cùng một con số, và cách làm trung thực là dừng việc trừ chúng đi.

Tuyên bố về hiệu quả chỉ thuộc về một phía.

Điểm đáng chú ý của LFM2.5-VL-3B không phải độ chính xác mà là thông lượng trong một giới hạn bộ nhớ: dưới 3,3 GB, 228 token mỗi giây trên M5 Max, 116 trên Ryzen AI Max+ 395 và 20 trên Galaxy S26 Ultra. Con số cuối cùng mới là điều quan trọng đối với thiết kế sản phẩm, vì đó là khác biệt giữa một tính năng chạy ngay trên thiết bị và một tính năng cần một vòng gọi lên máy chủ. Không có gì trong kho SingVL_S1_4B đưa ra tuyên bố tương đương, và cũng không có bản dựng lượng tử hóa nào để làm điều đó — bạn chỉ có các mảnh BF16 và một script máy chủ.

Mặt trái là một lượt truyền xuôi duy nhất có cấu trúc chi phí mà một mô hình sinh không thể sánh được. Chấm điểm bốn phương án cho một câu hỏi là một lượt; tạo một mô tả 200 token là 200 lượt tuần tự. Nếu nhiệm vụ của bạn thực sự là phân loại — tài liệu này có phải là hóa đơn không, khung hình này có chứa người không, danh sách này có tuân thủ không — thì thiết kế của SingVL_S1_4B hẳn sẽ rẻ hơn trên mỗi quyết định, và nó trả về một con số đã hiệu chuẩn mà một ngưỡng có thể tác động lên, thay vì một câu mà bộ phân tích cú pháp phải chịu đựng. Lợi thế đó mang tính cấu trúc và không phụ thuộc vào việc benchmark của nhà cung cấp có đúng hay không. Nó cũng chưa được bất kỳ ai bên ngoài phòng thí nghiệm đo đạc, nên hãy coi đó là kỳ vọng chứ không phải sự thật.

Cái giá phải trả để biết được

LFM2.5-VL-3B có thể được đánh giá trên một chiếc laptop ngay chiều nay. Bản dựng MLX chạy trên Apple silicon, bản dựng GGUF chạy trên CPU thông qua llama.cpp, và có một playground được vận hành trực tuyến nếu bạn muốn xem qua trước khi tải xuống bất cứ thứ gì. Chi phí chuyển đổi chỉ là một mã định danh mô hình trong tệp cấu hình, và rủi ro được giới hạn bởi việc các trọng số đã được cấp phép và định dạng là tiêu chuẩn.

SingVL_S1_4B tốn một GPU và cả một buổi chiều để thiết lập. Bạn cần Python 3.12, bản PyTorch được biên dịch tương thích với card của mình, các yêu cầu riêng của repository, và một cổng trống. Server chỉ phục vụ một route duy nhất — POST /v1/systemone — với body JSON dạng phẳng, điều này dễ nối dây một cách bất thường đối với một sản phẩm nghiên cứu, và card cung cấp các ví dụ curl hoạt động được cho cả yêu cầu văn bản lẫn hình ảnh. Điều bạn không thể làm là trỏ một client sẵn có theo dạng OpenAI vào nó, bởi vì nó không có dạng đó. Endpoint được thiết kế cho bộ đánh giá Decision Index, và bộ kit được thiết kế cho endpoint này.

Sự bất đối xứng đó là câu trả lời thực tế cho câu hỏi "nên thử cái nào trước". Nếu bạn chưa xác lập được rằng một mô hình trả về xác suất có giúp ích cho pipeline của mình hay không, thì thử nghiệm rẻ là chạy mẫu đó với một thứ đã được phục vụ sẵn. OrcaRouter cung cấp TypeSafe Jev 1.14 với giá $0.042 mỗi triệu token đầu vào dưới một khóa duy nhất, tức là một điểm cuối quyết định đang hoạt động mà bạn có thể đối chuẩn tác vụ của riêng mình với nó trong một giờ, không cần lưu trữ checkpoint nào và không có câu hỏi giấy phép nào cần chuyển lên cấp trên. SingVL_S1_4B không có sẵn ở đó — nó hoàn toàn không có nhà cung cấp dịch vụ lưu trữ nào — nên phép so sánh bạn thực sự có thể làm hôm nay là "liệu chấm điểm quyết định có kiểu có đánh bại sinh văn bản trên dữ liệu của tôi không", chứ không phải "liệu checkpoint mới cụ thể này có thắng không". Hãy lấy câu trả lời đầu tiên trước khi chi tiền cho câu trả lời thứ hai.

Nơi mỗi thứ thuộc về

• Tài liệu bạn phải đọc và trích dẫn — LFM2.5-VL-3B. Nó tạo ra bản chép lời, kèm nhãn bố cục, và dòng OCR của nó là một năng lực thực sự chứ không phải một điểm số.

• Màn hình, biểu mẫu và GUI — LFM2.5-VL-3B. ScreenSpot-v2 đạt 80.7 và những cải thiện về grounding so với thế hệ trước chính là điểm nhấn của bản phát hành này.

• Bất cứ thứ gì chạy trên điện thoại hay laptop — LFM2.5-VL-3B, và không có gì phải so sánh, vì phương án thay thế cần một máy chủ.

• Một cổng chặn trước một lệnh gọi tốn kém — hoặc là vậy, và dạng của SingVL_S1_4B phù hợp hơn nếu bạn có thể host nó, vì thứ mà một cổng cần chính là một xác suất.

• Phân loại đa nhãn trên một hệ phân loại cố định — SingVL_S1_4B, về nguyên tắc. Các dạng câu hỏi lựa chọn và cho điểm của nó ánh xạ trực tiếp lên các hệ phân loại, trong khi một mô hình sinh phải được ràng buộc trở lại vào một hệ như vậy bằng prompt và hậu xử lý.

• Kiểm duyệt — không phải không cần công sức. Thẻ của chính SingVL_S1_4B cho thấy dòng meme thù địch của nó giảm mạnh từ 71.64 xuống 43.28 khi áp dụng prompt kỹ năng, đây là cảnh báo về độ nhạy cảm với prompt đúng ở lĩnh vực mà âm tính giả rất tốn kém.

• Triển khai thương mại trong quý này — LFM2.5-VL-3B, chỉ vì lý do cấp phép.

Phần vẫn chưa được đo lường

Câu hỏi thú vị không phải là mô hình nào tốt hơn, vì chúng không cùng một cuộc đua. Mà là liệu một bộ phân loại 4,5 tỷ tham số được huấn luyện trên nền một backbone thị giác có thể sánh ngang một mô hình thị giác tổng quát trên lát cắt hẹp các tác vụ mà ở đó bạn chỉ cần một nhãn và một độ tin cậy hay không. Nếu có thể, nó sẽ thay đổi chi phí của rất nhiều pipeline, bởi một lượt lan truyền xuôi duy nhất có mức chi phí khác hẳn về bậc so với một đoạn văn được sinh ra. Chưa ai ngoài inclusionAI biết được — kho mã mới một ngày tuổi, giấy phép còn trống, và bài đánh giá là của chính phòng thí nghiệm này.

Trong khi đó, mô hình đa dụng đã có sẵn, được cấp phép, lượng tử hóa, có tài liệu và đủ nhanh để chạy trên điện thoại. Khi một nhóm hỏi nên đưa cái nào trong số này vào sản xuất, câu trả lời hiện tại là câu trả lời nhàm chán, còn câu trả lời thú vị là một giả thuyết gắn với một kho mã.