SingVL_S1_4B vs LFM2.5-VL-3B: Probabilitas versus Paragraf

Menanyakan apakah SingVL_S1_4B mengalahkan LFM2.5-VL-3B adalah pertanyaan yang keliru bentuk, dan cara tercepat untuk membuang waktu selama seminggu adalah tetap menjawabnya. Salah satu model ini menulis paragraf tentang gambar; yang lain mengembalikan probabilitas untuk setiap opsi yang Anda berikan kepadanya dan tidak pernah mengeluarkan sepatah kata pun sendiri. Perbedaan itu bukanlah kesenjangan kualitas yang harus diselesaikan di papan peringkat. Itu menentukan pipeline mana yang dapat menggunakan model mana, sebelum benchmark apa pun dirujuk. Jadi perbandingan yang jujur berjalan ke arah sebaliknya: mulailah dari apa yang perlu diterima kode Anda, dan lihat model mana yang dapat menghasilkannya.

Dua tipe pengembalian yang berbeda

LFM2.5-VL-3B dari Liquid AI adalah model visi-bahasa dalam pengertian biasa. Beri ia sebuah gambar dan pertanyaan, lalu ia menghasilkan jawaban token demi token, yang berarti ia dapat mendeskripsikan suatu adegan, mengikuti percakapan multi-giliran, memanggil fungsi, mentranskripsikan satu halaman teks dengan anotasi tata letak, atau mengembalikan kotak pembatas untuk objek yang Anda sebutkan. Model ini dirilis pada 12 Agustus 2026, dibangun di atas tulang punggung bahasa LFM2.5-2.6B dengan encoder visi SigLIP2 NaFlex, dan secara eksplisit diposisikan untuk penerapan di perangkat — 228 token per detik pada Apple M5 Max dengan memori di bawah 3,3 GB, dengan build GGUF, ONNX, dan MLX yang diterbitkan bersama checkpoint aslinya.

SingVL_S1_4B milik inclusionAI, yang diunggah secara diam-diam pada 11 November 2026, melakukan satu hal dan melakukannya dalam satu forward pass. Anda memberinya sebuah state — teks, JSON, hingga empat gambar — dan sebuah kamus berisi pertanyaan-pertanyaan bernama, yang masing-masing mendeklarasikan tipe (pilihan, ya/tidak dengan label "noul", atau skor berurutan bertingkat 2 hingga 10) dan jawaban kandidatnya. Model mengembalikan probabilitas untuk setiap kandidat. Tidak ada langkah sampling, tidak ada temperature yang perlu diatur, tidak ada output yang perlu diurai. Kartu modelnya sendiri ditulis sepenuhnya dengan kosakata itu, hingga ke contoh-contoh API.

Jika endpoint Anda perlu mengembalikan "faktur tersebut berasal dari Acme, bertanggal Maret, total 1,240.00", LFM2.5-VL-3B dapat melakukannya dan SingVL_S1_4B tidak bisa. Jika endpoint Anda perlu {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}, yang berlaku adalah kebalikannya. Itulah keseluruhan keputusannya, dan semua yang ada di bawah ini membahas kasus-kasus di tepinya.

Lembar spesifikasi, berdampingan tanpa tabel.

• Parameter — SingVL_S1_4B berukuran sekitar 4,54B dalam BF16 di dua shard dengan total 9,1 GB; LFM2.5-VL-3B berukuran 3,1B, dengan backbone bahasa 2,6B.

• Keluaran — SingVL_S1_4B mengembalikan probabilitas per opsi dari satu forward pass; LFM2.5-VL-3B mengembalikan teks yang dihasilkan, panggilan alat, atau anotasi tata letak terstruktur.

• Konteks — {{1}}SingVL_S1_4B{{/1}} menerima {{2}}65.536{{/2}} token masukan hanya untuk teks, turun menjadi {{3}}10.000{{/3}} setelah gambar dilampirkan; {{4}}LFM2.5-VL-3B{{/4}} mengiklankan {{5}}32.768{{/5}} token secara end-to-end.

• Gambar per permintaan — {{1}}SingVL_S1_4B{{/1}} dibatasi maksimal empat, dengan maksimum prosesor {{2}}1.806.336 piksel{{/2}} per gambar; {{3}}LFM2.5-VL-3B{{/3}} menerima masukan gambar tunggal dan multi-gambar serta memecah gambar besar menjadi patch {{4}}512×512{{/4}} ditambah thumbnail.

• Bahasa — LFM2.5-VL-3B mencantumkan lima belas bahasa, dari Arab hingga Vietnam; kartu SingVL_S1_4B sama sekali tidak mengklaim bahasa.

• Lisensi — LFM2.5-VL-3B dirilis di bawah LFM Open License v1.0 dengan turunan terkuantisasi yang sudah beredar; SingVL_S1_4B dirilis tanpa bidang lisensi dan tanpa file LICENSE.

{{1}}Penyebaran{{/1}} — LFM2.5-VL-3B memiliki build native, GGUF, ONNX, dan MLX, ditambah demo WebGPU serta jalur vLLM, SGLang, dan llama.cpp; SingVL_S1_4B berarti mengkloning repositori dan menjalankan server FastAPI-nya sendiri pada port 8173.

• Ekosistem — LFM2.5-VL-3B telah ada di Hub sejak Agustus dan telah menerima kuantisasi serta port dari komunitas; SingVL_S1_4B baru berumur satu hari pada saat penulisan, dengan nol unduhan.

Dua dari baris-baris itu lebih menentukan daripada kelihatannya. Baris lisensi adalah yang pertama: repositori tanpa lisensi tidak memberi siapa pun hak untuk mendistribusikan ulang atau mengirimkan produk, dan "vendor belum mengatakannya" bukanlah izin yang bisa Anda cantumkan dalam tinjauan kepatuhan. Baris penerapan adalah yang kedua: build ONNX yang berjalan di ponsel dan server Python yang mengharapkan perangkat CUDA tidak berebut slot yang sama dalam arsitektur Anda, berapa pun jumlah parameternya.

Mengapa angka benchmark tidak dapat dikurangkan

Kedua kartu melaporkan skor pada kumpulan data yang namanya tumpang tindih, dan tumpang tindih itu adalah jebakan. SingVL_S1_4B melaporkan 82.17 pada RealWorldQA, 72.11 pada BLINK, 50.17 pada MMMU-Pro vision, dan 96.31 pada InfographicVQA. LFM2.5-VL-3B melaporkan 73.1 pada RealWorldQA, 61.5 pada BLINK, 30.5 pada MMMU Pro, dan 81.3 pada ChartQA. Jika disusun berjajar, itu tampak seperti kekalahan telak. Itu bukan perbandingan apa pun.

Alasan pertama adalah mode menjawab. Setiap angka SingVL_S1_4B dihasilkan dengan menilai sekumpulan opsi yang disediakan dan mengambil opsi dengan probabilitas tertinggi, yang secara mendasar merupakan tugas yang lebih mudah daripada menghasilkan jawaban bebas yang kemudian harus dicocokkan oleh penilai. Decision Index mengukur tepat hal ini dan menyatakannya: skornya dikoreksi terhadap peluang tebak, sehingga menebak tidak memberi kredit, tetapi model tetap tidak pernah harus menghasilkan string itu — hanya memberi peringkat pada kandidat yang ditulis orang lain. Model generatif yang menjawab pertanyaan yang sama dari awal melakukan lebih banyak kerja untuk titik yang sama pada grafik.

Alasan kedua adalah siapa yang menjalankannya. Kedua set dilaporkan oleh vendor, pada harness milik masing-masing vendor. Tidak satu pun telah direproduksi oleh lab netral. SingVL_S1_4B juga baru berusia satu hari, tanpa pengajuan ke kit reproduksi publik Decision Index — kartunya menyertakan instruksi untuk membuatnya, yang menunjukkan niat dan tidak membuktikan apa pun. LFM2.5-VL-3B sudah tiga bulan dijalankan orang, yang tidak sama dengan angka yang diaudit tetapi setidaknya berarti angka-angkanya telah dilihat oleh orang asing.

Yang ketiga adalah pergeseran versi. Kartu milik LFM2.5-VL-3B sendiri menandai angka OCRBench v2-nya sebagai subset khusus bahasa Inggris. Baris InfographicVQA milik SingVL_S1_4B dilaporkan di dalam sebuah suite dengan normalisasinya sendiri. Dua angka dengan nama dataset yang sama dan subset yang berbeda bukanlah angka yang sama, dan langkah yang jujur adalah berhenti mengurangkannya.

Klaim efisiensi hanya milik satu pihak saja

LFM2.5-VL-3B bukan tentang akurasi, melainkan throughput dalam batas memori: di bawah 3,3 GB, 228 token per detik pada M5 Max, 116 pada Ryzen AI Max+ 395, dan 20 pada Galaxy S26 Ultra. Angka terakhir itulah yang penting untuk desain produk, karena di situlah letak perbedaan antara fitur yang berjalan di perangkat dan fitur yang memerlukan perjalanan pulang-pergi. Tidak ada apa pun di repositori SingVL_S1_4B yang membuat klaim sebanding, dan tidak ada build terkuantisasi yang dapat digunakan untuk membuat klaim tersebut — Anda hanya mendapatkan shard BF16 dan skrip server.

Sisi lainnya adalah bahwa satu forward pass memiliki profil biaya yang tidak dapat ditandingi model generatif. Memberi skor pada empat opsi untuk satu pertanyaan adalah satu pass; menghasilkan deskripsi 200 token adalah 200 pass berurutan. Jika tugas Anda benar-benar klasifikasi — apakah dokumen ini struk, apakah bingkai ini berisi orang, apakah listing ini patuh — desain SingVL_S1_4B seharusnya lebih murah per keputusan, dan ia mengembalikan angka terkalibrasi yang dapat ditindaklanjuti oleh ambang batas, bukan kalimat yang harus bertahan melewati parser. Keunggulan itu bersifat struktural dan tidak bergantung pada benar-tidaknya benchmark vendor. Keunggulan itu juga belum diukur oleh siapa pun di luar lab, jadi anggap saja sebagai ekspektasi, bukan fakta.

Berapa biayanya untuk mencari tahu

LFM2.5-VL-3B dapat diuji di laptop sore ini. Build MLX berjalan di Apple silicon, build GGUF berjalan di CPU melalui llama.cpp, dan tersedia playground yang dihosting jika Anda ingin melihatnya sebelum mengunduh apa pun. Biaya beralihnya hanyalah pengenal model dalam file konfigurasi, dan risikonya terbatas karena bobotnya berlisensi dan formatnya standar.

SingVL_S1_4B membutuhkan GPU dan waktu penyiapan sepanjang satu sore. Anda memerlukan Python 3.12, build PyTorch yang cocok dengan kartu Anda, dependensi milik repositori itu sendiri, dan port kosong. Server hanya menyediakan satu rute — POST /v1/systemone — dengan body JSON datar, yang luar biasa mudah dihubungkan untuk sebuah artefak penelitian, dan kartu tersebut menyediakan contoh curl yang berfungsi untuk permintaan teks maupun gambar. Yang tidak dapat Anda lakukan adalah mengarahkan klien yang sudah ada dan berbentuk OpenAI ke sana, karena bentuknya tidak seperti itu. Endpoint ini dirancang untuk kit evaluasi Decision Index, dan kit tersebut dirancang untuknya.

Asimetri itu adalah jawaban praktis untuk "mana yang harus saya coba dulu". Jika Anda belum memastikan bahwa model yang mengembalikan probabilitas membantu pipeline Anda, eksperimen murahnya adalah menjalankan pola tersebut terhadap sesuatu yang sudah tersedia. OrcaRouter menyediakan TypeSafe Jev 1.14 seharga $0.042 per juta token masukan di bawah satu kunci, yang merupakan endpoint keputusan yang berfungsi dan dapat Anda jadikan tolok ukur untuk tugas Anda sendiri dalam satu jam, tanpa checkpoint yang harus di-hosting dan tanpa pertanyaan lisensi yang harus dieskalasi. SingVL_S1_4B tidak tersedia di sana — sama sekali tidak ada penyedia yang menghostingnya — jadi perbandingan yang benar-benar dapat Anda lakukan hari ini adalah "apakah penilaian keputusan bertipe mengalahkan generasi pada data saya", bukan "apakah checkpoint baru ini menang". Dapatkan jawaban pertama sebelum mengeluarkan biaya untuk yang kedua.

Di mana masing-masing berada

Dokumen yang harus Anda baca dan kutip — LFM2.5-VL-3B. Model ini menghasilkan transkripsi, dengan label tata letak, dan baris OCR-nya merupakan kemampuan nyata, bukan sekadar skor.

• Layar, formulir, dan GUI — LFM2.5-VL-3B. ScreenSpot-v2 pada 80,7 dan peningkatan grounding dibandingkan generasi sebelumnya adalah inti dari rilis ini.

• Apa pun yang berjalan di ponsel atau laptop — LFM2.5-VL-3B, dan tidak ada tandingannya, karena alternatifnya membutuhkan server.

• Gerbang di depan panggilan yang mahal — bisa salah satu, dan bentuk SingVL_S1_4B lebih cocok jika Anda dapat menghostingnya, karena probabilitaslah yang dibutuhkan sebuah gerbang.

• Triase multi-label pada taksonomi tetap — SingVL_S1_4B, secara prinsip. Jenis pertanyaan pilihan dan skornya memetakan langsung ke taksonomi, sedangkan model generatif harus dibatasi kembali ke dalamnya dengan prompt dan pascapemrosesan.

• Moderasi — bukan tanpa kerja. Kartu milik SingVL_S1_4B sendiri menunjukkan baris meme kebenciannya anjlok dari 71,64 ke 43,28 saat prompt keterampilan diterapkan, yang menjadi peringatan tentang sensitivitas prompt tepat di domain yang biaya negatif palsunya tinggi.

• Penerapan komersial kuartal ini — LFM2.5-VL-3B, semata-mata karena alasan lisensi.

Bagian yang masih belum terukur

Pertanyaan yang menarik bukanlah model mana yang lebih baik, karena keduanya tidak berada dalam kompetisi yang sama. Pertanyaannya adalah apakah classifier 4,5 miliar parameter yang dilatih di atas backbone visi dapat menandingi model visi serbaguna pada sebagian kecil tugas yang hanya membutuhkan label dan tingkat keyakinan. Jika bisa, hal itu mengubah biaya banyak pipeline, karena satu forward pass memiliki tingkat biaya yang berbeda dari satu paragraf yang dihasilkan. Belum ada orang di luar inclusionAI yang tahu — repositori itu baru berumur sehari, lisensinya kosong, dan benchmark-nya milik lab itu sendiri.

Sementara itu, model serbaguna sudah tersedia, berlisensi, terkuantisasi, terdokumentasi, dan cukup cepat untuk dijalankan di ponsel. Ketika sebuah tim bertanya mana di antara ini yang harus dipakai di produksi, jawabannya untuk saat ini adalah yang membosankan, dan yang menarik adalah sebuah hipotesis dengan repositori yang menyertainya.