d1-2B vs Liquid AI d1-3B: Model yang Lebih Kecil Menang di Papan Peringkat dan Kalah dalam Deployment

Empat pertanyaan menentukan perbandingan ini, dan tidak satu pun dari pertanyaan itu adalah "model mana yang lebih baik." Apakah state-nya mencakup video? Apakah melebihi 32K token? Apakah Anda perlu menjalankannya di bawah llama.cpp? Apakah Anda sanggup menjadi orang pertama yang mengujinya? d1-2B adalah model keputusan 1,92B milik Liquid AI, dibangun di atas LFM3-VL-2B dan memperoleh skor 51,1 pada tabel Decision Index vendor. Liquid AI d1-3B adalah model 3,12B yang dirilis pada 7 Oktober, dibangun di atas LFM2.5-VL-3B dan memperoleh skor 49,0 pada tabel yang sama. Model yang lebih baru dan lebih kecil unggul secara rata-rata. Namun, model itu masih kalah pada tiga baris yang benar-benar diaktifkan dalam deployment, dan dialah satu-satunya dari keduanya yang tidak memiliki jalur llama.cpp dan tidak punya hasil uji independen. Halaman ini disusun berdasarkan keempat pertanyaan tersebut, bukan berdasarkan papan peringkat, karena papan peringkat tidak menjawab satu pun dari pertanyaan itu.

Jawaban singkatnya, berdasarkan beban kerja

• Triase hanya teks dalam volume tinggi — d1-2B, berkat 1.132 keputusan per detik untuk 64 status dalam batch dan bobot 3,84GB. Keunggulan 3B pada Keputusan Bertipe tidak relevan ketika outputnya adalah label.

• Pembacaan diagram dan grafik — Liquid AI d1-3B. Model ini unggul pada AI2D 79.9 atas 76.7, dan merupakan model yang memiliki uji coba independen di baliknya.

• Dokumen panjang, formulir panjang, transkrip panggilan panjang — d1-2B. Jendelanya adalah 128K token dibandingkan 32,768, dan kartunya secara jujur menyatakan bahwa keandalan menurun setelah sekitar 64K, yang masih menyisakan dua kali kapasitas total 3B.

• Perangkat edge yang menjalankan llama.cpp — Liquid AI d1-3B, karena default bukan karena keunggulannya. Ini memiliki repositori GGUF dan build aktivasi bobot terkuantisasi; d1-2B tidak memiliki keduanya.

• Apa pun yang salah langkahnya mahal dan belum teruji — tidak keduanya, sampai Anda menjalankan keduanya pada data Anda sendiri. Bahkan, hanya salah satunya yang pernah dijalankan oleh pihak ketiga.

Keluarga yang sama, terpaut satu generasi

Kedua model ini bukan bersaudara seperti yang disiratkan namanya. Liquid AI d1-3B merupakan turunan dari LFM2.5-VL-3B, yang berasal dari LFM2.5-2.6B-Base, dan membawa encoder visi SigLIP2 NaFlex 400M. d1-2B merupakan turunan dari LFM3-VL-2B, keluarga berikutnya, dengan backbone 24 lapis yang terbagi antara 13 konvolusi pendek bergerbang, 5 lapisan attention jendela geser, dan 6 lapisan attention global. Kesenjangan generasi itulah yang menyebabkan pembalikan benchmark: arsitektur yang lebih baru melakukan lebih banyak per parameter, sehingga checkpoint yang lebih kecil dapat mengungguli yang lebih besar pada sebagian besar baris.

• Parameter — 1,92B untuk d1-2B vs 3,12B untuk Liquid AI d1-3B.

• Unduh — 3,84GB vs 6,25GB safetensors BF16, keduanya berupa file tunggal.

• Konteks — 128K token vs 32.768.

• Kosakata — 128.000 token dibandingkan kosakata LFM2.5.

• Input — teks atau JSON, gambar atau video, ditambah pertanyaan bernama, untuk d1-2B; teks atau JSON ditambah gambar untuk 3B. Video adalah perbedaan kemampuan yang paling jelas di antara keduanya.

• Bahasa — masing-masing enam belas, kumpulan yang sama.

• Lisensi — LFM Open License v1.0 untuk keduanya, dengan penggunaan komersial yang disyaratkan tetap berada di bawah $10.000.000 pendapatan tahunan. Tidak ada alasan lisensi untuk memilih salah satu.

• Rilis — bobot d1-3B diunggah pada 5 Oktober dan diumumkan pada 7 Oktober. Repositori d1-2B dibuat pada 24 Oktober dan belum pernah memiliki unggahan tersendiri; satu-satunya kalimat vendor yang menyebutnya ada dalam peluncuran LFM3 27 Oktober.

Satu detail dokumentasi layak dibaca sebagai sinyal, bukan fakta: halaman dokumentasi model keputusan Liquid AI kini mencantumkan d1-2B, d1-omni-2B, d1-omni-600M, d1.1, dan d1-ultra. Halaman itu tidak lagi mencantumkan d1-3B. Model 3B tersebut belum dipensiunkan — repo, build GGUF, dan MLX-nya semuanya masih aktif — tetapi indeks milik vendor sendiri telah memindahkan slot bobot terbuka ke model 2B.

Papan skor, dibaca baris demi baris

Semua angka di bawah ini berasal dari tabel benchmark pada {{1}}kartu model d1-2B{{/1}}, yang menilai empat {{2}}model d1 terbuka{{/2}} pada item yang sama dengan scorer yang sama. Itu penting karena {{3}}kartu milik Liquid AI d1-3B sendiri{{/3}} melaporkan {{4}}48.57{{/4}} pada {{5}}Decision Index 0.2.1{{/5}}, sedangkan tabel ini melaporkan {{6}}49.0{{/6}} pada {{7}}versi 0.3{{/7}}; selisihnya adalah {{8}}edisi indeks{{/8}}, bukan perubahan model, dan kartu tersebut menyatakannya dalam sebuah catatan. Membandingkan kedua kartu secara langsung — {{9}}48.57 versus 51.1{{/9}} — berarti melakukan pengurangan lintas dua pengujian yang berbeda. Membandingkan di dalam tabel ini sah, dan itulah yang dilakukan sepanjang sisa bagian ini.

• Decision Index public suite v0.3 — 51,1 vs 49,0.

• DecisionBench (Hanno Labs) v1 — 77.1 vs 73.1.

• Decision Bench (decisionbench.ai) v4 — 85.2 vs 83.6.

• JevBench v1.4.1 — 77,9 vs 76,2.

• ImajevBench v2.0-lite — 75.5 vs 64.0, kesenjangan terbesar di sisi keputusan.

• WorkflowEvals — 81,6 vs 74,4.

• Papan internal Liquid AI — 63.2 vs 58.8.

• Rata-rata Visi — 70,2 vs 65,4 pada delapan belas benchmark.

Setiap rangkaian keputusan bernama dalam tabel itu mengarah ke 2B, yang merupakan maksud dari unggahan peluncuran LFM3 ketika menyebut d1-2B sebagai pengganti d1-3B "dengan sepertiga parameter lebih sedikit" dan skor lebih tinggi "pada keempat rangkaian keputusan." Klaim itu akurat sebagaimana tertulis — dan lebih sempit daripada "mengalahkan 3B," itulah sebabnya paragraf berikutnya ada. Lalu tiga baris yang berkebalikan. Fast Decisions adalah 58,8 untuk d1-2B dibandingkan 59,3 untuk 3B. Typed Decisions adalah 61,3 dibandingkan 65,0. AI2D adalah 76,7 dibandingkan 79,9. Tidak ada celah yang besar, dan dua dari tiga berada dalam selisih satu poin, tetapi itulah baris-baris di mana tambahan 1,2B parameter masih menghasilkan sesuatu yang terukur: keputusan yang berorientasi kecepatan, ekstraksi bertipe, dan pembacaan diagram. Jika pekerjaan dalam pipeline Anda adalah ekstraksi bertipe dari formulir, 3B bukanlah opsi usang seperti yang tersirat di halaman dokumentasi.

Latensi: kedua angka utama tersebut tidak dapat dibandingkan

Liquid AI mengutip 5,7 ms per keputusan untuk d1-2B dan 8 ms untuk Liquid AI d1-3B, dan keduanya bukan pengukuran yang sama. Angka 2B diukur pada H100 PCIe; angka 3B diukur pada RTX 4090. Selisih 2,3 ms antara dua GPU berbeda tidak memberi tahu Anda apa pun tentang model mana yang lebih cepat pada perangkat keras Anda, dan mengulanginya sebagai perbandingan justru akan menjadi jenis pencucian angka yang ingin dihindari blog ini.

Ada satu mesin yang dilaporkan oleh kedua kartu. Pada Apple M5 Pro, d1-2B membutuhkan 18,6 ms per pertanyaan dan versi 3B membutuhkan 30 ms — pengurangan 38% pada silikon yang sama. Itulah perbandingan kecepatan yang jujur, dan arahnya sama dengan yang disiratkan oleh perbedaan ukuran. Pada batching, d1-2B menangani 1.132 keputusan per detik pada H100 PCIe dan 1.699 per detik pada MI325X dengan 64 state dalam satu panggilan; kartu 3B melaporkan 475 per detik pada RTX 4090 dan 1.106 per detik pada MI325X. Baris MI325X adalah yang dimiliki bersama oleh kedua kartu, dan di sana 2B unggul sekitar 54%.

Satu-satunya uji independen yang ada menjalankan 3B

Pada pertengahan Oktober, Efraín Garay menjalankan delapan model keputusan terhadap Decision Index 0.3 dan tiga tugas data nyata, lalu mempublikasikan hasilnya beserta kode. Dua temuan relevan dengan perbandingan ini.

Yang pertama melegakan bagi papan skor. Ia membangun ulang rangkaian publik dari kit-nya, memeriksa bahwa file yang diunduh cocok dengan yang resmi, mengambil sampel 6.000 permintaan, dan memberi skor Liquid AI d1-3B sebesar 49,11 — dibandingkan dengan 49,04 milik Liquid sendiri pada baris yang sama dan 48,99 pada rangkaian penuh. Ini adalah bukti terkuat yang tersedia bahwa angka v0.3 dalam tabel di atas dihitung dengan benar. Ini adalah bukti tentang 3B, bukan tentang d1-2B, yang tidak ia uji.

Yang kedua adalah peringatan tentang apa yang diukur oleh sebuah indeks. Pada kumpulan data sintetis berisi 10.000 pembayaran dengan fraud kartu, Liquid AI d1-3B memperoleh AUC 0,314 — di bawah peluang acak, karena model memberi peringkat anomali sebagai kurang mencurigakan daripada pembayaran normal, sebab rentetan pembayaran berturut-turut berada pada probabilitas median 0,41 dibandingkan 0,56 untuk pembayaran normal. Model itu berada di peringkat kedua pada indeks publik dan terakhir pada tugas tersebut. Pelajarannya berlaku langsung: 51,1 milik d1-2B adalah skor pada rangkaian keputusan umum, dan belum ada yang menunjukkan bahwa skor itu memprediksi performa pada keputusan spesifik Anda. Pihak vendor menyatakan hal itu dalam kartunya sendiri, dalam instruksi untuk mengalibrasi ambang batas pada data Anda sendiri.

Yang benar-benar dapat Anda jalankan hari ini

Di sinilah perbandingannya tidak lagi seimbang. Liquid AI d1-3B telah memiliki repositori GGUF sejak 6 Oktober, build weight-activation 8-bit sejak 7 Oktober, dan empat varian MLX sejak 12 Oktober. d1-2B mendapat tiga build MLX dan satu ekspor ONNX pada 27 Oktober, dan tidak ada yang lain. Tidak ada GGUF untuk d1-2B, tidak ada kuantisasi selain 4-bit dan 8-bit milik MLX, dan karena itu tidak ada jalur llama.cpp yang dipublikasikan untuk decision head — padahal model dasarnya, LFM3-VL-2B, telah memiliki GGUF sendiri sejak 19 Oktober.

Untuk deployment Transformers, perbedaannya hilang: keduanya dimuat dengan trust_remote_code=True dan mengekspos panggilan system_one dan system_one_batch yang sama. Untuk deployment edge, tidak demikian. Jika stack Anda adalah llama.cpp pada Jetson atau ponsel, 3B adalah satu-satunya dari keduanya yang dapat Anda jalankan tanpa menulis integrasi runtime, dan angka edge yang dipublikasikan — 16 ms pada Jetson AGX Thor, 26 ms pada AGX Orin 64GB, 50 ms pada Orin Nano — adalah angka yang dapat Anda jadikan dasar perencanaan.

Tidak ada dari kedua model tersebut yang dilayani oleh OrcaRouter, jadi memilih di antara keduanya tetap merupakan keputusan self-hosting. Nilai sebuah router terletak satu lapisan di luarnya: model keputusan jarang berjalan sendiri, dan langkah generatif yang bertindak berdasarkan label routing biasanya berasal dari model yang dihosting. Satu kunci kompatibel OpenAI untuk lebih dari 200 model, DSL routing yang memungkinkan Anda menggabungkan langkah-langkah tersebut menjadi satu panggilan, dan failover otomatis mencegah separuh pipeline itu menjadi proyek integrasi kedua sementara node keputusan tetap berada di perangkat keras Anda sendiri.

Jika Anda bermigrasi, ada tiga hal yang berubah

Permukaan API-nya cukup mirip sehingga port tampak sepele, padahal tidak. Pertama, kontrak inputnya: d1-3B menerima gambar; d1-2B menerima daftar media yang dapat mencakup video, dan kartunya menjelaskan bahwa media dikodekan sekali untuk semua pertanyaan dalam satu panggilan. Kode yang meneruskan satu gambar akan berjalan, tetapi tidak akan memanfaatkan hal yang menjadi tujuan model ini dibuat.

Kedua, ambang batas. Kedua model mengembalikan probabilitas, dan keduanya memerlukan ambang keputusan yang disesuaikan dengan data Anda. Ambang yang disetel pada kalibrasi d1-3B tidak dapat ditransfer — tabel kalibrasi disertakan di dalam setiap repo, disesuaikan secara terpisah — sehingga migrasi yang mempertahankan batas lama akan menghasilkan titik operasi yang berbeda dan, dalam jalur moderasi atau penipuan, profil kesalahan yang berbeda.

Ketiga, jurang keandalan. Jendela 128K adalah sorotan utamanya; kartu menyebutkan bahwa jawaban menjadi kurang andal setelah sekitar 64K token state. Pada 3B, batas atasnya adalah 32.768, jadi migrasi ke d1-2B biasanya akan menjadi peningkatan kapasitas langsung — tetapi pipeline yang mulai memasukkan state 100K token karena sekarang bisa melakukannya sedang menguji bagian rentang yang ditandai vendor sebagai lebih lemah.

Putusannya kurang simetris dibandingkan papan skor. Untuk build baru di Transformers, pada teks atau gambar atau video, dengan state yang dapat berjalan lama, d1-2B adalah default yang lebih baik dan lebih murah untuk dijalankan. Untuk deployment edge dengan llama.cpp, untuk ekstraksi bertipe, atau untuk visi yang padat diagram, Liquid AI d1-3B tetap menjadi model pilihan — dan ini satu-satunya dari pasangan tersebut yang memiliki bukti eksternal apa pun di belakangnya. Satu hal yang jangan dilakukan adalah memilih hanya berdasarkan angka 51.1-versus-49.0. Dua poin pada indeks vendor, di antara dua model yang belum pernah dijalankan siapa pun pada tugas Anda, bukanlah sebuah keputusan; itu hanyalah penentu seri.