SingVL_S1_4B vs LFM2.5-VL-3B: Probabilità rispetto ai paragrafi

Chiedere se SingVL_S1_4B batta LFM2.5-VL-3B è una domanda mal posta, e il modo più rapido per sprecare una settimana è rispondere comunque. Uno di questi modelli scrive paragrafi sulle immagini; l'altro restituisce una probabilità per ogni opzione che gli passi e non emette mai una parola propria. Questa differenza non è un divario di qualità da stabilire su una classifica. Decide quali delle tue pipeline possono usare quale modello, prima di consultare qualsiasi benchmark. Quindi il confronto onesto va nella direzione opposta: parti da ciò che il tuo codice deve ricevere e guarda quale modello può produrlo.

Due diversi tipi di ritorno

LFM2.5-VL-3B di Liquid AI è un modello visione-linguaggio nel senso comune del termine. Dagli un'immagine e una domanda e genera una risposta token per token, il che significa che può descrivere una scena, seguire una conversazione multi-turno, chiamare una funzione, trascrivere una pagina di testo con annotazioni di layout oppure restituire bounding box per gli oggetti che nomini. È stato rilasciato il 12 agosto 2026, costruito sul backbone linguistico LFM2.5-2.6B con un encoder visivo SigLIP2 NaFlex, ed è esplicitamente pensato per il deployment on-device: 228 token al secondo su un Apple M5 Max in meno di 3,3 GB di memoria, con build GGUF, ONNX e MLX pubblicate insieme al checkpoint nativo.

Il modello SingVL_S1_4B di inclusionAI, caricato in sordina l'11 novembre 2026, fa una sola cosa e la fa in un'unica passata forward. Gli si fornisce uno stato — testo, JSON, fino a quattro immagini — e un dizionario di domande con nome, ciascuna delle quali dichiara un tipo (a scelta, sì/no sotto l'etichetta "noul", oppure un punteggio ordinato da 2 a 10 livelli) e le relative risposte candidate. Restituisce una probabilità per ciascun candidato. Non c'è alcuna fase di campionamento, nessuna temperatura da impostare, nessun output da analizzare. La model card stessa è scritta interamente con quel vocabolario, fino agli esempi API.

Se il tuo endpoint deve restituire "la fattura è di Acme, datata marzo, totale 1.240,00", LFM2.5-VL-3B può farlo e SingVL_S1_4B no. Se il tuo endpoint richiede {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}, vale il contrario. Questa è l'intera decisione, e tutto ciò che segue riguarda i suoi margini.

La scheda tecnica, affiancata senza una tabella

Parametri — SingVL_S1_4B è di circa 4,54B in BF16 su due shard per un totale di 9,1 GB; LFM2.5-VL-3B è 3,1B, con un backbone linguistico da 2,6B.

Output — SingVL_S1_4B restituisce le probabilità per opzione da un'unica forward pass; LFM2.5-VL-3B restituisce testo generato, chiamate a strumenti o annotazione strutturata del layout.

• Contesto — SingVL_S1_4B accetta 65.536 token di input solo per il testo, che scendono a 10.000 una volta allegate le immagini; LFM2.5-VL-3B dichiara 32.768 token end-to-end.

• Immagini per richiesta — SingVL_S1_4B supporta al massimo quattro immagini, con un massimo di 1.806.336 pixel ciascuna elaborati dal processore; LFM2.5-VL-3B accetta input a immagine singola e multipla e suddivide le immagini di grandi dimensioni in patch da 512×512 più una miniatura.

• Lingue — LFM2.5-VL-3B ne elenca quindici, dall'arabo al vietnamita; la scheda di SingVL_S1_4B non fa alcuna dichiarazione in merito alle lingue.

• Licenza — LFM2.5-VL-3B è distribuito con la LFM Open License v1.0, con derivati quantizzati già in circolazione; SingVL_S1_4B è distribuito senza campo di licenza e senza file LICENSE.

• Distribuzione — LFM2.5-VL-3B dispone di build native, GGUF, ONNX e MLX, oltre a una demo WebGPU e ai percorsi vLLM, SGLang e llama.cpp; SingVL_S1_4B significa clonare il repository ed eseguire il proprio server FastAPI sulla porta 8173.

• Ecosistema — LFM2.5-VL-3B è sull'Hub da agosto e ha ricevuto quantizzazioni e port dalla community; SingVL_S1_4B aveva un giorno al momento della stesura, con zero download.

Due di quelle righe sono più decisive di quanto sembri. La riga sulla licenza è la prima: un repository senza licenza non concede a nessuno il diritto di ridistribuire o distribuire, e "il fornitore non si è espresso" non è un permesso che puoi inserire in una revisione di conformità. La riga sul deployment è la seconda: una build ONNX che gira su un telefono e un server Python che richiede un dispositivo CUDA non competono per lo stesso slot nella tua architettura, qualunque cosa dicano i conteggi dei parametri.

Perché non è possibile sottrarre i numeri del benchmark

Entrambe le schede riportano punteggi su dataset i cui nomi si sovrappongono, e la sovrapposizione è una trappola. SingVL_S1_4B riporta 82,17 su RealWorldQA, 72,11 su BLINK, 50,17 su MMMU-Pro vision e 96,31 su InfographicVQA. LFM2.5-VL-3B riporta 73,1 su RealWorldQA, 61,5 su BLINK, 30,5 su MMMU Pro e 81,3 su ChartQA. Disposti in fila, sembra una disfatta. Non è un confronto di nulla.

La prima ragione è la modalità di risposta. Ogni valore di SingVL_S1_4B è prodotto assegnando un punteggio a un insieme di opzioni fornite e scegliendo quella con probabilità più alta, un compito fondamentalmente più facile che generare una risposta in forma libera che un valutatore deve poi far combaciare. Il Decision Index misura esattamente questo e lo dichiara: i suoi punteggi sono corretti per il caso, quindi indovinare non dà alcun credito, ma il modello non deve comunque mai produrre la stringa — deve solo classificare candidati scritti da qualcun altro. Un modello generativo che risponde alla stessa domanda da zero fa più lavoro per lo stesso punto sul grafico.

La seconda ragione riguarda chi lo ha eseguito. Entrambi i set sono dichiarati dai fornitori, sui harness proprietari di ciascun fornitore. Nessuno dei due è stato riprodotto da un laboratorio neutrale. SingVL_S1_4B ha inoltre un solo giorno di vita, senza alcun invio al kit di riproduzione pubblica del Decision Index — la scheda include le istruzioni per crearne uno, il che indica un'intenzione e non dimostra nulla. LFM2.5-VL-3B è stato provato da persone per tre mesi, il che non equivale a un numero verificato, ma significa almeno che le sue cifre sono state guardate da estranei.

Il terzo è la deriva delle versioni. La scheda di LFM2.5-VL-3B indica il proprio valore su OCRBench v2 come sottoinsieme solo inglese. La riga InfographicVQA di SingVL_S1_4B è riportata all'interno di una suite con una propria normalizzazione. Due numeri con lo stesso nome di dataset e sottoinsiemi diversi non sono lo stesso numero, e la mossa onesta è smettere di sottrarli.

L'affermazione sull'efficienza appartiene solo a una delle parti

Il dato principale di LFM2.5-VL-3B non è l'accuratezza, ma il throughput entro un budget di memoria: sotto i 3,3 GB, 228 token al secondo su un M5 Max, 116 su un Ryzen AI Max+ 395 e 20 su un Galaxy S26 Ultra. Quest'ultimo dato è quello che conta per la progettazione del prodotto, perché è la differenza tra una funzionalità che gira sul dispositivo e una che richiede un viaggio di andata e ritorno. Niente nel repository SingVL_S1_4B sostiene un'affermazione comparabile, e non esiste una build quantizzata con cui avanzarla — si ottengono shard BF16 e uno script server.

Il rovescio della medaglia è che un singolo forward pass ha un profilo di costo che un modello generativo non può eguagliare. Valutare quattro opzioni per una domanda è un solo passaggio; generare una descrizione di 200 token richiede 200 passaggi sequenziali. Se il tuo compito è davvero una classificazione — questo documento è una ricevuta, questo fotogramma contiene una persona, questo annuncio è conforme — il design di SingVL_S1_4B dovrebbe costare meno per decisione, e restituisce un numero calibrato su cui può agire una soglia anziché una frase che un parser deve riuscire a gestire. Quel vantaggio è strutturale e non dipende dal fatto che il benchmark del fornitore sia corretto. Inoltre non è stato misurato da nessuno al di fuori del laboratorio, quindi trattalo come un'aspettativa anziché un fatto.

Quanto costa scoprirlo

LFM2.5-VL-3B può essere valutato su un laptop oggi pomeriggio. La build MLX gira su Apple silicon, la build GGUF gira su CPU tramite llama.cpp, e c'è un playground ospitato se vuoi dare un'occhiata prima di scaricare qualsiasi cosa. Il costo di commutazione è un identificatore di modello in un file di configurazione, e il rischio è limitato dal fatto che i pesi sono sotto licenza e il formato è standard.

SingVL_S1_4B costa una GPU e un pomeriggio di configurazione. Servono Python 3.12, una build di PyTorch adatta alla propria scheda, i requisiti del repository stesso e una porta libera. Il server espone un'unica route — POST /v1/systemone — con un corpo JSON piatto, cosa insolitamente semplice da collegare per un artefatto di ricerca, e la scheda fornisce esempi curl funzionanti sia per richieste testuali sia per immagini. Quello che non si può fare è puntarci un client esistente in formato OpenAI, perché non ha quel formato. L'endpoint è progettato per il kit di valutazione Decision Index, e il kit è progettato per esso.

Quell'asimmetria è la risposta pratica a "quale dovrei provare per primo". Se non hai ancora stabilito che un modello che restituisce probabilità sia utile alla tua pipeline, l'esperimento economico consiste nell'applicare il pattern a qualcosa già servito. OrcaRouter offre TypeSafe Jev 1.14 a $0.042 per milione di token di input con una sola chiave, che è un endpoint decisionale funzionante su cui puoi confrontare il tuo task in un'ora, senza checkpoint da ospitare e senza questioni di licenza da escalare. SingVL_S1_4B non è disponibile lì — non ha alcun provider ospitato — quindi il confronto che puoi effettivamente fare oggi è "il punteggio basato su decisioni tipizzate batte la generazione sui miei dati", non "questo particolare nuovo checkpoint vince". Ottieni la prima risposta prima di spendere per la seconda.

Dove ognuno appartiene

• Documenti che devi leggere e citare — LFM2.5-VL-3B. Produce la trascrizione, con etichette di layout, e la sua riga OCR è una vera capacità piuttosto che un punteggio.

• Schermate, moduli e GUI — LFM2.5-VL-3B. ScreenSpot-v2 a 80.7 e i miglioramenti nel grounding rispetto alla generazione precedente sono il punto centrale del rilascio.

• Qualsiasi cosa che funzioni su un telefono o un portatile — LFM2.5-VL-3B, e non c'è partita, perché l'alternativa richiede un server.

• Un gate davanti a una chiamata costosa — va bene l'una o l'altra, e la forma di SingVL_S1_4B è la più adatta se puoi ospitarlo, perché ciò che serve a un gate è una probabilità.

• Triage multi-etichetta su una tassonomia fissa — SingVL_S1_4B, in linea di principio. I suoi tipi di domanda a scelta e a punteggio si mappano direttamente sulle tassonomie, laddove un modello generativo deve essere vincolato a ricondursi a una tramite prompt e post-elaborazione.

• Moderazione — nessuna delle due senza lavoro. La scheda di SingVL_S1_4B mostra la propria riga dei meme d'odio crollare da 71.64 a 43.28 quando viene applicato il prompt di skill, il che è un avvertimento sulla sensibilità al prompt proprio nel dominio in cui i falsi negativi costano cari.

• Distribuzione commerciale questo trimestre — LFM2.5-VL-3B, unicamente per motivi di licenza.

La parte che non è ancora stata misurata

La domanda interessante non è quale modello sia migliore, perché non sono in competizione tra loro. È se un classificatore da 4,5 miliardi di parametri addestrato sopra una backbone di visione possa eguagliare un modello di visione general-purpose nella ristretta fetta di attività in cui serve solo un'etichetta e una confidenza. Se ci riesce, cambia il costo di molte pipeline, perché un singolo forward pass è un ordine di spesa diverso rispetto a un paragrafo generato. Nessuno fuori da inclusionAI lo sa ancora — il repository ha un giorno di vita, la licenza è vuota e il benchmark è quello interno del laboratorio.

Nel frattempo il modello generalista è disponibile, con licenza, quantizzato, documentato e abbastanza veloce da girare su un telefono. Quando un team chiede quale di questi mettere in produzione, la risposta per ora è quella noiosa, e quella interessante è un'ipotesi con un repository allegato.