SingVL_S1_4B vs LFM2.5-VL-3B : probabilités contre paragraphes

Demander si SingVL_S1_4B bat LFM2.5-VL-3B est une question mal formée, et le moyen le plus rapide de perdre une semaine est d'y répondre quand même. L'un de ces modèles rédige des paragraphes sur des images ; l'autre renvoie une probabilité pour chaque option que vous lui fournissez et n'émet jamais un mot de lui-même. Cette différence n'est pas un écart de qualité à trancher sur un classement. Elle détermine quels de vos pipelines peuvent utiliser quel modèle, avant même de consulter le moindre benchmark. La comparaison honnête va donc dans l'autre sens : partez de ce que votre code doit recevoir, et voyez quel modèle peut le produire.

Deux types de retour différents

LFM2.5-VL-3B de Liquid AI est un modèle vision-langage au sens classique. Donnez-lui une image et une question, et il génère une réponse token par token, ce qui signifie qu'il peut décrire une scène, suivre une conversation multi-tour, appeler une fonction, transcrire une page de texte avec des annotations de mise en page, ou renvoyer des boîtes englobantes pour les objets que vous nommez. Il a été publié le 12 août 2026, construit sur la base linguistique LFM2.5-2.6B avec un encodeur visuel SigLIP2 NaFlex, et il est explicitement positionné pour un déploiement sur appareil — 228 tokens par seconde sur un Apple M5 Max en moins de 3,3 Go de mémoire, avec des builds GGUF, ONNX et MLX publiés aux côtés du checkpoint natif.

SingVL_S1_4B d’inclusionAI, mis en ligne discrètement le 11 novembre 2026, fait une seule chose et la fait en une seule passe avant. Vous lui fournissez un état — du texte, du JSON, jusqu’à quatre images — et un dictionnaire de questions nommées, chacune déclarant un type (choix, oui/non sous l’étiquette « noul », ou un score ordonné de 2 à 10 niveaux) et ses réponses candidates. Il renvoie une probabilité par candidat. Il n’y a pas d’étape d’échantillonnage, pas de température à régler, pas de sortie à analyser. La fiche du modèle elle-même est entièrement rédigée dans ce vocabulaire, jusque dans les exemples d’API.

Si votre point de terminaison doit renvoyer « la facture provient d'Acme, datée de mars, pour un total de 1 240,00 », LFM2.5-VL-3B peut le faire et SingVL_S1_4B ne le peut pas. Si votre point de terminaison doit renvoyer {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}, c'est l'inverse. Telle est la décision dans son ensemble, et tout ce qui suit porte sur ses cas limites.

La fiche technique, côte à côte sans tableau

• Paramètres — SingVL_S1_4B compte environ 4,54 milliards de paramètres en BF16 répartis sur deux shards totalisant 9,1 Go ; LFM2.5-VL-3B en compte 3,1 milliards, avec un backbone linguistique de 2,6 milliards.

• Sortie — SingVL_S1_4B renvoie les probabilités par option à partir d'une seule passe avant ; LFM2.5-VL-3B renvoie du texte généré, des appels d'outils ou une annotation de mise en page structurée.

• Contexte — SingVL_S1_4B accepte 65 536 tokens d'entrée pour le texte seul, ce chiffre tombant à 10 000 une fois des images jointes ; LFM2.5-VL-3B annonce 32 768 tokens de bout en bout.

• Images par requête — SingVL_S1_4B plafonne à quatre, avec un maximum de 1 806 336 pixels par image au niveau du processeur ; LFM2.5-VL-3B accepte des entrées mono-image et multi-image et découpe les images volumineuses en patches de 512×512, plus une vignette.

• Langues — LFM2.5-VL-3B en répertorie quinze, de l’arabe au vietnamien ; la fiche de SingVL_S1_4B ne revendique aucune langue.

• Licence — LFM2.5-VL-3B est distribué sous la LFM Open License v1.0, avec des dérivés quantifiés déjà en circulation ; SingVL_S1_4B est livré sans champ de licence ni fichier LICENSE.

• Déploiement — LFM2.5-VL-3B dispose de builds natifs, GGUF, ONNX et MLX, ainsi que d’une démo WebGPU et de chemins vLLM, SGLang et llama.cpp ; SingVL_S1_4B signifie cloner le dépôt et exécuter son propre serveur FastAPI sur le port 8173.

• Écosystème — LFM2.5-VL-3B est sur le Hub depuis août et a bénéficié de quantifications et de ports communautaires ; SingVL_S1_4B n’avait qu’un jour au moment de la rédaction, avec zéro téléchargement.

Deux de ces lignes sont plus décisives qu’elles n’y paraissent. La ligne sur la licence est la première : un dépôt sans licence ne donne à personne le droit de redistribuer ou de livrer, et « le fournisseur n’a pas dit » n’est pas une autorisation que vous pouvez inscrire dans une revue de conformité. La ligne sur le déploiement est la seconde : une compilation ONNX qui tourne sur un téléphone et un serveur Python qui attend un périphérique CUDA ne sont pas en concurrence pour le même emplacement dans votre architecture, quels que soient les nombres de paramètres.

Pourquoi les chiffres du benchmark ne peuvent pas être soustraits

Les deux fiches rapportent des scores sur des jeux de données dont les noms se chevauchent, et ce chevauchement est un piège. SingVL_S1_4B rapporte 82,17 sur RealWorldQA, 72,11 sur BLINK, 50,17 sur MMMU-Pro vision et 96,31 sur InfographicVQA. LFM2.5-VL-3B rapporte 73,1 sur RealWorldQA, 61,5 sur BLINK, 30,5 sur MMMU Pro et 81,3 sur ChartQA. Alignés côte à côte, cela ressemble à une déroute. Ce n’est pourtant la comparaison de rien.

La première raison est le mode de réponse. Chaque chiffre de SingVL_S1_4B est produit en évaluant un ensemble d’options fournies et en retenant celle qui a la plus haute probabilité, ce qui est une tâche fondamentalement plus facile que de générer une réponse libre qu’un évaluateur doit ensuite faire correspondre. Le Decision Index mesure exactement cela et l’indique : ses scores sont corrigés de l’effet du hasard, donc deviner ne rapporte aucun crédit, mais le modèle n’a toujours jamais à produire la chaîne — seulement à classer des candidats rédigés par quelqu’un d’autre. Un modèle génératif qui répond à la même question à partir de zéro fournit davantage de travail pour le même point sur le graphique.

La deuxième raison tient à qui l’a fait tourner. Les deux ensembles sont déclarés par les fournisseurs, sur le propre harnais de chaque fournisseur. Aucun n’a été reproduit par un laboratoire neutre. SingVL_S1_4B a en outre un jour, sans soumission au kit de reproduction public du Decision Index — la fiche inclut les instructions pour en créer un, ce qui indique une intention sans rien prouver. LFM2.5-VL-3B a bénéficié de trois mois pendant lesquels des gens l’ont fait tourner, ce qui n’équivaut pas à un chiffre audité, mais signifie au moins que ses chiffres ont été examinés par des inconnus.

Le troisième point est la dérive de version. La propre fiche de LFM2.5-VL-3B indique que son chiffre OCRBench v2 correspond au sous-ensemble anglais uniquement. La ligne InfographicVQA de SingVL_S1_4B est rapportée au sein d’une suite ayant sa propre normalisation. Deux nombres portant le même nom de jeu de données mais correspondant à des sous-ensembles différents ne sont pas le même nombre, et la démarche honnête consiste à cesser de les soustraire.

L'affirmation d'efficacité ne vient que d'un seul côté.

Le point fort de LFM2.5-VL-3B n’est pas la précision, mais le débit dans une enveloppe mémoire : moins de 3,3 Go, 228 tokens par seconde sur un M5 Max, 116 sur un Ryzen AI Max+ 395 et 20 sur un Galaxy S26 Ultra. Ce dernier chiffre est celui qui compte pour la conception produit, car il fait la différence entre une fonctionnalité qui s’exécute sur l’appareil et une fonctionnalité qui nécessite un aller-retour. Rien dans le dépôt SingVL_S1_4B ne revendique quelque chose de comparable, et il n’existe aucune version quantifiée pour le faire — vous obtenez des fragments BF16 et un script serveur.

Le revers de la médaille, c’est qu’une seule passe avant a un profil de coût qu’un modèle génératif ne peut pas égaler. Noter quatre options pour une seule question ne demande qu’une passe ; générer une description de 200 tokens demande 200 passes séquentielles. Si votre tâche est véritablement une classification — ce document est-il un reçu, cette image contient-elle une personne, cette annonce est-elle conforme —, la conception de SingVL_S1_4B devrait coûter moins cher par décision, et elle renvoie un nombre calibré sur lequel un seuil peut agir, plutôt qu’une phrase qu’un parseur doit encaisser. Cet avantage est structurel et ne dépend pas du fait que le benchmark du fournisseur soit juste. Il n’a par ailleurs été mesuré par personne en dehors du laboratoire, donc considérez-le comme une attente plutôt qu’un fait.

Combien il en coûte de le découvrir

LFM2.5-VL-3B peut être évalué sur un ordinateur portable cet après-midi. La version MLX s’exécute sur Apple silicon, la version GGUF s’exécute sur CPU via llama.cpp, et il existe un playground hébergé si vous voulez y jeter un œil avant de télécharger quoi que ce soit. Le coût de bascule est un identifiant de modèle dans un fichier de configuration, et le risque est limité par le fait que les poids sont sous licence et que le format est standard.

SingVL_S1_4B coûte un GPU et un après-midi de configuration. Il vous faut Python 3.12, une version de PyTorch adaptée à votre carte, les exigences propres au dépôt et un port libre. Le serveur n’expose qu’une seule route — POST /v1/systemone — avec un corps JSON plat, ce qui est étonnamment simple à câbler pour un artefact de recherche, et la fiche fournit des exemples curl fonctionnels pour les requêtes texte et image. Ce que vous ne pouvez pas faire, c’est pointer un client existant au format OpenAI vers ce serveur, car il n’a pas ce format. Le point de terminaison est conçu pour le kit d’évaluation Decision Index, et le kit est conçu pour lui.

Cette asymétrie est la réponse pratique à « lequel dois-je essayer en premier ». Si vous n’avez pas encore établi qu’un modèle renvoyant une probabilité aide votre pipeline, l’expérience peu coûteuse consiste à tester le motif sur quelque chose déjà en service. OrcaRouter propose TypeSafe Jev 1.14 à 0,042 $ par million de jetons d’entrée avec une seule clé, ce qui constitue un point de terminaison de décision opérationnel sur lequel vous pouvez évaluer votre propre tâche en une heure, sans checkpoint à héberger ni question de licence à faire remonter. SingVL_S1_4B n’y est pas disponible — il n’a aucun fournisseur hébergé — donc la comparaison que vous pouvez réellement faire aujourd’hui est « le scoring de décision typé bat-il la génération sur mes données », et non « ce nouveau checkpoint particulier l’emporte-t-il ». Obtenez la première réponse avant de dépenser pour la seconde.

Où chacun a sa place

• Documents que vous devez lire et citer — LFM2.5-VL-3B. Il produit la transcription, avec des étiquettes de mise en page, et sa ligne OCR est une véritable capacité plutôt qu’un score.

Écrans, formulaires et interfaces graphiques — LFM2.5-VL-3B. ScreenSpot-v2 à 80,7 et les améliorations de grounding par rapport à la génération précédente constituent le point fort de cette version.

• Tout ce qui tourne sur un téléphone ou un ordinateur portable — LFM2.5-VL-3B, et il n’y a pas photo, car l’alternative nécessite un serveur.

• Une porte devant un appel coûteux — l’un ou l’autre, et la forme de SingVL_S1_4B est la mieux adaptée si vous pouvez l’héberger, car une probabilité est ce dont une porte a besoin.

• Triage multi-étiquettes sur une taxonomie fixe — SingVL_S1_4B, en principe. Ses types de questions à choix et à score correspondent directement aux taxonomies, alors qu’un modèle génératif doit être contraint de revenir à une taxonomie au moyen de prompts et de post-traitement.

• Modération — ni l’un ni l’autre sans travail. La propre fiche de SingVL_S1_4B montre que sa ligne « mèmes haineux » chute de 71,64 à 43,28 lorsque le prompt de compétence est appliqué, ce qui constitue un avertissement sur la sensibilité aux prompts dans précisément le domaine où les faux négatifs coûtent cher.

• Déploiement commercial ce trimestre — LFM2.5-VL-3B, pour des raisons de licence uniquement.

La partie qui n'est pas encore mesurée

La question intéressante n'est pas de savoir quel modèle est le meilleur, car ils ne sont pas dans la même compétition. C'est de savoir si un classifieur de 4,5 milliards de paramètres, entraîné au-dessus d'un backbone de vision, peut rivaliser avec un modèle de vision généraliste sur le créneau étroit de tâches où l'on n'a besoin que d'une étiquette et d'une confiance. Si oui, cela change le coût de nombreux pipelines, car une seule passe avant représente un ordre de dépense bien différent de celui d'un paragraphe généré. Personne en dehors d'inclusionAI ne le sait encore — le dépôt a un jour, la licence est vierge, et le benchmark est celui du laboratoire lui-même.

Pendant ce temps, le modèle polyvalent est disponible, sous licence, quantifié, documenté et assez rapide pour tourner sur un téléphone. Quand une équipe demande lequel de ces modèles mettre en production, la réponse pour l'instant est la plus ennuyeuse, et la plus intéressante est une hypothèse assortie d'un dépôt.