SingVL_S1_4B vs LFM2.5-VL-3B: Waarschijnlijkheden tegenover paragrafen

De vraag of SingVL_S1_4B beter is dan LFM2.5-VL-3B is verkeerd gesteld, en de snelste manier om een week te verspillen is die toch te beantwoorden. Een van deze modellen schrijft paragrafen over afbeeldingen; het andere geeft een waarschijnlijkheid voor elke optie die je eraan voorlegt en produceert zelf nooit een woord. Dat verschil is geen kwaliteitskloof die op een leaderboard moet worden beslecht. Het bepaalt welke van je pipelines welk model kunnen gebruiken, voordat er ook maar een benchmark wordt geraadpleegd. De eerlijke vergelijking loopt dus de andere kant op: begin bij wat je code moet ontvangen, en kijk welk model dat kan produceren.

Twee verschillende retourtypen

Liquid AI's LFM2.5-VL-3B is een visie-taalmodel in de gewone zin. Geef het een afbeelding en een vraag, en het genereert token voor token een antwoord. Dat betekent dat het een scène kan beschrijven, een gesprek met meerdere beurten kan volgen, een functie kan aanroepen, een pagina tekst met lay-outannotaties kan transcriberen of bounding boxes kan retourneren voor objecten die je benoemt. Het werd uitgebracht op 12 augustus 2026, is gebouwd op de LFM2.5-2.6B-taalbackbone met een SigLIP2 NaFlex-visie-encoder en is expliciet gericht op implementatie op het apparaat: 228 tokens per seconde op een Apple M5 Max met minder dan 3,3 GB geheugen, met GGUF-, ONNX- en MLX-builds die samen met het native checkpoint zijn gepubliceerd.

inclusionAI's SingVL_S1_4B, op 11 november 2026 stilzwijgend geüpload, doet één ding en doet dat in één enkele forward pass. Je geeft het een toestand — tekst, JSON, maximaal vier afbeeldingen — en een woordenboek met benoemde vragen, die elk een type aangeven (keuze, ja/nee onder het label "noul", of een geordende score van 2 tot 10 niveaus) en de bijbehorende kandidaatantwoorden. Het retourneert een waarschijnlijkheid per kandidaat. Er is geen samplingstap, geen temperatuur om in te stellen, geen uitvoer om te parsen. De modelkaart zelf is helemaal in dat vocabulaire geschreven, tot aan de API-voorbeelden toe.

Als je endpoint moet retourneren "de factuur is van Acme, gedateerd maart, totaal 1.240,00", dan kan LFM2.5-VL-3B het wel en SingVL_S1_4B niet. Als je endpoint {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}} moet retourneren, geldt het omgekeerde. Dat is de hele beslissing, en alles hieronder gaat over de randgevallen ervan.

Het specificatieblad, naast elkaar zonder tabel

• Parameters — SingVL_S1_4B heeft ongeveer 4,54 miljard parameters in BF16, verdeeld over twee shards met een totaal van 9,1 GB; LFM2.5-VL-3B heeft 3,1 miljard parameters, met een taalbackbone van 2,6 miljard.

• Uitvoer — SingVL_S1_4B retourneert waarschijnlijkheden per optie uit één forward pass; LFM2.5-VL-3B retourneert gegenereerde tekst, tool calls of gestructureerde lay-outannotatie.

• Context — SingVL_S1_4B accepteert 65.536 invoertokens voor alleen tekst, wat daalt tot 10.000 zodra er afbeeldingen worden toegevoegd; LFM2.5-VL-3B adverteert van begin tot eind met 32.768 tokens.

• Afbeeldingen per verzoek — SingVL_S1_4B gaat tot maximaal vier, met een processormaximum van 1.806.336 pixels per afbeelding; LFM2.5-VL-3B verwerkt invoer met één of meerdere afbeeldingen en splitst grote afbeeldingen in patches van 512×512 plus een miniatuur.

• Talen — LFM2.5-VL-3B vermeldt er vijftien, van Arabisch tot Vietnamees; de kaart van SingVL_S1_4B doet helemaal geen uitspraak over talen.

• Licentie — LFM2.5-VL-3B wordt geleverd onder de LFM Open License v1.0, met gekwantiseerde afgeleiden die al in omloop zijn; SingVL_S1_4B wordt geleverd zonder licentieveld en zonder LICENSE-bestand.

• Implementatie — LFM2.5-VL-3B heeft native, GGUF-, ONNX- en MLX-builds, plus een WebGPU-demo en vLLM-, SGLang- en llama.cpp-paden; SingVL_S1_4B betekent de repository klonen en de eigen FastAPI-server draaien op poort 8173.

Ecosysteem — LFM2.5-VL-3B staat sinds augustus op de Hub en er zijn communitykwantisaties en ports voor verschenen; SingVL_S1_4B was op het moment van schrijven één dag oud, met nul downloads.

Twee van die regels zijn beslissender dan ze lijken. De licentieregel is de eerste: een repository zonder licentie geeft niemand het recht om te herdistribueren of te verspreiden, en "de leverancier heeft niets gezegd" is geen toestemming die je in een compliancebeoordeling kunt opvoeren. De deploymentregel is de tweede: een ONNX-build die op een telefoon draait en een Python-server die een CUDA-apparaat verwacht, concurreren niet om dezelfde plek in je architectuur, wat de parameteraantallen ook zeggen.

Waarom de benchmarkcijfers niet kunnen worden afgetrokken

Beide kaarten rapporteren scores op datasets waarvan de namen overlappen, en die overlap is een valstrik. SingVL_S1_4B rapporteert 82,17 op RealWorldQA, 72,11 op BLINK, 50,17 op MMMU-Pro vision en 96,31 op InfographicVQA. LFM2.5-VL-3B rapporteert 73,1 op RealWorldQA, 61,5 op BLINK, 30,5 op MMMU Pro en 81,3 op ChartQA. Op een rij gezet lijkt dat een afstraffing. Het is geen vergelijking van wat dan ook.

De eerste reden is de antwoordmodus. Elk cijfer voor SingVL_S1_4B wordt geproduceerd door een reeks aangeleverde opties te scoren en de optie met de hoogste waarschijnlijkheid te kiezen, wat een wezenlijk eenvoudigere taak is dan het genereren van een vrij antwoord dat een beoordelaar vervolgens moet matchen. De Decision Index meet precies dit en zegt dat ook: de scores zijn kansgecorrigeerd, dus gokken levert niets op, maar het model hoeft nog steeds nooit de string te produceren — alleen kandidaten te rangschikken die iemand anders heeft geschreven. Een generatief model dat dezelfde vraag vanaf nul beantwoordt, verricht meer werk voor hetzelfde punt op de grafiek.

De tweede reden is wie het heeft uitgevoerd. Beide sets zijn door de leverancier gerapporteerd, op de eigen harness van elke leverancier. Geen van beide is gereproduceerd door een neutraal lab. SingVL_S1_4B is bovendien één dag oud, zonder inzending bij de openbare reproductiekit van de Decision Index — de kaart bevat de instructies om er een te maken, wat intentie aangeeft en niets bewijst. LFM2.5-VL-3B wordt al drie maanden door mensen gedraaid, wat niet hetzelfde is als een gecontroleerd cijfer, maar wel betekent dat er ten minste door vreemden naar de cijfers is gekeken.

De derde is versiedrift. De eigen modelkaart van LFM2.5-VL-3B markeert het OCRBench v2-cijfer als de Engelstalige subset. De InfographicVQA-rij van SingVL_S1_4B wordt gerapporteerd binnen een suite met een eigen normalisatie. Twee getallen met dezelfde datasetnaam en verschillende subsets zijn niet hetzelfde getal, en de eerlijke zet is om ze niet langer van elkaar af te trekken.

De efficiëntieclaim komt slechts van één kant.

De headline van LFM2.5-VL-3B is niet nauwkeurigheid, maar doorvoer binnen een geheugenbudget: onder 3,3 GB, 228 tokens per seconde op een M5 Max, 116 op een Ryzen AI Max+ 395 en 20 op een Galaxy S26 Ultra. Dat laatste cijfer is het cijfer dat ertoe doet voor productontwerp, want het is het verschil tussen een functie die op het apparaat zelf draait en een functie die een roundtrip nodig heeft. Niets in de repository SingVL_S1_4B doet een vergelijkbare claim, en er is geen gequantiseerde build om er een mee te maken — je krijgt BF16-shards en een serverscript.

De keerzijde is dat één enkele forward pass een kostenprofiel heeft dat een generatief model niet kan evenaren. Het scoren van vier opties voor één vraag is één pass; het genereren van een beschrijving van 200 tokens zijn 200 opeenvolgende passes. Als je taak echt een classificatie is — is dit document een bonnetje, bevat dit frame een persoon, is deze listing conform — dan zou het ontwerp van SingVL_S1_4B per beslissing goedkoper moeten zijn, en het retourneert een gekalibreerd getal waarop een drempelwaarde kan reageren in plaats van een zin die een parser moet overleven. Dat voordeel is structureel en hangt niet af van of de benchmark van de leverancier klopt. Het is ook door niemand buiten het lab gemeten, dus behandel het als een verwachting in plaats van een feit.

Wat het kost om erachter te komen

LFM2.5-VL-3B kan vanmiddag op een laptop worden geëvalueerd. De MLX-build draait op Apple silicon, de GGUF-build draait op CPU via llama.cpp, en er is een gehoste playground als je een kijkje wilt nemen voordat je iets downloadt. De omschakelkosten bestaan uit een modelidentificatie in een configuratiebestand, en het risico wordt begrensd doordat de gewichten onder licentie zijn en het formaat standaard is.

SingVL_S1_4B kost een GPU en een middag aan setup. Je hebt Python 3.12 nodig, een PyTorch-build die bij je kaart past, de eigen requirements van de repository, en een vrije poort. De server spreekt één route — POST /v1/systemone — met een platte JSON-body, wat voor een onderzoeksartefact ongewoon eenvoudig aan te sluiten is, en de kaart levert werkende curl-voorbeelden voor zowel tekst- als afbeeldingsverzoeken. Wat je niet kunt doen, is een bestaande OpenAI-vormige client erop richten, want die vorm heeft het niet. Het endpoint is ontworpen voor de Decision Index-evaluatiekit, en de kit is ervoor ontworpen.

Die asymmetrie is het praktische antwoord op de vraag "welke ik eerst moet proberen". Als je nog niet hebt vastgesteld dat een model dat waarschijnlijkheden retourneert je pipeline helpt, is het goedkope experiment om het patroon te draaien tegen iets dat al wordt aangeboden. OrcaRouter biedt TypeSafe Jev 1.14 voor $0,042 per miljoen inputtokens onder één sleutel, wat een werkend beslissingsendpoint is waarmee je je eigen taak binnen een uur kunt benchmarken, zonder checkpoint te hosten en zonder licentievraag te escaleren. SingVL_S1_4B is daar niet beschikbaar — er is helemaal geen gehoste provider — dus de vergelijking die je vandaag echt kunt maken is "verslaat getypeerde beslissingsscoring generatie op mijn data", niet "wint dit specifieke nieuwe checkpoint". Beantwoord de eerste vraag voordat je geld uitgeeft aan de tweede.

Waar elk thuishoort

• Documenten die u moet lezen en citeren — LFM2.5-VL-3B. Het produceert de transcriptie, met lay-outlabels, en de OCR-rij ervan is een echte vaardigheid in plaats van een score.

• Schermen, formulieren en GUI's — LFM2.5-VL-3B. ScreenSpot-v2 op 80,7 en de verbeteringen in grounding ten opzichte van de vorige generatie zijn de kern van deze release.

• Alles wat op een telefoon of een laptop draait — LFM2.5-VL-3B, en er is geen concurrentie, want het alternatief heeft een server nodig.

• Een poort vóór een dure aanroep — beide, en de vorm van SingVL_S1_4B past beter als je hem kunt hosten, want een waarschijnlijkheid is precies wat een poort nodig heeft.

• Multi-labeltriage over een vaste taxonomie — SingVL_S1_4B, in principe. De keuze- en scorevraagtypen ervan kunnen rechtstreeks op taxonomieën worden afgebeeld, terwijl een generatief model met prompts en nabewerking weer binnen één taxonomie moet worden ingeperkt.

• Moderatie — geen van beide zonder werk. De eigen kaart van SingVL_S1_4B laat zien dat de rij voor haatdragende memes inzakt van 71,64 naar 43,28 wanneer de skill-prompt wordt toegepast, wat een waarschuwing is voor promptgevoeligheid precies in het domein waar valse negatieven duur zijn.

• Commerciële uitrol dit kwartaal — LFM2.5-VL-3B, uitsluitend op grond van licentievoorwaarden.

Het deel dat nog niet is gemeten

De interessante vraag is niet welk model beter is, want ze zitten niet in dezelfde competitie. Het is of een classifier met 4,5 miljard parameters, getraind bovenop een vision-backbone, kan meekomen met een algemeen inzetbaar vision-model op het smalle stukje taken waar je alleen een label en een confidence score nodig hebt. Als dat kan, verandert dat de kosten van veel pipelines, want één forward pass is een andere orde van kosten dan een gegenereerde alinea. Niemand buiten inclusionAI weet het nog — de repository is een dag oud, de licentie is blanco, en de benchmark is die van het lab zelf.

Ondertussen is het algemene model beschikbaar, gelicentieerd, gekwantiseerd, gedocumenteerd en snel genoeg om op een telefoon te draaien. Wanneer een team vraagt welke van deze in productie te nemen, is het antwoord voorlopig het saaie, en het interessante is een hypothese met een repository eraan vast.