SingVL_S1_4B vs LFM2.5-VL-3B: Sannolikheter kontra stycken

Att fråga om SingVL_S1_4B slår LFM2.5-VL-3B är en felaktigt formulerad fråga, och det snabbaste sättet att slösa bort en vecka är att ändå besvara den. En av dessa modeller skriver stycken om bilder; den andra returnerar en sannolikhet för varje alternativ du ger den och yttrar aldrig ett eget ord. Den skillnaden är inte en kvalitetsklyfta som ska avgöras på en topplista. Den avgör vilka av dina pipelines som kan använda vilken modell, innan någon benchmark konsulteras. Så den ärliga jämförelsen går i motsatt riktning: utgå från vad din kod behöver ta emot och se vilken modell som kan producera det.

Två olika returtyper

Liquid AI:s LFM2.5-VL-3B är en bildspråkmodell i vanlig bemärkelse. Ge den en bild och en fråga och den genererar ett svar token för token, vilket innebär att den kan beskriva en scen, föra en flerturssamtal, anropa en funktion, transkribera en textsida med layoutannoteringar eller returnera avgränsningsrutor för objekt du namnger. Den släpptes den 12 augusti 2026, byggd på språkryggraden LFM2.5-2.6B med en SigLIP2 NaFlex-visionskodare, och den är uttryckligen positionerad för körning på enheten – 228 tokens per sekund på en Apple M5 Max med under 3,3 GB minne, med GGUF-, ONNX- och MLX-byggen publicerade tillsammans med den ursprungliga kontrollpunkten.

inclusionAI:s SingVL_S1_4B, som laddades upp i tysthet den 11 november 2026, gör en sak och gör det i en enda framåtpassning. Du ger den ett tillstånd – text, JSON, upp till fyra bilder – och en ordbok med namngivna frågor, där var och en anger en typ (val, ja/nej under etiketten "noul", eller en ordnad poängskala med 2 till 10 nivåer) och sina kandidatsvar. Den returnerar en sannolikhet per kandidat. Det finns inget samplingsteg, ingen temperatur att ställa in och ingen utdata att tolka. Själva modellkortet är genomgående skrivet i den vokabulären, ända ned till API-exemplen.

Om din slutpunkt behöver returnera "fakturan är från Acme, daterad mars, totalt 1 240,00", kan LFM2.5-VL-3B göra det och SingVL_S1_4B inte. Om din slutpunkt behöver {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}, gäller det omvända. Det är hela beslutet, och allt nedan handlar om gränserna för det.

Specifikationsbladet, sida vid sida utan en tabell

• Parametrar – SingVL_S1_4B är cirka 4,54B i BF16 fördelat över två shards som totalt uppgår till 9,1 GB; LFM2.5-VL-3B är 3,1B, med en språklig backbone på 2,6B.

• Utdata — SingVL_S1_4B returnerar sannolikheter per alternativ från en framåtpassering; LFM2.5-VL-3B returnerar genererad text, verktygsanrop eller strukturerad layoutannotering.

• Kontext — SingVL_S1_4B tar emot 65 536 indatatokens för enbart text, vilket sjunker till 10 000 när bilder bifogas; LFM2.5-VL-3B uppger 32 768 tokens hela vägen.

• Bilder per begäran – SingVL_S1_4B klarar högst fyra, med ett processormaximum på 1,806,336 pixlar per bild; LFM2.5-VL-3B tar emot både enkel- och flerbildsindata och delar upp stora bilder i 512×512-patchar plus en miniatyrbild.

• Språk — LFM2.5-VL-3B listar femton, från arabiska till vietnamesiska; kortet för SingVL_S1_4B gör inga språkanspråk alls.

• Licens — LFM2.5-VL-3B släpps under LFM Open License v1.0 med kvantiserade derivat som redan finns i omlopp; SingVL_S1_4B levereras utan licensfält och utan LICENSE-fil.

• Driftsättning — LFM2.5-VL-3B har inbyggda byggen samt GGUF-, ONNX- och MLX-byggen, plus en WebGPU-demo och sökvägar för vLLM, SGLang och llama.cpp; SingVL_S1_4B innebär att klona repositoryt och köra dess egen FastAPI-server på port 8173.

• Ekosystem — LFM2.5-VL-3B har funnits på Hub sedan augusti och har fått kvantiseringar och portningar från communityn; SingVL_S1_4B var en dag gammal när detta skrevs, med noll nedladdningar.

Två av de raderna är mer avgörande än de ser ut. Licensraden är den första: ett arkiv utan licens ger ingen rätt att distribuera eller leverera, och "leverantören har inte sagt något" är inte ett tillstånd som du kan lägga fram i en efterlevnadsgranskning. Raden om driftsättning är den andra: ett ONNX-bygge som körs på en telefon och en Python-server som förväntar sig en CUDA-enhet konkurrerar inte om samma plats i din arkitektur, oavsett vad parameterantalen säger.

Varför benchmarktalen inte kan subtraheras

Båda korten rapporterar poäng på dataset vars namn överlappar, och överlappningen är en fälla. SingVL_S1_4B rapporterar 82.17 på RealWorldQA, 72.11 på BLINK, 50.17 på MMMU-Pro vision och 96.31 på InfographicVQA. LFM2.5-VL-3B rapporterar 73.1 på RealWorldQA, 61.5 på BLINK, 30.5 på MMMU Pro och 81.3 på ChartQA. Radade upp ser det ut som en förkrossande seger. Det är inte en jämförelse av något.

Det första skälet är svarssättet. Varje SingVL_S1_4B-siffra tas fram genom att poängsätta en uppsättning angivna alternativ och välja det med högst sannolikhet, vilket är en fundamentalt enklare uppgift än att generera ett fritt formulerat svar som en bedömare sedan måste matcha. Decision Index mäter exakt detta och säger det också: dess poäng är korrigerade för slumpen, så gissningar ger ingen utdelning, men modellen behöver fortfarande aldrig producera strängen – bara rangordna kandidater som någon annan har skrivit. En generativ modell som besvarar samma fråga från grunden gör mer arbete för samma punkt i diagrammet.

Det andra skälet är vem som körde den. Båda uppsättningarna är leverantörsrapporterade, på varje leverantörs egen testrigg. Ingen av dem har reproducerats av ett neutralt laboratorium. SingVL_S1_4B är dessutom en dag gammal, utan inlämning till Decision Index offentliga reproduktionskit – kortet innehåller instruktionerna för att göra ett, vilket tyder på avsikt och bevisar ingenting. LFM2.5-VL-3B har under tre månader körts av folk, vilket inte är samma sak som ett granskat tal, men innebär att dess siffror åtminstone har setts av främlingar.

Den tredje är versionsdrift. LFM2.5-VL-3B:s eget modellkort markerar dess OCRBench v2-siffra som den engelskspråkiga delmängden. SingVL_S1_4B:s InfographicVQA-rad rapporteras inom en svit med egen normalisering. Två siffror med samma datamängdsnamn och olika delmängder är inte samma siffra, och det ärliga draget är att sluta subtrahera dem.

Påståendet om effektivitet tillhör bara en sida.

Huvudbudskapet för LFM2.5-VL-3B är inte noggrannhet, utan genomströmning inom ett minnesutrymme: under 3,3 GB, 228 tokens per sekund på en M5 Max, 116 på en Ryzen AI Max+ 395 och 20 på en Galaxy S26 Ultra. Den sista siffran är den som spelar roll för produktdesign, eftersom den utgör skillnaden mellan en funktion som körs på enheten och en funktion som kräver en tur och retur. Inget i SingVL_S1_4B-repot gör ett jämförbart påstående, och det finns ingen kvantiserad byggversion att göra ett sådant med – du får BF16-shards och ett serverskript.

Baksidan är att en enda framåtpassning har en kostnadsprofil som en generativ modell inte kan matcha. Att poängsätta fyra alternativ för en fråga är en framåtpassning; att generera en beskrivning på 200 tokens är 200 sekventiella framåtpassningar. Om din uppgift verkligen är en klassificering – är det här dokumentet ett kvitto, innehåller den här bildrutan en person, uppfyller den här listningen kraven – bör SingVL_S1_4B:s design vara billigare per beslut, och den returnerar ett kalibrerat tal som en tröskel kan agera på i stället för en mening som en parser måste klara av. Den fördelen är strukturell och beror inte på att leverantörens benchmark är korrekt. Den har inte heller mätts av någon utanför labbet, så behandla den som en förväntan snarare än ett faktum.

Vad det kostar att ta reda på

LFM2.5-VL-3B kan utvärderas på en laptop i eftermiddag. MLX-bygget körs på Apple silicon, GGUF-bygget körs på CPU via llama.cpp, och det finns en hostad playground om du vill titta innan du laddar ner något. Byteskostnaden är en modellidentifierare i en konfigurationsfil, och risken begränsas av att vikterna är licensierade och formatet är standard.

SingVL_S1_4B kostar en GPU och en eftermiddag av installation. Du behöver Python 3.12, ett PyTorch-bygge som matchar ditt kort, repots egna krav och en ledig port. Servern talar en enda rutt – POST /v1/systemone – med en platt JSON-body, vilket är ovanligt enkelt att koppla upp för en forskningsartefakt, och kortet tillhandahåller fungerande curl-exempel för både text- och bildförfrågningar. Det du inte kan göra är att peka en befintlig OpenAI-formad klient mot den, eftersom den inte har den formen. Endpointen är utformad för Decision Index-utvärderingskitet, och kitet är utformat för den.

Den asymmetrin är det praktiska svaret på "vilken ska jag prova först". Om du ännu inte har fastställt att en modell som returnerar sannolikheter hjälper din pipeline, är det billiga experimentet att köra mönstret mot något som redan är tillgängligt som tjänst. OrcaRouter tillhandahåller TypeSafe Jev 1.14 för $0.042 per miljon indatatokens under en och samma nyckel, vilket är en fungerande beslutsendpoint som du kan benchmarka din egen uppgift mot på en timme, utan någon checkpoint att hosta och ingen licensfråga att eskalera. SingVL_S1_4B är inte tillgänglig där — den har ingen hostad leverantör alls — så jämförelsen du faktiskt kan göra i dag är "slår typad beslutsbedömning generering på min data", inte "vinner just den här nya checkpointen". Få det första svaret innan du lägger pengar på det andra.

Där var och en hör hemma

• Dokument du måste läsa och citera — LFM2.5-VL-3B. Den producerar transkriptionen, med layoutetiketter, och dess OCR-rad är en verklig förmåga snarare än en poäng.

• Skärmar, formulär och grafiska gränssnitt — LFM2.5-VL-3B. ScreenSpot-v2 på 80,7 och förbättringarna av grounding jämfört med föregående generation är själva poängen med lanseringen.

• Allt som körs på en telefon eller en bärbar dator – LFM2.5-VL-3B, och det är ingen tävling, eftersom alternativet kräver en server.

• En grind framför ett dyrt anrop – antingen, och SingVL_S1_4B:s form passar bättre om du kan hosta den, eftersom en sannolikhet är vad en grind behöver.

• Fleretiketts-triage över en fast taxonomi – SingVL_S1_4B, i princip. Dess frågetyper för val och poäng mappar direkt mot taxonomier, där en generativ modell måste begränsas tillbaka till en sådan med promptar och efterbearbetning.

• Moderation – inte heller det utan arbete. SingVL_S1_4B:s eget kort visar att dess rad för hatiska mem sjunker från 71,64 till 43,28 när skill-prompten tillämpas, vilket är en varning om promptkänslighet inom just det område där falska negativa är dyra.

• Kommersiell driftsättning detta kvartal — LFM2.5-VL-3B, enbart av licensskäl.

Den del som ännu inte är uppmätt

Den intressanta frågan är inte vilken modell som är bättre, eftersom de inte tävlar i samma klass. Det är om en klassificerare med 4,5 miljarder parametrar, tränad ovanpå en visionsbackbone, kan matcha en allmän visionsmodell på den smala del av uppgifterna där man bara behöver en etikett och en konfidens. Om den kan det ändrar det kostnaden för många pipelines, eftersom ett enda framåtpass är en helt annan storleksordning i kostnad än ett genererat stycke. Ingen utanför inclusionAI vet det ännu – repot är en dag gammalt, licensen är tom och riktmärket är labbets eget.

Samtidigt är den generella modellen tillgänglig, licensierad, kvantiserad, dokumenterad och tillräckligt snabb för att köras på en telefon. När ett team frågar vilken av dessa som ska sättas i produktion är svaret för närvarande det tråkiga, och det intressanta är en hypotes med ett repository kopplat till sig.