LFM3-Omni-2B versus LFM2.5-VL-3B: de opvolger die minder ziet

Het nieuwste multimodale model van Liquid AI is slechter in kijken dan het model dat het vervangt. Op RealWorldQA, LFM3-Omni-2B scoort 66.68 en LFM2.5-VL-3B scoort 73.1. Op MMStar is het 55.67 tegen 63.3. Op RefCOCO voor het aanwijzen van refererende expressies is het 73.55 tegen 87.9. Op MMBench, 73.68 tegen 81.0. Vier van de vijf benchmarks die beide modellen rapporteren, vallen in het voordeel uit van het oudere, grotere checkpoint dat uitsluitend op visie is gericht, en het verschil is geen ruis — het bedraagt zeven tot veertien punten, afhankelijk van de rij. Routeren tussen twee modellen zou geen platformvergoeding moeten toevoegen. 0% opslag Lijstprijzen van providers worden ongewijzigd doorgegeven.

Dat is geen schandaal. Het is wat er gebeurt wanneer je een kleiner netwerk vraagt om meer taken tegelijk uit te voeren, en het is het meest nuttige feit voor iedereen die tussen deze twee checkpoints moet kiezen. LFM3-Omni-2B is niet het upgradepad voor een visionproduct. Het is een ander product dat toevallig een familienaam deelt.

Twee modellen die verschillende taken uitvoeren

De verwarring is begrijpelijk, omdat de twee modellen lijken op opeenvolgende generaties van hetzelfde idee. Beide zijn afkomstig van Liquid AI, beide zijn gebouwd voor on-device-implementatie, beide zijn niet-redenerend, beide vallen onder de LFM Open License v1.0 en beide richten zich op ongeveer hetzelfde geheugenbudget. LFM2.5-VL-3B is op 12 augustus 2026 verschenen als vision-language-specialist: een tekst-backbone van 2,6 miljard met een SigLIP2 NaFlex-encoder van 400 miljoen, in totaal ongeveer 3,1 miljard parameters.

LFM3-Omni-2B, gepubliceerd op 27 oktober 2026, is een any-to-any-model. Het accepteert tekst, afbeeldingen, video met of zonder soundtrack en audio van 16 kHz, en levert tekst, spraak van 24 kHz of beide. Beeld is een van de vier invoerpaden in plaats van de hele taak. Het parameterbudget ging van 3,1B naar 2,17B, terwijl het aantal taken van één naar vier ging, en bij de visiescores wordt die rekensom zichtbaar.

• Parameters — 2,17B dense voor LFM3-Omni-2B versus ongeveer 3,1B voor LFM2.5-VL-3B, waarvan 400M de vision-encoder is.

• Invoer — tekst, afbeelding, video en audio van 16 kHz versus tekst, afbeelding en video.

• Uitvoer — tekst en 24 kHz-spraak versus alleen tekst.

• Context — 32.768 tokens vs 32.768 tokens. Identiek, en beide tellen invoer plus uitvoer mee.

• Vision-budget — 2.048 visuele tokens per afbeelding, native resolutie versus native-resolutiepatches van 512 pixels met een miniatuurpad.

• Positionering — een omni-vervanging voor een pijplijn met vier modellen versus een toegewijde VLM voor OCR, UI-begrip en visuele vraagbeantwoording.

• Licentie — LFM Open License v1.0 in beide gevallen, inclusief de omzetdrempel die commercieel gebruik bepaalt.

Waar de cijfers daadwerkelijk overlappen

Benchmarkvergelijkingen tussen modellen van verschillende labs zijn meestal oneerlijk, omdat de testharnassen verschillen. Deze vergelijking is schoner dan de meeste: beide checkpoints zijn door hetzelfde bedrijf geëvalueerd, in dezelfde niet-redeneermodus, en beide rapporteren vijf dezelfde datasets. Dat maakt de cijfers niet onafhankelijk — dat zijn ze niet — maar het maakt ze wel onderling vergelijkbaar op een manier die tabellen over labs heen zelden zijn.

• RealWorldQA — 66,68 voor LFM3-Omni-2B vs 73,1 voor LFM2.5-VL-3B. Een daling van 6,4 punten bij vragen over alledaagse scènes.

• MMStar — 55.67 vs 63.3. Een daling van 7.6 punten op een benchmark die is ontworpen om datacontaminatie te weerstaan.

• MMBench — 73,68 vs 81,0. Een daling van 7,3 punten op brede multimodale capaciteit.

• RefCOCO pointing — 73,55 vs 87,9. Een daling van 14,4 punten, het grootste verschil in de set, bij de taak om een benoemd object in een afbeelding te lokaliseren.

• DocVQA — 92,47 vs. 91,1. De uitzondering: LFM3-Omni-2B ligt 1,4 punten voor op documentvraagbeantwoording.

Het DocVQA-resultaat is het resultaat dat voorkomt dat dit een simpel verhaal van "het nieuwe model is slechter" wordt. Documenttekst is de taak waarin het vermogen van een uniform model om een pagina in hoge resolutie te lezen en er in één doorgang over te redeneren een pipeline kan verslaan — en het is ook de taak waarin Liquid's limiet van 2.048 tokens per afbeelding het meest zou moeten hinderen. Dat het omni-model daar toch wint, suggereert dat de achteruitgang in visie niet uniform over taken is. Die is geconcentreerd in ruimtelijke en verwijzende taken, precies waar je zou verwachten dat een model met minder toegewijde visuele capaciteit moeite heeft.

Wat de extra modaliteiten kosten

Het audiopad is niet gratis, en de kaart is ongewoon duidelijk over waar de kosten terechtkomen. De context van 32K wordt gedeeld door elke modaliteit: een video met 2 frames per seconde gedurende 384 frames verbruikt het grootste deel van het venster voordat je een vraag hebt gesteld. Afbeeldingen zijn beperkt tot 2.048 visuele tokens elk, wat ongeveer het resolutieplafond is voor het lezen van dichte tekst in een foto. Het model dat alleen op visie is gericht, heeft dezelfde context van 32K, maar hoeft daar niets van aan audio te besteden.

Spraakuitvoer voegt een tweede overweging toe die niets met benchmarks te maken heeft. LiquidCodec zet gegenereerde tokens om in audio van 24 kHz, sneller dan realtime, en dat is wat gestreamde gesproken antwoorden mogelijk maakt. Maar de modelkaart documenteert SGLang-serving alleen voor tekstuitvoer en beschrijft niet hoe de spraaktak wordt geserveerd. Als je gesproken antwoorden vanuit je eigen infrastructuur nodig hebt, ontbreekt de referentie-implementatie voor die helft van het model. Vergelijk dat met LFM2.5-VL-3B, dat een jaar aan tooling achter zich heeft — GGUF, MLX, vLLM, SGLang, ONNX, en rapporten van 228 tokens per seconde op een M5 Max bij minder dan 3,3 GB geheugen.

Volwassenheid is geen benchmarkregel, maar bepaalt wel de deployments. Een model dat vandaag overal draait, verslaat een model dat morgen op één pad draait — tenzij de extra modaliteit precies de reden is dat je er bent.

Hoe te kiezen

Als de taak het lezen van screenshots, het parseren van documenten, het aanwijzen van objecten of het beantwoorden van vragen over een camerabeeld is, is LFM2.5-VL-3B het betere model, en op de rijen die ertoe doen is het verschil allesbehalve klein. Vooral de kloof van 14 punten op RefCOCO zou de discussie moeten beëindigen voor elke roboticatoepassing of UI-automatiseringstoepassing. 3,1B parameters zijn geen nadeel wanneer het alternatief een model van 2,17B is dat een derde van zijn capaciteit aan oren en een mond besteedt.

Als de taak inhoudt dat iemand tegen een apparaat praat en het apparaat terugpraat — een kiosk, een telefoonassistent, een veldhulpmiddel waarbij de handen bezet zijn — dan doet LFM3-Omni-2B iets wat LFM2.5-VL-3B bij geen enkel parameteraantal kan doen. Je kiest geen slechter visionmodel; je kiest ervoor vier modellen tot één samen te voegen, en accepteert de vision-regressie als de prijs van die samenvoeging.

Er is een derde optie die de benchmarktabel duidelijk maakt: beide draaien. Een visionspecialist voor de frames, een omni-model voor het gesprek. Dat zijn twee checkpoints en ongeveer 7,4 GB in BF16, wat nog steeds binnen het geheugen van één middenklasse-GPU past. OrcaRouter's routing-DSL bestaat precies voor deze samenstelling — één endpoint, regels die een beeld-en-tekstverzoek naar de specialist sturen en een gesproken verzoek naar het omni-model, met automatische failover als een van beide paden faalt. Geen van beide checkpoints staat vandaag in onze catalogus, dus dat is eerder een patroon dan een belofte; het punt is dat de vraag 'welk model' een derde antwoord heeft dat in geen van beide launchberichten van de leveranciers wordt genoemd.

Het vonnis

LFM3-Omni-2B is een echte technische prestatie met 2,17 miljard parameters, en een slechte vervanging voor LFM2.5-VL-3B in elke toepassing die in de eerste plaats visueel is. De eerlijke manier om naar het tweetal te kijken, is als een splitsing in Liquids eigen productlijn: de ene tak optimaliseert voor zien, de andere voor deelname aan een gesprek. De familienaam en de gedeelde licentie laten ze eruitzien als een reeks. De benchmarktabel zegt dat het broers en zussen zijn, en de oudere broer of zus is beter in datgene waarvoor die is gebouwd.

Wat die beoordeling zou veranderen, is een onafhankelijke evaluatie, want de hele bovenstaande vergelijking berust op cijfers die Liquid over zijn eigen twee modellen heeft geproduceerd. Het is mogelijk dat het omni-model is geëvalueerd op moeilijkere varianten van deze datasets, of in een modus die het benadeelt. Niets in de kaart wijst daarop, en de consistente richting van vier van de vijf rijen pleit ertegen. Totdat iemand buiten het bedrijf een van beide tabellen reproduceert, is de veiligste interpretatie ook de eenvoudigste: de specialist ziet beter, en het omni-model hoort.