SingVL_S1_4B vs. LFM2.5-VL-3B: Wahrscheinlichkeiten gegen Absätze

Die Frage, ob SingVL_S1_4B besser ist als LFM2.5-VL-3B, ist eine falsch gestellte Frage, und der schnellste Weg, eine Woche zu verschwenden, ist, sie trotzdem zu beantworten. Eines dieser Modelle schreibt Absätze über Bilder; das andere gibt für jede Option, die Sie ihm übergeben, eine Wahrscheinlichkeit zurück und äußert nie ein eigenes Wort. Dieser Unterschied ist kein Qualitätsgefälle, das auf einem Leaderboard entschieden würde. Er entscheidet, welche Ihrer Pipelines welches Modell verwenden kann, bevor irgendein Benchmark herangezogen wird. Der ehrliche Vergleich läuft also in die andere Richtung: Beginnen Sie bei dem, was Ihr Code empfangen muss, und sehen Sie, welches Modell es erzeugen kann.

Zwei verschiedene Rückgabetypen

Liquid AIs LFM2.5-VL-3B ist ein Bild-Sprach-Modell im herkömmlichen Sinne. Gibt man ihm ein Bild und eine Frage, erzeugt es Token für Token eine Antwort – das heißt, es kann eine Szene beschreiben, einem mehrstufigen Gespräch folgen, eine Funktion aufrufen, eine Textseite mit Layout-Annotationen transkribieren oder Begrenzungsrahmen für von Ihnen benannte Objekte zurückgeben. Es wurde am 12. August 2026 veröffentlicht, basiert auf dem Sprach-Backbone LFM2.5-2.6B mit einem SigLIP2-NaFlex-Vision-Encoder und ist ausdrücklich auf den Einsatz auf Geräten ausgerichtet – 228 Token pro Sekunde auf einem Apple M5 Max bei weniger als 3,3 GB Arbeitsspeicher, mit GGUF-, ONNX- und MLX-Builds, die zusammen mit dem nativen Checkpoint veröffentlicht wurden.

SingVL_S1_4B von inclusionAI, am 11. November 2026 unauffällig hochgeladen, macht eine Sache und erledigt sie in einem einzigen Vorwärtsdurchlauf. Man gibt ihm einen Zustand – Text, JSON, bis zu vier Bilder – und ein Wörterbuch benannter Fragen, die jeweils einen Typ angeben (Auswahl, Ja/Nein unter der Bezeichnung „noul“ oder eine geordnete Bewertung mit 2 bis 10 Stufen) sowie ihre Kandidatenantworten. Es gibt eine Wahrscheinlichkeit pro Kandidat zurück. Es gibt keinen Sampling-Schritt, keine Temperatur einzustellen, keine Ausgabe zu parsen. Die Model Card selbst ist durchgängig in dieser Terminologie geschrieben, bis hin zu den API-Beispielen.

Wenn Ihr Endpunkt Folgendes zurückgeben muss: „die Rechnung stammt von Acme, datiert auf März, Gesamtbetrag 1.240,00“, dann kann LFM2.5-VL-3B das übernehmen und SingVL_S1_4B nicht. Wenn Ihr Endpunkt {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}} zurückgeben muss, gilt das Umgekehrte. Das ist die gesamte Entscheidung, und alles Folgende dreht sich um ihre Grenzbereiche.

Das Datenblatt, nebeneinander ohne Tabelle

• Parameter — SingVL_S1_4B hat etwa 4,54 Mrd. in BF16, verteilt auf zwei Shards mit insgesamt 9,1 GB; LFM2.5-VL-3B hat 3,1 Mrd., mit einem Sprach-Backbone von 2,6 Mrd.

• Ausgabe — SingVL_S1_4B liefert Wahrscheinlichkeiten pro Option aus einem einzigen Vorwärtsdurchlauf; LFM2.5-VL-3B liefert generierten Text, Tool-Aufrufe oder strukturierte Layout-Annotation.

• Kontext — SingVL_S1_4B akzeptiert 65.536 Eingabe-Tokens nur für Text und fällt auf 10.000 ab, sobald Bilder angehängt werden; LFM2.5-VL-3B gibt durchgängig 32.768 Tokens an.

• Bilder pro Anfrage – SingVL_S1_4B ist auf vier begrenzt, mit einem Prozessor-Maximum von 1.806.336 Pixeln pro Bild; LFM2.5-VL-3B akzeptiert Einzel- und Mehrbild-Eingaben und teilt große Bilder in 512×512-Patches plus ein Thumbnail auf.

• Sprachen — LFM2.5-VL-3B listet fünfzehn auf, von Arabisch bis Vietnamesisch; die Modellkarte von SingVL_S1_4B enthält keinerlei Sprachangabe.

• Lizenz — LFM2.5-VL-3B wird unter der LFM Open License v1.0 ausgeliefert, wobei quantisierte Derivate bereits im Umlauf sind; SingVL_S1_4B wird ohne Lizenzfeld und ohne LICENSE-Datei ausgeliefert.

• Deployment — LFM2.5-VL-3B bietet native, GGUF-, ONNX- und MLX-Builds sowie eine WebGPU-Demo und Pfade über vLLM, SGLang und llama.cpp; SingVL_S1_4B bedeutet, das Repository zu klonen und einen eigenen FastAPI-Server auf Port 8173 auszuführen.

• Ökosystem — LFM2.5-VL-3B ist seit August auf dem Hub und hat Community-Quantisierungen und -Ports erhalten; SingVL_S1_4B war zum Zeitpunkt des Schreibens einen Tag alt, mit null Downloads.

Zwei dieser Zeilen sind entscheidender, als sie aussehen. Die Lizenzzeile ist die erste: Ein Repository ohne Lizenz gewährt niemandem das Recht, weiterzuvertreiben oder auszuliefern, und „der Anbieter hat sich nicht geäußert“ ist keine Genehmigung, die man in eine Compliance-Prüfung aufnehmen kann. Die Deployment-Zeile ist die zweite: Ein ONNX-Build, der auf einem Telefon läuft, und ein Python-Server, der ein CUDA-Gerät erwartet, konkurrieren nicht um denselben Platz in Ihrer Architektur, egal was die Parameterzahlen sagen.

Warum die Benchmark-Zahlen nicht subtrahiert werden können

Beide Karten melden Scores auf Datensätzen, deren Namen sich überschneiden, und diese Überschneidung ist eine Falle. SingVL_S1_4B meldet 82,17 auf RealWorldQA, 72,11 auf BLINK, 50,17 auf MMMU-Pro Vision und 96,31 auf InfographicVQA. LFM2.5-VL-3B meldet 73,1 auf RealWorldQA, 61,5 auf BLINK, 30,5 auf MMMU Pro und 81,3 auf ChartQA. Nebeneinandergestellt sieht das wie ein Kantersieg aus. Es ist jedoch kein Vergleich von irgendetwas.

Der erste Grund ist der Antwortmodus. Jeder SingVL_S1_4B-Wert entsteht dadurch, dass eine Menge vorgegebener Optionen bewertet und die mit der höchsten Wahrscheinlichkeit ausgewählt wird, was eine grundlegend einfachere Aufgabe ist als das Generieren einer freien Antwort, die ein Bewerter anschließend abgleichen muss. Der Decision Index misst genau das und sagt es auch: Seine Werte sind zufallskorrigiert, sodass Raten keinen Punkt einbringt, aber das Modell muss die Zeichenkette trotzdem nie erzeugen – nur Kandidaten rangordnen, die jemand anderes geschrieben hat. Ein generatives Modell, das dieselbe Frage von Grund auf beantwortet, leistet mehr Arbeit für denselben Punkt im Diagramm.

Der zweite Grund ist, wer ihn durchgeführt hat. Beide Datensätze sind Anbieterangaben, erhoben auf dem jeweiligen eigenen Harness des Anbieters. Keines wurde von einem neutralen Labor reproduziert. SingVL_S1_4B ist zudem erst einen Tag alt, ohne Einsendung an den öffentlichen Reproduktionskit des Decision Index — die Karte enthält die Anleitung, eine solche zu erstellen, was Absicht erkennen lässt und nichts beweist. LFM2.5-VL-3B wird seit drei Monaten von Leuten ausgeführt, was nicht dasselbe ist wie eine geprüfte Zahl, aber bedeutet, dass seine Werte zumindest von Fremden angesehen wurden.

Der dritte Punkt ist Versionsdrift. Die eigene Karte von LFM2.5-VL-3B kennzeichnet ihren OCRBench-v2-Wert als die englischsprachige Teilmenge. Die InfographicVQA-Zeile von SingVL_S1_4B wird innerhalb einer Suite mit eigener Normalisierung angegeben. Zwei Zahlen mit demselben Datensatznamen und unterschiedlichen Teilmengen sind nicht dieselbe Zahl, und das ehrliche Vorgehen ist, sie nicht mehr voneinander zu subtrahieren.

Die Effizienzbehauptung stammt nur von einer Seite.

Die Schlagzeile von LFM2.5-VL-3B ist nicht Genauigkeit, sondern Durchsatz innerhalb eines Speicherbudgets: unter 3,3 GB, 228 Token pro Sekunde auf einem M5 Max, 116 auf einem Ryzen AI Max+ 395 und 20 auf einem Galaxy S26 Ultra. Die letzte Zahl ist die, die für das Produktdesign zählt, denn sie ist der Unterschied zwischen einer Funktion, die auf dem Gerät läuft, und einer Funktion, die einen Roundtrip benötigt. Nichts im Repository SingVL_S1_4B erhebt einen vergleichbaren Anspruch, und es gibt keinen quantisierten Build, mit dem man einen erheben könnte – man bekommt BF16-Shards und ein Server-Skript.

Die Kehrseite ist, dass ein einzelner Forward-Pass ein Kostenprofil hat, das ein generatives Modell nicht erreichen kann. Vier Optionen für eine Frage zu bewerten, ist ein Durchlauf; eine Beschreibung mit 200 Tokens zu generieren, sind 200 sequenzielle Durchläufe. Wenn Ihre Aufgabe tatsächlich eine Klassifikation ist – ist dieses Dokument ein Beleg, enthält dieser Frame eine Person, ist dieses Inserat konform –, sollte das Design von SingVL_S1_4B pro Entscheidung günstiger sein, und es liefert eine kalibrierte Zahl, auf die ein Schwellenwert reagieren kann, statt eines Satzes, den ein Parser überstehen muss. Dieser Vorteil ist struktureller Natur und hängt nicht davon ab, ob der Benchmark des Anbieters richtig ist. Er wurde außerdem von niemandem außerhalb des Labors gemessen, daher sollte man ihn als Erwartung und nicht als Tatsache behandeln.

Was es kostet, das herauszufinden

LFM2.5-VL-3B lässt sich noch heute Nachmittag auf einem Laptop evaluieren. Der MLX-Build läuft auf Apple Silicon, der GGUF-Build läuft über llama.cpp auf der CPU, und es gibt einen gehosteten Playground, wenn Sie einen Blick darauf werfen möchten, bevor Sie etwas herunterladen. Die Umstellungskosten beschränken sich auf eine Modellkennung in einer Konfigurationsdatei, und das Risiko ist dadurch begrenzt, dass die Gewichte lizenziert und das Format Standard sind.

SingVL_S1_4B kostet eine GPU und einen Nachmittag Einrichtung. Sie benötigen Python 3.12, einen auf Ihre Karte abgestimmten PyTorch-Build, die eigenen Anforderungen des Repositorys und einen freien Port. Der Server spricht eine einzige Route – POST /v1/systemone – mit einem flachen JSON-Body, was für ein Forschungsartefakt ungewöhnlich einfach zu verdrahten ist, und die Modellkarte liefert funktionierende curl-Beispiele sowohl für Text- als auch für Bildanfragen. Was Sie nicht tun können, ist, einen bestehenden Client im OpenAI-Format darauf anzusetzen, weil er nicht dieses Format hat. Der Endpunkt ist für das Decision Index Evaluation Kit konzipiert, und das Kit ist für ihn konzipiert.

Diese Asymmetrie ist die praktische Antwort auf die Frage „Was sollte ich zuerst ausprobieren?“. Wenn Sie noch nicht festgestellt haben, dass ein Modell, das Wahrscheinlichkeiten zurückgibt, Ihrer Pipeline hilft, besteht das günstige Experiment darin, das Muster gegen etwas laufen zu lassen, das bereits bereitgestellt wird. OrcaRouter bietet TypeSafe Jev 1.14 für $0.042 pro Million Eingabe-Tokens unter einem Schlüssel an, was ein funktionierender Entscheidungs-Endpunkt ist, an dem Sie Ihre eigene Aufgabe in einer Stunde benchmarken können, ohne einen Checkpoint hosten zu müssen und ohne eine Lizenzfrage eskalieren zu müssen. SingVL_S1_4B ist dort nicht verfügbar – es hat überhaupt keinen gehosteten Anbieter –, sodass der Vergleich, den Sie heute tatsächlich anstellen können, lautet: „Schlägt typisierte Entscheidungsbewertung bei meinen Daten die Generierung?“ und nicht „Gewinnt dieser bestimmte neue Checkpoint?“. Holen Sie sich die erste Antwort, bevor Sie für die zweite Geld ausgeben.

Wo jeder Einzelne hingehört

• {{1}}Dokumente, die Sie lesen und zitieren müssen{{/1}} — LFM2.5-VL-3B. Es erzeugt die Transkription mit Layout-Labels, und seine {{2}}OCR-Zeile{{/2}} ist eine echte Fähigkeit statt einer Punktzahl.

• Bildschirme, Formulare und GUIs — LFM2.5-VL-3B. ScreenSpot-v2 mit 80,7 und die Verbesserungen beim Grounding gegenüber der vorherigen Generation sind der Kern dieser Veröffentlichung.

• Alles, was auf einem Handy oder einem Laptop läuft – LFM2.5-VL-3B, und das ohne Konkurrenz, denn die Alternative braucht einen Server.

• Ein Gate vor einem teuren Aufruf — beides, und die Form von SingVL_S1_4B passt besser, wenn Sie es hosten können, weil ein Gate eine Wahrscheinlichkeit braucht.

• Multi-Label-Triage über eine feste Taxonomie — SingVL_S1_4B, im Prinzip. Seine Choice- und Score-Fragetypen lassen sich direkt auf Taxonomien abbilden, wohingegen ein generatives Modell mit Prompts und Nachverarbeitung wieder in eine solche hineingezwängt werden muss.

Moderation — auch nicht ohne Arbeit. Die eigene Karte von SingVL_S1_4B zeigt, dass ihre Hateful-Meme-Zeile von 71.64 auf 43.28 zusammenbricht, wenn der Skill-Prompt angewendet wird – ein Warnsignal für Prompt-Empfindlichkeit genau in dem Bereich, in dem falsch negative Ergebnisse teuer sind.

• Kommerzieller Einsatz in diesem Quartal — LFM2.5-VL-3B, allein aus Lizenzierungsgründen.

Der Teil, der noch nicht gemessen wurde

Die interessante Frage ist nicht, welches Modell besser ist, denn sie stehen nicht im selben Wettbewerb. Sie ist, ob ein Klassifikator mit 4,5 Milliarden Parametern, trainiert auf einem Vision-Backbone, mit einem Allzweck-Visionsmodell auf dem schmalen Ausschnitt von Aufgaben mithalten kann, bei denen man nur ein Label und eine Konfidenz braucht. Wenn ja, verändert das die Kosten vieler Pipelines, denn ein einzelner Forward-Pass ist eine andere Größenordnung an Aufwand als ein generierter Absatz. Niemand außerhalb von inclusionAI weiß es bisher — das Repository ist einen Tag alt, die Lizenz ist leer, und der Benchmark ist der des Labors selbst.

Währenddessen ist das Allzweckmodell verfügbar, lizenziert, quantisiert, dokumentiert und schnell genug, um auf einem Smartphone zu laufen. Wenn ein Team fragt, welche davon in Produktion gehen soll, ist die Antwort vorerst die langweilige, und die interessante ist eine Hypothese mit einem dazugehörigen Repository.