LFM3-1.7B-Base: Was das Repo sagt – und was Liquid AI nicht gesagt hat

Der folgenreichste Checkpoint in der neuen Familie von Liquid AI ist derjenige, über den es am wenigsten zu lesen gibt. LFM3-1.7B-Baseist ein vorab trainiertes Textmodell mit 1,73 Milliarden Parametern, und am 27. Oktober 2026 wurde es der Stamm, aus dem jedes nachtrainierte LFM3-Modell hervorging — das Textmodell, das Vision-Modell, das Audio-Modell, das Omni-Modell und beide Entscheidungsmodelle. Der Launch-Beitrag der Familie erwähnt es in einem einzigen Nebensatz. Es gibt keine eigenständige Ankündigung dafür, keine Benchmark-Tabelle für das Basismodell und keine Presseberichterstattung, die sich an es richtet. Das Repository ist hingegen ungewöhnlich explizit dazu, was der Checkpoint ist und wofür er gedacht ist, was diese Veröffentlichung leicht zu beschreiben und schwer zu überzeichnen macht. Auf die vom Modellanbieter berechneten Kosten wird kein Aufschlag erhoben. Listenpreise der Anbieter Eine Preisänderung eines Anbieters schlägt noch am selben Tag auf Ihrer Rechnung durch.

Was folgt, trennt diese beiden Dinge. Alles in der ersten Hälfte stammt aus der Model Card, der Konfigurationsdatei, dem Lizenztext oder Liquids eigenem Launch-Post und ist heute überprüfbar. Die zweite Hälfte ist das, was drei Tage nach dem Hochladen der Gewichte weiterhin wirklich unbekannt ist.

Zwei Repositories, ein Launch-Post und eine zwölfstündige Lücke

Die Zeitstempel erzählen die Geschichte einer Veröffentlichung, die öffentlich stattfand, bevor sie im Marketing stattfand. Das nachtrainierte LFM3-1.7B-Repository wurde am 23. Oktober 2026 erstellt. Das Basis-Repository wurde am 26. Oktober um 16:28 UTC erstellt, und seine Modellkarte wurde zuletzt am 27. Oktober um 04:15 UTC geändert – weniger als zwölf Stunden später. Der Blogbeitrag „Introducing LFM3: Every Modality for Specialized Intelligence“ ist auf den 27. Oktober datiert. Zu dem Zeitpunkt, als jemand außerhalb des Unternehmens eine Spezifikation lesen konnte, lagen die Gewichte bereits seit einem Tag auf Hugging Face.

Diese Reihenfolge sollte man klar benennen, denn sie ist hier das, was einer „stillen Veröffentlichung“ am nächsten kommt. Liquid hat die Familie zwar angekündigt, und in der Ankündigung wird LFM3-1.7B-Base als der Checkpoint genannt, aus dem die anderen sechs Modelle trainiert wurden. Was das Unternehmen nicht getan hat, ist, den Basis-Checkpoint eigenständig anzukündigen – kein separater Beitrag, keine basis-spezifische Evaluierung, keine Positionierung über einen Absatz in der Modellkarte hinaus. Die Familie bekam den Launch. Der Stamm bekam ein Repository und einen Verweis auf die Familie.

Was ist im Repository?

Die Modellkarte ist kompakt und ausnahmsweise bei den Grundlagen vollständig. Eine einzige model.safetensors-Datei mit 3,46 GB in bfloat16. Ein Tokenizer mit einem Vokabular von 128.000 Token. Der Modellcode wird als benutzerdefiniertes Python zusammen mit den Gewichten ausgeliefert und mit trust_remote_code=True geladen statt über ein zusammengeführtes Upstream-Transformers-Release. Die Lizenz ist die LFM Open License v1.0, aus derselben Familie von Bedingungen, die Liquid seit LFM2 verwendet.

• Parameter — 1,73B, dicht, jeder Parameter wird bei jedem Token gelesen.

• Schichten — 24: dreizehn gegatete Kurzfaltungs-Blöcke, fünf Sliding-Window-Attention-Blöcke, sechs Full-Attention-Blöcke.

• Kontext — 262.144 Tokens, Eingabe plus Ausgabe.

• Attention-Geometrie — versteckte Größe 2.048, sechzehn Query-Heads, vier Key-Value-Heads, Head-Dimension 128. Das ist gruppierte Query-Attention im Verhältnis vier zu eins, nicht acht zu eins wie bei LFM2.5.

• Lokales Fenster — 256 Token, mit einem Faltungscache von sieben. Dies ist eine Attention-Einstellung pro Ebene, nicht die Kontextlänge, und sie löste eine kleine Welle von Fehlberichten aus, als die Architektur erstmals in einem Engine-Pull-Request am Tag vor dem Start auftauchte.

• Vokabulare und Sprachen — 128.000 Token, sechzehn Sprachen aufgeführt: Englisch, Arabisch, Chinesisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Spanisch, Vietnamesisch, Thai, Indonesisch, Hindi, Russisch, Polnisch.

• Speicher — laut Liquid etwa 1 GB bei 4-Bit-Präzision, 3,46 GB in der Auslieferung als BF16.

Eine kleine Unstimmigkeit sollte man kennen, bevor man eine Größenangabe zitiert. Die Seitenleiste von Hugging Face rundet das Modell auf „2B params“ ab, während die Tabelle der Karte 1,73B angibt. Die Datei klärt es: 3,46 GB bfloat16 sind 1,73 Milliarden Parameter bei zwei Bytes pro Parameter, der Seitenleisten-Eintrag ist also eine Rundungskonvention und keine zweite Spezifikation. Zum Zeitpunkt des Schreibens zeigte das Repository fünfzehn Downloads im letzten Monat und acht Likes – das Profil eines Checkpoints, der ausgeliefert, aus dem Launch-Post verlinkt und noch von niemandem aufgegriffen wurde.

Die Architektur, ohne das Diagramm

Das Design lässt sich am besten als Budget-Argument verstehen. Volle Attention ist der teure Teil eines Transformers bei langem Kontext: Jedes Token vergleicht sich mit jedem anderen Token, und die Kosten wachsen mit dem Quadrat der Sequenz. Liquids Tri-Hybrid-Stack verwendet nur sechs seiner vierundzwanzig Schichten für diese Operation. Dreizehn Schichten sind gated kurze Faltungen, die Informationen lokal zu festen Kosten pro Token mischen, und fünf sind Sliding-Window-Attention-Blöcke, die jeweils 256 Token sehen. Zwei Drittel des Netzwerks führen überhaupt keine globale Attention-Operation aus.

Das ist dieselbe Wette, die Liquid seit LFM2 eingeht – nur weiter vorangetrieben. LFM2.5-2.6B-Base verwendete dreißig Schichten, aufgeteilt in zweiundzwanzig Convolutions und acht Full-Attention-Blöcke, ohne eine Sliding-Window-Stufe. LFM3 ersetzt an fünf Stellen im Stack ein Paar Convolutions durch einen Sliding-Attention-Block, erhöht den Convolution-Cache von drei auf sieben und fügt die Sandwich-Normalisierung sowie die Partial-Rotary-Einstellungen hinzu, die in der Konfiguration auftauchen. Ob dieser konkrete Kompromiss die Qualität verbessert, kann nur eine Evaluation beantworten, und zum Zeitpunkt der Veröffentlichung gibt es keine Base-Model-Evaluation, die das beantworten würde. Was die Konfiguration jedoch belegt, ist, dass der 256K-Kontext nicht dadurch erreicht wird, dass die Attention auf 256K skaliert wird; er wird dadurch erreicht, dass der größte Teil des Stacks lokal bleibt.

Das Basismodell wird mit einer Chat-Vorlage ausgeliefert

Dies ist das Detail, das am ehesten alle verwirren dürfte, die den Checkpoint herunterladen und eine reine Textvervollständigung erwarten. LFM3-1.7B-Base enthält eine vollständige Chat-Vorlage, und die Modellkarte besagt, dass das Mid-Training Chat-Daten sowohl mit als auch ohne Thinking-Traces umfasste, formatiert mit derselben Vorlage wie beim nachtrainierten Modell. Wenn Sie apply_chat_template aufrufen, ist Reasoning standardmäßig aktiviert: Die Antwort beginnt in einem Thinking-Block, es sei denn, Sie übergeben enable_thinking=False, was eine leere Trace vorbelegt und eine direkte Antwort anfordert.

Es verhält sich also ein wenig wie ein Instruct-Modell und wird als etwas völlig anderes dokumentiert. Die Empfehlung auf der Modellkarte selbst ist eindeutig: LFM3-1.7B-Base „wird nur für Aufgaben empfohlen, die umfangreiches Fine-Tuning erfordern, etwa sprachspezifische oder domänenspezifische Assistenten, Training mit proprietären Daten oder Experimente mit neuartigen Post-Training-Ansätzen.“ Für Chat, Tool Calling und Agenten verweist sie auf LFM3-1.7B. Das Template ist vorhanden, weil die Mid-Training-Daten so formatiert waren und weil ein Fine-Tune es erbt – nicht weil der Checkpoint für Konversation abgestimmt wurde. Wer das Template als Signal für Einsatzbereitschaft betrachtet, wird von den Ausgaben enttäuscht sein, und die Modellkarte sagt das, bevor man beginnt.

Die Zahlen, die die Leute zitieren werden, sind nicht die Zahlen dieses Modells

Der Launch-Post enthält eine umfangreiche Benchmark-Tabelle, und fast nichts davon gilt für den Checkpoint, um den es in diesem Artikel geht. Der herausgestellte Durchschnitt von 49,37 gehört zu LFM3-1.7B, dem post-trainierten Modell, gemessen über Liquids eigene Suite. Die Vergleichszeilen — LFM2.5-2.6B mit 31,55, MiniCPM5-2B mit 39,19, Gemma 4 E4B mit 31,74, Qwen3.5-4B mit 39,27, Qwen3.5-9B mit 47,24 — sind post-trainierte Modelle gegen post-trainierte Modelle. Die 43,40 bei SWE-bench Verified und 73,46 bei LiveCodeBench v6 sind ebenfalls die Werte des getunten Modells.

Beim oberflächlichen Lesen werden zwei Aussagen an den Basis-Checkpoint geknüpft, die dort nicht hingehören. Die erste ist „35 % weniger Parameter“ – damit ist gemeint, dass LFM3-1.7B LFM2.5-2.6B übertrifft, eine Aussage über das nachtrainierte Paar, kein Basis-zu-Basis-Ergebnis. Die zweite ist die Behauptung, LFM3 „erreiche Gemma 4 12B“. Dieser Satz bezieht sich auf LFM3-VL-2B, das Vision-Modell, über 62 Vision-Benchmarks. Über den Text-Basis-Checkpoint sagt er nichts aus, für den es überhaupt keine veröffentlichte Evaluierung gibt. Ein Basismodell ohne Benchmark-Tabelle ist nicht ungewöhnlich – auch Liquid hat für LFM2.5-2.6B-Base bewusst keine veröffentlicht –, doch das Fehlen bedeutet, dass jede Qualitätsaussage über diesen Checkpoint derzeit eine Aussage über das Modell ist, das er hervorgebracht hat.

Training – und der Teil, der tatsächlich unverwechselbar ist

Liquid sagt, dass der Checkpoint in zwei Phasen 22 Billionen Tokens verarbeitet hat. Die Haupt-Vortrainingsphase veränderte die Datenmischung im Vergleich zu LFM2 und ergänzte mehr wissenschaftliche Paper, Code auf Repository-Ebene, Mathematik sowie eine breitere Streuung von Wissensquellen. Die letzten 3,5 Billionen Tokens sind eine Mid-Training-Phase mit kuratierten, qualitativ hochwertigeren Daten und einem größeren Anteil agentischer Traces und Tool Calls, und in dieser Phase wird das Kontextfenster auf 256K erweitert.

Das Ungewöhnliche ist nicht die Tokenzahl; es ist, dass agentische Daten in das Basismodell eingeflossen sind und nicht nur ins Post-Training. Die meisten Anbieter bewahren Tool-Call-Traces für die Instruction-Tuning-Phase auf. Liquid steckte sie in den Trunk und trainierte darauf anschließend sechs verschiedene Modelle mit SFT, gemischtem RL, Multi-Domain-On-Policy-Distillation und agentischem RL nach. Das ist eine kohärente Strategie für eine Familie, die ein gemeinsames Backbone über Modalitäten hinweg teilen soll, und es ist auch der Grund, warum der Basis-Checkpoint eine Chat-Vorlage trägt. Es ist eine Behauptung über die Trainingsmethodik, die von außen nicht überprüft werden kann, und es gibt keine unabhängige Reproduktion.

Was du heute damit machen kannst

Die Modellkarte verlinkt zwei TRL-Notebooks: eines für überwachtes Fine-Tuning zur Extraktion strukturierter JSON-Daten aus unübersichtlichen Dokumenten und eines für fortgesetztes Pre-Training auf einer neuen Sprache, wobei Türkisch aus Rohtext als Beispiel dient. Beide sind für LFM3-1.7B geschrieben und erfordern lediglich die Änderung einer einzigen model_id, um auf den Basis-Checkpoint zu verweisen. Die Dokumentationsseite behandelt den restlichen Fine-Tuning-Pfad. Das Instruct-Modell hat einen vollständigen Satz an Laufzeitvarianten — BF16 für vLLM, SGLang und Transformers; FP8 und NVFP4 für SGLang; GGUF für llama.cpp, Ollama und LM Studio; MLX für Apple Silicon; ONNX Runtime. Der Basis-Checkpoint hat genau ein Artefakt: die BF16-safetensors-Datei. Kein GGUF, kein MLX-Build, kein quantisiertes Release. Wenn du es auf einem Handy ausführen willst, machst du diese Konvertierung selbst.

Wo das hineinpasst, wenn Sie hauptberuflich Modelle bereitstellen.

Ein vorab trainierter Checkpoint ist kein Chat-Endpunkt, und es lohnt sich, das konkret zu sagen. LFM3-1.7B-Base ist zum Zeitpunkt des Verfassens nicht im Katalog von OrcaRouter zu finden, und ein Basismodell wäre ein seltsames Ziel für ein Routing: Es gibt kein Instruction Following, auf das man routen könnte. Der sinnvolle Einsatzort für einen Router beginnt einen Schritt später, nachdem das Fine-Tune vorliegt. OrcaRouter stellt mehr als 200 Modelle hinter einer einzigen API mit 0 % Aufschlag auf die Listenpreise der Anbieter, automatischem Failover und einer Routing-DSL bereit, sodass ein domänenspezifisch abgestimmter LFM3-Checkpoint neben einem größeren Allzweckmodell stehen und ohne zweite Integration verglichen oder bei Ausfall darauf zurückgegriffen werden kann. Modellfusion – ein Panel, das gemeinsam antwortet – ist die andere Option, wenn ein 1,73B-Spezialist in einer Sache gut ist und man eine zweite Meinung braucht. Nichts davon erfordert, dass der Basis-Checkpoint selbst irgendwo gehostet wird.

Was ist noch unbestätigt

• Basisqualität. Keine Benchmark-Tabelle, keine Ausgabe einer Evaluationsumgebung, kein Vergleich mit LFM2.5-2.6B-Base bei irgendeiner Aufgabe.

• Unabhängige Überprüfung. Kein Labor eines Drittanbieters hat einen Lauf des Basis- oder des getunten Modells veröffentlicht. Jede Zahl im Beitrag zur Markteinführung stammt von Liquid selbst.

• Unterstützung für Upstream-Transformers. Das Repository verwendet benutzerdefinierten Modellierungscode und trust_remote_code. Das ist zum Start normal und später ein Wartungsaufwand.

• Wie das Basismodell bereitgestellt wird. Im Ankündigungsbeitrag heißt es, das Basis- und die nachtrainierten Modelle seien auf Hugging Face, im Liquid Playground und über die Liquid API verfügbar. Was eine API mit einem nicht abgestimmten Basis-Checkpoint anfängt, wird nicht erklärt, und es werden keine Preise dafür veröffentlicht.

• Lizenz-Sonderfälle. Die LFM Open License v1.0 ist für die kommerzielle Nutzung unter 10 Millionen US-Dollar Jahresumsatz kostenlos; oberhalb dieser Schwelle gilt eine kommerzielle Lizenz. Der Text ist öffentlich, aber wie er ein abgeleitetes Modell behandelt, das auf der Basis trainiert und dann kommerziell bereitgestellt wird, ist eine Frage für einen Anwalt, nicht für eine Model Card.

Was zu sehen

Das nächste aussagekräftige Signal ist keine weitere Ankündigung – es ist die erste unabhängige Bewertung des nachtrainierten Modells und das erste öffentliche Fine-Tuning, das berichtet, wie es war, auf dem Basis-Checkpoint zu trainieren. Liquids eigene Darstellung lädt zu diesem Test ein: Ein 1,73-B-Stamm, der sechs Modelle hervorbrachte und behauptet, einen 2,69-B-Vorgänger zu übertreffen, ist entweder eine wirklich effiziente Architektur oder eine gut gewählte Benchmark-Suite, und nur Läufe von außen werden beides trennen. Bis dahin ist das Repository die ganze Geschichte: eine 3,46-GB-Datei, eine klare Spezifikation, eine Chat-Vorlage, die keine Einladung ist, und eine Lizenz, die man lesen sollte, bevor die Umsatzlinie näher rückt.