LFM3-1.7B-Base vs. LFM2.5-2.6B-Base: Weniger Parameter, weniger Tokens, mehr Kontext

Die Rechnung geht in die falsche Richtung. LFM3-1.7B-Base, veröffentlicht am 26. Oktober 2026, ist 36 % kleiner als LFM2.5-2.6B-Base, das Liquid AI am 4. August 2026 herausbrachte — 1,73 Milliarden Parameter gegenüber 2,69 Milliarden. Es wurde außerdem mit weniger Tokens trainiert: 22 Billionen gegenüber rund 34 Billionen. Gemessen an den beiden Zahlen, die die Branche üblicherweise zur Einstufung vorab trainierter Modelle verwendet, sollte der neuere Checkpoint schlechter sein. Liquids Behauptung ist das Gegenteil, zumindest für das darauf aufbauende nachtrainierte Modell, und die interessante Frage für alle, die einen Trunk zum Fine-Tuning auswählen, ist, welche dieser Unterschiede real sind und welche eine mit einer Benchmark-Suite erzählte Geschichte sind.Der Vergleich sollte Rechenleistung kosten, keinen zweiten Vertrag. 0 % Aufschlag OrcaRouter gibt die Listenpreise der Anbieter mit 0 % Aufschlag weiter.

Dies ist ein Vergleich innerhalb einer Familie, was ihn ungewöhnlich sauber macht. Derselbe Anbieter, dieselbe Lizenzfamilie, dasselbe Vokabular von 128.000 Token, dieselbe Hidden-Size von 2.048, dieselbe Base-to-Base-Rolle. Die beiden Checkpoints unterscheiden sich in Architektur, Datenmenge, Kontextlänge und dem Umfang des Post-Trainings, das in den Trunk eingebacken wurde. Fast alles andere bleibt konstant.

Das Delta, Dimension für Dimension

• Parameter — 1.73B für LFM3-1.7B-Base gegenüber 2.69B für LFM2.5-2.6B-Base. Eine Reduzierung um 35,7 %, worauf die Formulierung „35 % weniger Parameter“ in Liquids Launch-Beitrag zurückgeht.

• Schichten — 24 gegen 30. Das neuere Modell ist sowohl flacher als auch schmaler.

• Schichtenmix — dreizehn kurze Faltungen mit Gating, fünf Sliding-Window-Attention-Blöcke und sechs Full-Attention-Blöcke für LFM3; zweiundzwanzig Faltungen und acht Full-Attention-Blöcke für LFM2.5, ohne Sliding-Window-Stufe.

• Attention — sechzehn Query-Heads und vier Key-Value-Heads in LFM3, gegenüber zweiunddreißig und acht in LFM2.5. Beide behalten die Head-Dimension 128 und die Hidden-Size 2.048 bei.

• Feed-Forward-Breite — 7.680 für LFM3 gegenüber 10.752 für LFM2.5. Hier liegt tatsächlich der Großteil der Parameterreduzierung.

• Convolution-Cache — sieben für LFM3 gegenüber drei für LFM2.5, ergänzt um ein gleitendes 256-Token-Fenster.

• Kontext — 262.144 Token gegenüber 128.000. Der neuere Checkpoint verdoppelt ihn.

• Pre-Training-Tokens — 22 Billionen gegenüber rund 34 Billionen, wobei die letzten 3,5 Billionen des neueren Durchlaufs für kuratierte Mid-Training-Daten einschließlich agentischer Traces und Tool-Aufrufe aufgewendet wurden.

• Artefakte — LFM3-1.7B-Base wird ausschließlich als BF16-Safetensors mit 3,46 GB ausgeliefert. LFM2.5-2.6B-Base wird als Safetensors sowie als GGUF-, ONNX- und MLX-Builds ausgeliefert, läuft quantisiert in unter 2,5 GB und wird von Transformers, vLLM, SGLang, llama.cpp und MLX unterstützt.

Wohin die Parameter gegangen sind

Die Reduktion ist nicht gleichmäßig verteilt, und das ist für alle wichtig, die die Kosten für Fine-Tuning abschätzen. Die Embeddings sind in beiden Modellen gebunden, und das Vokabular ist mit 128.000 Tokens identisch, daher bleibt die Embedding-Matrix unverändert. Die Hidden Size ist unverändert bei 2.048. Die Einsparungen kommen von drei Stellen: sechs weniger Layer, halb so viele Attention-Heads und ein Feed-Forward-Block, der etwa 29 % schmaler ist.

Den Feed-Forward-Block zu verkleinern ist der günstigste Weg, einen Transformer zu verkleinern, denn dieser Block enthält die meisten Parameter jeder Schicht. Die Anzahl der Attention-Heads zu halbieren reduziert sowohl den Key-Value-Cache als auch die Gewichte, weshalb ein Modell mit verdoppeltem Kontext immer noch als bei 4 Bit in etwa 1 GB passend beschrieben werden kann. Der Preis dafür ist Kapazität: Ein schmaleres MLP hat weniger Platz, faktische Assoziationen zu speichern, und eine geringere Head-Anzahl gibt dem Modell weniger unabhängige Attention-Muster, mit denen es arbeiten kann. Liquids Argument ist, dass bessere Daten und eine bessere Schichtmischung dies mehr als ausgleichen. Dieses Argument ist überprüfbar, und zum Zeitpunkt der Veröffentlichung hat niemand außerhalb des Unternehmens es getestet.

Woher der Kontext kam

Den Kontext von 128K auf 256K zu verdoppeln, ohne die Aufmerksamkeitskosten zu verdoppeln, erfordert, nicht global zu attendieren. Der Stack von LFM3 macht das, indem er fünf seiner vierundzwanzig Layer auf ein gleitendes Fenster von 256 Token und dreizehn auf Faltungen schickt, sodass nur sechs Layer die gesamte Sequenz sehen. Die Konfiguration enthält außerdem einen partiellen Rotary-Faktor von 0,5 auf den Global-Attention-Layern, der Rotary-Embeddings auf die Hälfte der Dimensionen jedes Heads anwendet, und ein Rotary-Theta von einer Million auf diesen Layern gegenüber zehntausend auf den gleitenden.

Liquids Launch-Post nennt eine konkrete Zahl dafür, was das bringt: Bei 128K Token beträgt der KV-Cache des Textmodells 1,6 GB. Für LFM2.5-2.6B-Base wird kein entsprechender Wert veröffentlicht. Der Vergleich ist daher eher richtungsweisend als exakt – die neuere Architektur ist darauf ausgelegt, einen längeren Kontext mit weniger Speicher zu bewältigen, und die Angabe des Anbieters ist die einzige verfügbare Messung.

Warum weniger Tokens die interessante Behauptung ist

Von vierunddreißig Billionen Tokens auf zweiundzwanzig Billionen – das ist eine Verringerung des Pre-Training-Rechenaufwands auf Datenebene um 35 %, und es geht in die entgegengesetzte Richtung zu den meisten Modellgenerationen. Die übliche Geschichte lautet: mehr Daten, mehr Parameter, besseres Modell. Bei Liquid lautet sie: weniger von beidem, mit einer neuen Architektur und einem Datenmix, der wissenschaftliche Papers, Code auf Repository-Ebene, Mathematik und ein breiteres Spektrum an Wissensquellen ergänzt.

Die Mid-Training-Phase mit 3,5 Billionen Token ist der Teil, der diesen Checkpoint von einem einfachen Pre-Training unterscheidet. Sie verwendet kuratierte, höherwertige Daten mit einem größeren Anteil agentischer Traces und Tool-Aufrufe, und hier wird das Kontextfenster erweitert. Diese Phase ist auch der Grund, warum das Basismodell ein Chat-Template enthält: Die Mid-Training-Daten wurden als Konversationen formatiert, mit und ohne Thinking-Traces.

Nichts davon lässt sich von außen überprüfen. Token-Zahlen werden selbst angegeben, Datenmischungen nicht veröffentlicht, und es gibt keine Ablation, die zeigt, welche Änderung welchen Zugewinn bewirkt hat. Die Behauptung ist plausibel – Datenqualität hat in den letzten zwei Jahren wiederholt die schiere Menge geschlagen –, aber plausibel ist nicht gemessen.

Was ein Basis-zu-Basis-Vergleich klären kann

Es kann Spezifikationen, Kosten und Kompatibilität klären, und diese Seite tut genau das. Qualität kann sie nicht klären, denn keiner der beiden Checkpoints verfügt über einen veröffentlichten Benchmark. Liquid hat für LFM2.5-2.6B-Base keine Evaluierung veröffentlicht und für LFM3-1.7B-Base ebenso wenig. Beide Modellkarten empfehlen den Checkpoint für umfangreiches Fine-Tuning und verweisen für Chat auf andere Quellen.

Der einzige Qualitätsbeleg innerhalb der Modellfamilie ist das nachtrainierte Paar. Liquid gibt für LFM3-1.7B einen Durchschnitt von 49,37 in seiner eigenen Testsuite an, gegenüber 31,55 für LFM2.5-2.6B, wobei das neuere Modell 35 % weniger Parameter verwendet. Das ist eine große Lücke, und es handelt sich um eine Anbieterangabe, gemessen in einer vom Anbieter ausgewählten Testsuite, bei der zwei Modelle verglichen werden, die sich sowohl beim Post-Training als auch beim Grundmodell unterscheiden. Das ist ein Beleg dafür, dass das LFM3-Rezept ein besseres Instruct-Modell hervorbringt. Es ist kein Beleg dafür, dass der Basis-Checkpoint ein besserer Ausgangspunkt ist, denn das darauf aufbauende Post-Training könnte den gesamten Unterschied ausmachen.

Migrationshinweise für alle, die LFM2.5 nutzen

Die beiden Checkpoints teilen eine Vokabulargröße, eine Hidden-Size und eine Tokenizer-Familie, was die Migration einfacher aussehen lässt, als sie ist. Sie teilen keinen Modellierungscode: LFM2.5 lädt als Lfm2ForCausalLM und LFM3 als Lfm3ForCausalLM, beide über benutzerdefinierten Code mit trust_remote_code=True. Ein für den einen geschriebenes Trainingsskript lädt den anderen nicht, ohne die Modellklasse zu ändern, und die Chat-Templates unterscheiden sich in ihrer Handhabung von Thinking-Traces.

Der größere operative Unterschied liegt in der Paketierung. LFM2.5-2.6B-Base bietet GGUF-, ONNX- und MLX-Builds und läuft unter llama.cpp, vLLM, SGLang, Transformers und MLX. LFM3-1.7B-Base wird als einzelne BF16-safetensors-Datei ausgeliefert; die quantisierten und plattformübergreifenden Builds gibt es für das nachtrainierte LFM3-1.7B, nicht für den Base-Checkpoint. Wenn Ihre Pipeline von einem GGUF-Artefakt abhängt, konvertieren Sie es selbst und validieren das Ergebnis.

Fine-Tuning-Support ist das Gegengewicht. LFM3-1.7B-Base verlinkt TRL-Notebooks für überwachtes Fine-Tuning und kontinuierliches Pre-Training, und die Dokumentation beschreibt den weiteren Weg von dort. Der kleinere Checkpoint, der 256K-Kontext und das agentische Mid-Training zielen genau auf die Art von Domänenanpassung ab, die diese Notebooks demonstrieren.

Von welchem Trunk aus starten?

Beginne mit LFM3-1.7B-Base, wenn du ein neues Fine-Tuning startest, deine Aufgabe von langem Kontext profitiert und du mit Transformers in BF16 arbeiten oder die Gewichte selbst konvertieren kannst. Die Parameterreduktion um 35 % ist echtes Geld bei einem Single-GPU-Trainingslauf, der verdoppelte Kontext ist eine echte Änderung der Leistungsfähigkeit, und das Chat-Template verkürzt die überwachte Phase.

Bleiben Sie bei LFM2.5-2.6B-Base, wenn Sie bereits eine funktionierende Pipeline haben, von einem GGUF- oder ONNX-Artefakt abhängen oder einen Checkpoint benötigen, auf den ein Jahr Community-Tooling aufbaut. Das neuere Modell ist drei Tage alt. Sein Instruct-Geschwistermodell verfügt über quantisierte Builds und Day-One-Support in vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX und ONNX Runtime, der Base-Checkpoint jedoch nicht, und diese Lücke sind die praktischen Kosten des Frühdabeiseins.

Wenn Sie unsicher sind, führen Sie das Experiment durch, statt das Marketing zu lesen. Nehmen Sie einen kleinen Ausschnitt Ihrer eigenen Daten, führen Sie dasselbe Continued-Pre-Training-Rezept für beide Trunks über dieselbe Anzahl von Schritten aus und evaluieren Sie auf einem zurückgehaltenen Set, das Sie vor dem Start erstellt haben. Das sind ein paar GPU-Stunden, und es beantwortet eine Frage, die keine Anbietertabelle beantworten kann. Wenn die beiden Fine-Tunes vorliegen, platzieren Sie beide hinter einem Endpoint: OrcaRouter's Routing-DSL kann den Datenverkehr zwischen ihnen aufteilen, und automatisches Failover bedeutet, dass ein schlechtes Experiment nicht zu einem schlechten Produktionstag wird. Die Plattform gibt die Listenpreise der Anbieter mit 0 % Aufschlag weiter, sodass die Kosten für den Test die Rechenkosten sind und nicht ein zweiter Vertrag.

Die Zahl, auf die es zu achten gilt

Die Behauptung, die dies entscheiden würde, ist kein weiterer Durchschnittswert. Es ist eine Base-Model-Evaluierung – irgendeine Base-Model-Evaluierung –, die von Liquid oder von einem Dritten veröffentlicht wird und LFM3-1.7B-Base und LFM2.5-2.6B-Base nach einem identischen Fine-Tuning-Rezept vergleicht. Bis es die gibt, ist das Generationsdelta in der Architektur und der Konfiguration dokumentiert, in den Token-Zahlen plausibel und dort, wo es darauf ankommt, unbewiesen. Der neuere Checkpoint ist kleiner, hat einen längeren Kontext und ist für das Training besser verpackt. Ob er besser ist, ist eine Frage, die das Repository nicht beantwortet.