LFM3-1.7B-Base vs LFM2.5-2.6B-Base: 더 적은 파라미터, 더 적은 토큰, 더 많은 컨텍스트

계산은 반대 방향으로 흘러갑니다. LFM3-1.7B-Base는 2026년 10월 26일 공개되었으며, LFM2.5-2.6B-Base보다 36% 더 작습니다. 후자는 Liquid AI가 2026년 8월 4일에 출시했으며, 매개변수는 17억 3천만 개 대 26억 9천만 개입니다. 또한 학습 토큰도 22조 개 대 약 34조 개로 더 적었습니다. 업계가 사전 학습 모델의 순위를 매길 때 흔히 쓰는 두 수치만 보면, 더 새로운 체크포인트가 더 나빠야 합니다. Liquid의 주장은 그 반대이며, 적어도 그 위에 구축된 사후 학습 모델에 대해서는 그렇습니다. 그리고 미세 조정할 트렁크를 고르는 사람에게 흥미로운 질문은 그 차이 중 무엇이 실제이고 무엇이 벤치마크 제품군으로 만들어 낸 이야기인가입니다. 비교를 실행하는 데는 컴퓨트가 들어야지, 두 번째 계약이 들어서는 안 됩니다. 0% 마크업 OrcaRouter는 제공업체 정가를 0% 마크업으로 그대로 전달합니다.

한 패밀리 내부에서 이루어지는 비교이기 때문에 유난히 깔끔합니다. 같은 벤더, 같은 라이선스 계열, 같은 128,000 토큰 어휘, 같은 2,048의 은닉 크기, 같은 베이스 대 베이스 역할입니다. 두 체크포인트는 아키텍처, 데이터 양, 컨텍스트 길이, 그리고 트렁크에 내재된 사후 학습의 양에서 차이가 납니다. 그 밖의 거의 모든 요소는 동일하게 고정되어 있습니다.

델타, 차원별로

• 매개변수 — LFM3-1.7B-Base의 경우 1.73B, LFM2.5-2.6B-Base의 경우 2.69B입니다. 35.7% 감소로, Liquid의 출시 게시물에 있는 "매개변수 35% 감소"라는 문구가 바로 여기에서 나온 것입니다.

• 레이어 — 24 대 30. 최신 모델은 더 좁을 뿐 아니라 더 얕습니다.

• 레이어 구성 — LFM3의 경우 13개의 게이트 적용 짧은 합성곱, 5개의 슬라이딩 윈도 어텐션 블록, 6개의 전체 어텐션 블록으로 구성되며, LFM2.5의 경우 슬라이딩 윈도 계층 없이 22개의 합성곱과 8개의 전체 어텐션 블록으로 구성됩니다.

• Attention — LFM3에서는 쿼리 헤드 16개와 키-값 헤드 4개를 사용하는 반면, LFM2.5에서는 32개와 8개를 사용합니다. 두 모델 모두 헤드 차원 128과 히든 크기 2,048을 유지합니다.

• 피드포워드 너비 — LFM3는 7,680, LFM2.5는 10,752입니다. 실제 파라미터 감소의 대부분이 바로 여기에서 발생합니다.

• 컨볼루션 캐시 — LFM3는 7개, LFM2.5는 3개이며, 256토큰 슬라이딩 윈도가 추가되었습니다.

• 컨텍스트 — 128,000에 비해 262,144 토큰. 더 새로운 체크포인트는 이를 두 배로 늘립니다.

• 사전 학습 토큰 — 22조 대 약 34조이며, 최신 실행의 마지막 3.5조는 에이전트 트레이스와 도구 호출을 포함한 선별된 중간 학습 데이터에 할애되었습니다.

• Artifacts — LFM3-1.7B-Base는 3.46GB의 BF16 safetensors로만 제공됩니다. LFM2.5-2.6B-Base는 Safetensors와 GGUF, ONNX, MLX 빌드로 제공되며, 양자화 시 2.5GB 미만에서 실행되고 Transformers, vLLM, SGLang, llama.cpp, MLX에서 지원됩니다.

매개변수가 어디로 갔는지

이 감소는 균등하게 분포되지 않으며, 이는 미세 조정 비용을 추정하는 누구에게나 중요합니다. 두 모델 모두 임베딩이 묶여 있고 어휘는 128,000토큰으로 동일하므로 임베딩 행렬은 변하지 않습니다. 히든 크기는 2,048로 동일합니다. 절감은 세 곳에서 발생합니다: 레이어가 6개 더 적고, 어텐션 헤드가 절반이며, 피드포워드 블록이 약 29% 더 좁습니다.

피드포워드 블록을 좁히는 것은 트랜스포머를 줄이는 가장 저렴한 방법이다. 그 블록이 각 레이어의 파라미터 대부분을 담고 있기 때문이다. 어텐션 헤드를 절반으로 줄이면 가중치뿐 아니라 키-값 캐시도 줄어들며, 이는 컨텍스트가 두 배인 모델이 4비트에서 약 1GB에 들어간다고 설명될 수 있는 이유이기도 하다. 대가는 용량이다. 더 좁은 MLP는 사실적 연관성을 저장할 공간이 적고, 헤드 수가 줄면 모델이 활용할 수 있는 독립적인 어텐션 패턴도 줄어든다. Liquid의 주장은 더 나은 데이터와 더 나은 레이어 구성이 그 이상으로 보상한다는 것이다. 그 주장은 검증 가능하며, 발행 시점 기준으로 회사 외부에서 이를 검증한 사람은 아무도 없다.

컨텍스트가 어디에서 왔는지

컨텍스트를 128K에서 256K로 두 배로 늘리면서 어텐션 비용을 두 배로 늘리지 않으려면 전역적으로 어텐션하지 않아야 합니다. LFM3의 스택은 24개 레이어 중 5개를 256토큰 슬라이딩 윈도에, 13개를 컨볼루션에 보내고 전체 시퀀스를 보는 레이어는 6개만 남김으로써 이를 수행합니다. 이 구성은 또한 전역 어텐션 레이어에 0.5의 부분 로터리 팩터를 적용하여 각 헤드 차원의 절반에 로터리 임베딩을 적용하며, 해당 레이어에는 100만의 로터리 세타를, 슬라이딩 레이어에는 1만의 로터리 세타를 사용합니다.

Liquid의 출시 글은 이것으로 얻는 것이 무엇인지에 대한 구체적인 수치 하나를 제시합니다. 128K 토큰에서 텍스트 모델의 KV 캐시는 1.6GB입니다. LFM2.5-2.6B-Base의 경우 이에 상응하는 수치는 공개되지 않았습니다. 따라서 이 비교는 정확하다기보다는 방향성을 제시하는 것입니다. 최신 아키텍처는 더 적은 메모리로 더 긴 컨텍스트를 유지하도록 설계되었으며, 벤더 자체 수치가 이용 가능한 유일한 측정값입니다.

왜 더 적은 토큰이 흥미로운 주장인가

34조 토큰에서 22조 토큰으로 줄인 것은 데이터 수준에서 사전 학습 컴퓨트를 35% 감소시킨 것이며, 이는 대부분의 모델 세대가 가는 방향과 반대입니다. 일반적인 이야기는 더 많은 데이터, 더 많은 파라미터, 더 나은 모델입니다. Liquid의 이야기는 둘 다 더 적게 가져가면서 새로운 아키텍처와 과학 논문, 리포지토리 수준의 코드, 수학, 그리고 더 폭넓게 분포된 지식 소스를 추가한 데이터 믹스를 사용하는 것입니다.

3.5조 토큰 규모의 중간 학습 단계는 이 체크포인트를 단순한 사전 학습과 구분 짓는 부분입니다. 이 단계에서는 에이전틱 추적과 도구 호출의 비중이 더 큰, 선별된 고품질 데이터를 사용하며, 컨텍스트 윈도가 확장되는 곳이기도 합니다. 또한 이 단계 덕분에 기본 모델이 채팅 템플릿을 갖추게 됩니다. 중간 학습 데이터가 사고 추적을 포함하거나 포함하지 않은 대화 형식으로 포맷되었기 때문입니다.

이 중 어느 것도 외부에서 검증할 수 없다. 토큰 수는 자체 보고되며, 데이터 혼합 구성은 공개되지 않고, 어떤 변경이 어떤 성과를 냈는지 보여주는 어블레이션도 없다. 이 주장은 그럴듯하다 — 지난 2년 동안 데이터 품질이 원시 데이터 양을 거듭 이겨 왔다는 점에서 — 그러나 그럴듯함은 측정된 것이 아니다.

기지 대 기지 비교로 무엇을 판가름할 수 있는가

사양, 비용, 호환성은 판가름할 수 있으며 이 페이지가 그렇게 한다. 품질은 판가름할 수 없는데, 두 체크포인트 모두 공개된 벤치마크가 없기 때문이다. Liquid는 LFM2.5-2.6B-Base에 대한 평가를 공개하지 않았고 LFM3-1.7B-Base에 대해서도 어떤 평가도 공개하지 않았다. 두 카드 모두 해당 체크포인트를 광범위한 파인튜닝에 권장하며, 채팅에 대해서는 독자들을 다른 곳으로 안내한다.

이 제품군에서 유일한 품질 증거는 포스트트레이닝된 쌍이다. Liquid는 자체 스위트에서 LFM3-1.7B가 평균 49.37을, LFM2.5-2.6B가 31.55를 기록했다고 보고하며, 더 새로운 모델은 매개변수를 35% 더 적게 사용한다. 이는 큰 격차이며, 공급업체가 선택한 스위트에서 측정한 공급업체 수치로서, 포스트트레이닝뿐 아니라 트렁크에서도 다른 두 모델을 비교한 것이다. 이는 LFM3 레시피가 더 나은 인스트럭트 모델을 만들어낸다는 증거다. 그것이 기본 체크포인트가 더 나은 출발점이라는 증거는 아니다. 왜냐하면 그 위에 수행된 포스트트레이닝이 차이 전체를 설명할 수 있기 때문이다.

LFM2.5를 사용 중인 모든 분을 위한 마이그레이션 노트

두 체크포인트는 어휘 크기, 히든 크기, 토크나이저 계열을 공유하기 때문에 마이그레이션이 실제보다 쉬워 보인다. 하지만 두 체크포인트는 모델링 코드를 공유하지 않는다. LFM2.5는 Lfm2ForCausalLM으로, LFM3는 Lfm3ForCausalLM으로 로드되며, 둘 다 trust_remote_code=True를 사용하는 커스텀 코드를 통해 로드된다. 한쪽을 위해 작성된 학습 스크립트는 모델 클래스를 바꾸지 않고는 다른 쪽을 로드할 수 없으며, 채팅 템플릿은 사고 흔적을 처리하는 방식이 서로 다르다.

더 큰 운영상 차이는 패키징입니다. LFM2.5-2.6B-Base는 GGUF, ONNX, MLX 빌드를 제공하며 llama.cpp, vLLM, SGLang, Transformers, MLX에서 실행됩니다. LFM3-1.7B-Base는 단일 BF16 safetensors 파일로 제공됩니다. 양자화 및 크로스 플랫폼 빌드는 사후 학습된 LFM3-1.7B용으로 존재하며 기본 체크포인트용은 아닙니다. 파이프라인이 GGUF 아티팩트에 의존한다면 직접 변환하고 결과를 검증해야 합니다.

파인튜닝 지원이 그 균형추 역할을 합니다. LFM3-1.7B-Base는 지도 파인튜닝과 지속 사전 학습을 위한 TRL 노트북을 연결해 주며, 문서에서는 그로부터 이어지는 경로를 다룹니다. 더 작은 체크포인트, 256K 컨텍스트, 에이전틱 중간 학습은 모두 바로 그 노트북들이 보여 주는 종류의 도메인 적응을 겨냥한 것입니다.

어느 트렁크에서 시작할까요?

다음 조건에 해당하면 LFM3-1.7B-Base에서 시작하세요: 새로운 파인튜닝을 시작하는 경우, 작업이 긴 컨텍스트에서 이점을 얻는 경우, 그리고 Transformers로 BF16에서 작업하거나 가중치를 직접 변환할 수 있는 경우입니다. 35% 파라미터 감소는 단일 GPU 학습 실행에서 실제 비용 절감이고, 두 배로 늘어난 컨텍스트는 실질적인 역량 변화이며, 채팅 템플릿은 지도 학습 단계를 단축합니다.

다음에 해당한다면 LFM2.5-2.6B-Base에 머무르세요: 이미 작동 중인 파이프라인이 있거나, GGUF 또는 ONNX 아티팩트에 의존하거나, 1년간 커뮤니티 툴링이 뒷받침된 체크포인트가 필요한 경우입니다. 더 새로운 모델은 나온 지 사흘밖에 되지 않았습니다. 그 instruct 형제 모델은 양자화 빌드와 vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX 및 ONNX Runtime의 출시 당일 지원을 갖추고 있지만, base 체크포인트에는 없으며, 이 격차가 앞서 나가는 것의 실질적인 비용입니다.

확신이 서지 않는다면 마케팅 자료를 읽는 대신 실험을 실행하세요. 자체 데이터의 작은 일부를 떼어 내고, 동일한 continued-pre-training 레시피를 두 트렁크 모두에 같은 스텝 수만큼 실행한 뒤, 시작하기 전에 만들어 둔 홀드아웃 세트에서 평가하세요. 이는 GPU 몇 시간이면 되고, 어떤 벤더 표도 답할 수 없는 질문에 답을 줍니다. 두 파인튜닝이 준비되면 둘 다 하나의 엔드포인트 뒤에 두세요. OrcaRouter의 라우팅 DSL은 둘 사이로 트래픽을 나눌 수 있으며, 자동 장애 조치 덕분에 잘못된 실험이 잘못된 프로덕션 하루가 되지는 않습니다. 플랫폼은 제공업체의 정가를 0% 마크업으로 그대로 전달하므로, 테스트 실행 비용은 컴퓨트 비용이지 두 번째 계약 비용이 아닙니다.

주목해야 할 숫자

이 문제를 결론지을 주장은 또 하나의 평균값이 아니다. 그것은 Liquid 또는 제3자가 공개한 베이스 모델 평가, 그 어떤 베이스 모델 평가든으로, 동일한 파인튜닝 레시피를 적용한 후 LFM3-1.7B-Base와 LFM2.5-2.6B-Base를 비교하는 것이다. 그것이 존재하기 전까지 세대 간 차이는 아키텍처와 구성에 문서화되어 있고, 토큰 수에서는 그럴듯하며, 중요한 지점에서는 입증되지 않았다. 더 새로운 체크포인트는 더 작고, 더 긴 컨텍스트를 가지며, 학습용으로 더 잘 패키징되어 있다. 그것이 더 나은지 여부는 저장소가 답하지 않는 질문이다.