LFM3-1.7B-Base: 저장소가 말하는 것, 그리고 Liquid AI가 말하지 않은 것

Liquid AI의 새 패밀리에서 가장 중대한 체크포인트는 읽을 내용이 가장 적은 체크포인트입니다. LFM3-1.7B-Base는 17억 3천만 개 파라미터의 텍스트 전용 사전 학습 모델이며, 2026년 10월 27일에 텍스트 모델, 비전 모델, 오디오 모델, 옴니 모델, 그리고 두 가지 의사결정 모델을 포함해 사후 학습된 모든 LFM3 모델이 구축된 토대가 되었습니다. 패밀리 출시 글에서는 이를 단 한 개의 절로만 언급합니다. 이에 대한 별도 발표도, 베이스 모델 벤치마크 표도, 이를 겨냥한 언론 보도도 없습니다. 반면 저장소는 이 체크포인트가 무엇이고 무엇을 위한 것인지 유난히 명확히 밝히고 있어, 이 릴리스는 설명하기는 쉽지만 과장하기는 어렵습니다. 모델 제공업체가 부과하는 금액에는 마크업이 추가되지 않습니다. 제공업체 정가 공급업체 가격 변경은 같은 날 청구서에 반영됩니다.

다음은 그 두 가지를 구분한다. 전반부의 모든 내용은 모델 카드, 구성 파일, 라이선스 문구, 또는 Liquid 자체의 출시 게시물에서 나온 것이며 오늘날 검증할 수 있다. 후반부는 가중치가 공개된 지 사흘 뒤에도 여전히 진정으로 알려지지 않은 부분이다.

두 개의 저장소, 하나의 출시 게시글, 그리고 열두 시간의 격차

타임스탬프는 마케팅에서 공개되기 전에 먼저 공개적으로 이루어진 출시의 이야기를 보여줍니다. 포스트 트레이닝된 LFM3-1.7B 저장소는 2026년 10월 23일에 생성되었습니다. 기본 저장소는 10월 26일 16:28 UTC에 생성되었고, 해당 카드의 마지막 수정은 10월 27일 04:15 UTC였습니다 — 불과 12시간도 채 지나지 않은 시점이었습니다. 블로그 글 "LFM3 소개: 특화된 지능을 위한 모든 모달리티"의 날짜는 10월 27일입니다. 회사 외부의 누군가가 사양서를 읽을 수 있었을 때쯤, 가중치는 이미 하루째 Hugging Face에 올라와 있었습니다.

그 순서는 분명히 짚고 넘어갈 가치가 있습니다. 여기서 "조용한 출시"에 가장 가까운 사례가 바로 그것이기 때문입니다. Liquid는 해당 패밀리를 발표했고, 그 발표에서는 다른 여섯 모델이 훈련된 체크포인트로 LFM3-1.7B-Base를 지목했습니다. 회사가 하지 않은 일은 베이스 체크포인트를 그 자체의 맥락에서 발표하는 것이었습니다. 별도 게시물도, 베이스 전용 평가도, 카드의 한 문단을 넘어서는 포지셔닝도 없었습니다. 패밀리는 출시를 받았습니다. 트렁크는 저장소와 패밀리를 가리키는 포인터를 받았습니다.

저장소에 무엇이 있나요?

이 카드는 간결하며, 이번만큼은 기본 사항을 빠짐없이 갖추고 있습니다. bfloat16 형식의 3.46GB model.safetensors 파일 하나. 128,000개 토큰 어휘를 갖춘 tokenizer. 모델 코드는 가중치와 함께 사용자 정의 Python으로 제공되며, 병합된 업스트림 Transformers 릴리스가 아니라 trust_remote_code=True로 로드됩니다. 라이선스는 LFM Open License v1.0이며, Liquid가 LFM2 이후 사용해 온 동일한 계열의 약관입니다.

• 매개변수 — 1.73B, 덴스(dense) 방식으로, 모든 토큰마다 모든 매개변수를 읽습니다.

• 레이어 — 24: 게이트가 적용된 짧은 컨볼루션 블록 13개, 슬라이딩 윈도우 어텐션 블록 5개, 전체 어텐션 블록 6개.

• 컨텍스트 — 262,144 토큰, 입력 및 출력 합계.

• 어텐션 구조 — 히든 크기 2,048, 쿼리 헤드 16개, 키-값 헤드 4개, 헤드 차원 128. 이는 LFM2.5의 8:1이 아닌 4:1 그룹 쿼리 어텐션입니다.

• 로컬 윈도우 — 256개 토큰, 컨볼루션 캐시는 7개. 이는 컨텍스트 길이가 아니라 레이어별 어텐션 설정이며, 출시 하루 전 엔진 풀 리퀘스트에서 이 아키텍처가 처음 모습을 드러냈을 때 작은 오보 파동을 일으켰습니다.

• 어휘 및 언어 — 128,000개 토큰, 16개 언어 나열: 영어, 아랍어, 중국어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 스페인어, 베트남어, 태국어, 인도네시아어, 힌디어, 러시아어, 폴란드어.

• 메모리 — Liquid에 따르면 4비트 정밀도에서 약 1GB이며, BF16으로 제공되는 기본 상태에서는 3.46GB입니다.

크기를 인용하기 전에 알아 두면 좋은 작은 불일치가 하나 있습니다. Hugging Face의 사이드바는 모델을 "2B params"로 반올림해 표시하지만, 카드의 표에는 1.73B라고 적혀 있습니다. 파일이 이를 확정합니다. bfloat16 3.46GB는 각 2바이트 기준 17.3억 개 파라미터이므로, 사이드바 라벨은 반올림 관례일 뿐 두 번째 사양이 아닙니다. 작성 시점에 저장소는 지난달 다운로드 15회와 좋아요 8개를 보여 주었습니다 — 출시되었고, 런치 게시물에서 링크되었으며, 아직 아무도 본격적으로 사용하지 않은 체크포인트의 프로필입니다.

다이어그램 없는 아키텍처

이 설계는 예산 논리로 이해하는 것이 가장 좋다. 긴 컨텍스트에서 트랜스포머의 값비싼 부분은 전체 어텐션이다. 모든 토큰이 자기 자신을 다른 모든 토큰과 비교하며, 비용은 시퀀스 길이의 제곱에 따라 증가한다. Liquid의 트라이 하이브리드 스택은 24개 레이어 중 6개만 이 연산에 사용한다. 13개 레이어는 게이트된 짧은 컨볼루션으로, 토큰당 고정 비용으로 정보를 국소적으로 섞는다. 5개는 한 번에 256개 토큰을 보는 슬라이딩 윈도 어텐션 블록이다. 네트워크의 3분의 2는 전역 어텐션 연산을 전혀 수행하지 않는다.

이는 Liquid가 LFM2 이후 계속해 온 동일한 베팅을 더 밀어붙인 것이다. LFM2.5-2.6B-Base는 30개 레이어를 22개의 컨볼루션과 8개의 전체 어텐션 블록으로 나누어 사용했으며, 슬라이딩 윈도 계층은 없었다. LFM3는 스택의 다섯 지점에서 한 쌍의 컨볼루션을 슬라이딩 어텐션 블록으로 대체하고, 컨볼루션 캐시를 3에서 7로 늘리며, 구성에 나타나는 샌드위치 정규화와 부분 로터리 설정을 추가한다. 그 특정 트레이드오프가 품질을 향상시키는지는 오직 평가만이 답할 수 있는 질문이며, 발표 시점 기준으로 이를 답할 베이스 모델 평가는 없다. 구성이 확실히 입증하는 것은 256K 컨텍스트가 어텐션을 256K로 확장함으로써 달성되는 것이 아니라, 스택의 대부분을 로컬로 유지함으로써 달성된다는 점이다.

기본 모델에는 채팅 템플릿이 포함되어 있습니다.

원시 텍스트 완성을 기대하고 체크포인트를 다운로드하는 사람이라면 누구나 가장 혼란스러워할 만한 세부 사항입니다. LFM3-1.7B-Base에는 전체 채팅 템플릿이 포함되어 있으며, 모델 카드에는 중간 학습에 사고 흔적이 있는 경우와 없는 경우 모두의 채팅 데이터가 포함되었고 사후 학습된 모델과 동일한 템플릿으로 포맷되었다고 나와 있습니다. apply_chat_template을 호출하면 추론이 기본적으로 활성화됩니다. enable_thinking=False를 전달하지 않는 한 응답은 사고 블록 안에서 시작됩니다. 이 값을 전달하면 빈 사고 흔적이 미리 채워지고 직접적인 답변이 요청됩니다.

따라서 그것은 instruct 모델처럼 다소 동작하지만, 문서상으로는 전혀 다른 것으로 설명된다. 카드 자체의 권장 사항은 명확하다. LFM3-1.7B-Base는 "언어별 또는 도메인별 어시스턴트, 독점 데이터로의 학습, 새로운 포스트 트레이닝 접근법 실험처럼 대규모 파인튜닝이 필요한 작업에만 권장된다." 채팅, 도구 호출, 에이전트에는 LFM3-1.7B를 가리킨다. 템플릿이 있는 이유는 중간 학습 데이터가 그런 형식으로 구성되었고 파인튜닝이 이를 상속하기 때문이지, 체크포인트가 대화용으로 튜닝되었기 때문은 아니다. 템플릿을 준비 완료 신호로 받아들이는 사람은 출력 결과에 실망할 것이며, 카드는 시작하기 전에 그렇게 말하고 있다.

사람들이 인용할 숫자는 이 모델의 숫자가 아니다

출시 글에는 상당한 분량의 벤치마크 표가 실려 있지만, 그중 거의 아무것도 이 기사에서 다루는 체크포인트에는 적용되지 않는다. 헤드라인 평균 49.37은 Liquid 자체 스위트에서 측정된 포스트트레이닝 모델인 LFM3-1.7B의 것이다. 비교 행들 — LFM2.5-2.6B 31.55, MiniCPM5-2B 39.19, Gemma 4 E4B 31.74, Qwen3.5-4B 39.27, Qwen3.5-9B 47.24 — 은 포스트트레이닝 모델 대 포스트트레이닝 모델이다. SWE-bench Verified의 43.40과 LiveCodeBench v6의 73.46 역시 튜닝된 모델의 점수이다.

기준 체크포인트에는 일상적인 독해에서 두 가지 주장이 덧붙여지는데, 그렇게 해서는 안 됩니다. 첫째는 “매개변수 35% 감소”입니다. 이는 LFM3-1.7B가 LFM2.5-2.6B를 능가한다는 뜻으로, 사후 학습된 쌍에 관한 진술이지 베이스 대 베이스 결과가 아닙니다. 둘째는 LFM3가 “Gemma 4 12B와 맞먹는다”는 주장입니다. 그 문장은 62개 비전 벤치마크 전반에서 비전 모델인 LFM3-VL-2B에 관한 것입니다. 공개된 평가가 전혀 없는 텍스트 베이스 체크포인트에 대해서는 아무것도 말하지 않습니다. 벤치마크 표가 없는 베이스 모델은 이례적인 일이 아닙니다. Liquid는 LFM2.5-2.6B-Base에 대해서도 의도적으로 아무것도 공개하지 않았습니다. 그러나 그 부재는 이 체크포인트에 관한 모든 품질 주장이 현재로서는 그것이 만들어낸 모델에 관한 주장임을 의미합니다.

훈련, 그리고 실제로 차별화되는 부분

Liquid은 체크포인트가 두 단계에 걸쳐 22조 토큰을 처리했다고 말합니다. 주요 사전 학습 단계에서는 LFM2 대비 데이터 구성을 변경하여 과학 논문, 저장소 수준 코드, 수학, 그리고 더 폭넓게 분포된 지식 출처를 더 많이 추가했습니다. 마지막 3.5조 토큰은 선별된 고품질 데이터로 진행되는 중간 학습 단계로, 에이전트 추적과 도구 호출의 비중이 더 크며, 바로 이 단계에서 컨텍스트 창이 256K로 확장됩니다.

특이한 점은 토큰 수가 아니라, 에이전트 데이터가 포스트트레이닝에만 들어간 것이 아니라 베이스 모델에 들어갔다는 점이다. 대부분의 벤더는 도구 호출 추적을 인스트럭션 튜닝 단계용으로 보관한다. Liquid는 이를 트렁크에 넣은 다음, 그 위에 SFT, 혼합 RL, 다도메인 온폴리시 증류, 에이전트 RL로 여섯 개의 서로 다른 모델을 포스트트레이닝했다. 이는 여러 모달리티에 걸쳐 하나의 백본을 공유하도록 설계된 패밀리에 일관된 전략이며, 베이스 체크포인트에 채팅 템플릿이 포함된 이유이기도 하다. 이는 외부에서 검증할 수 없는 학습 방법론에 대한 주장이며, 독립적인 재현은 존재하지 않는다.

오늘 그것으로 할 수 있는 일

이 카드에는 두 개의 TRL 노트북이 링크되어 있습니다. 하나는 지저분한 문서에서 구조화된 JSON을 추출하는 지도 미세 조정용이고, 다른 하나는 원시 텍스트의 터키어를 예로 사용하는 새로운 언어에 대한 지속 사전 학습용입니다. 둘 다 LFM3-1.7B를 대상으로 작성되었으며, 베이스 체크포인트를 가리키도록 단일 model_id만 변경하면 됩니다. 문서 페이지에서 나머지 미세 조정 경로를 다룹니다. instruct 모델에는 전체 런타임 변형 세트가 있습니다. vLLM, SGLang, Transformers용 BF16, SGLang용 FP8 및 NVFP4, llama.cpp, Ollama, LM Studio용 GGUF, Apple silicon용 MLX, ONNX Runtime. 베이스 체크포인트에는 정확히 하나의 아티팩트만 있습니다: BF16 safetensors 파일. GGUF도, MLX 빌드도, 양자화 릴리스도 없습니다. 휴대폰에서 실행하고 싶다면 그 변환은 직접 해야 합니다.

모델을 직업으로 서빙한다면 이것이 어디에 해당할까

사전 학습된 체크포인트는 채팅 엔드포인트가 아니며, 이 점은 분명히 짚고 넘어갈 가치가 있습니다. LFM3-1.7B-Base는 작성 시점에 OrcaRouter의 카탈로그에 나오지 않으며, 베이스 모델은 라우팅하기에 이상한 대상입니다. 라우팅할 지시 따르기 기능이 없기 때문입니다. 라우터가 유용하게 쓰이는 지점은 한 단계 뒤, 즉 파인튜닝이 존재한 이후에 시작됩니다. OrcaRouter는 200개가 넘는 모델을 하나의 API 뒤에 배치하며, 제공업체 정가에 0% 마크업, 자동 장애 조치, 라우팅 DSL을 제공하므로, 도메인에 튜닝된 LFM3 체크포인트를 더 큰 범용 모델 옆에 두고 두 번째 통합 없이 비교하거나 장애 조치 대상으로 삼을 수 있습니다. 모델 퓨전 — 패널이 함께 답하는 방식 — 은 1.73B 전문 모델이 한 가지 일을 잘하지만 두 번째 의견이 필요할 때의 또 다른 선택지입니다. 그 어느 것도 베이스 체크포인트 자체가 어디에 호스팅될 것을 요구하지 않습니다.

아직 확인되지 않은 것은 무엇인가?

• 기본 품질. 벤치마크 표도, 평가 하네스 출력도, 어떤 작업에서도 LFM2.5-2.6B-Base와의 비교도 없습니다.

• 독립적 검증. 어떤 제3자 연구소도 기본 모델이나 튜닝된 모델의 실행 결과를 공개하지 않았습니다. 출시 게시물의 모든 수치는 Liquid 자체의 것입니다.

• 업스트림 Transformers를 지원합니다. 이 저장소는 사용자 정의 모델링 코드와 trust_remote_code를 사용합니다. 이는 출시 시점에는 정상이지만 나중에는 유지보수 비용이 됩니다.

• 베이스가 어떻게 제공되는지. 출시 게시물에 따르면 베이스 모델과 포스트 트레이닝된 모델은 Hugging Face, Liquid Playground, Liquid API에서 이용 가능하다고 합니다. 튜닝되지 않은 베이스 체크포인트로 API가 무엇을 하는지에 대한 설명은 없으며, 이에 대한 가격도 공개되지 않았습니다.

• 라이선스 예외 사례. LFM 오픈 라이선스 v1.0은 연간 매출 1,000만 달러 미만인 경우 상업적 사용이 무료이며, 그 기준을 넘으면 상업용 라이선스가 적용됩니다. 텍스트는 공개되어 있지만, 기본 모델로 학습한 파생 모델을 상업적으로 서빙할 때 이를 어떻게 취급하는지는 모델 카드가 아니라 변호사가 답할 문제입니다.

무엇을 볼까요?

다음의 의미 있는 신호는 또 다른 발표가 아니라, 후속 학습된 모델에 대한 첫 독립 평가이자 기반 체크포인트가 학습하기에 어떤 모델이었는지 보고한 첫 공개 파인튜닝이다. Liquid의 자체 프레이밍이 그 테스트를 초대한다. 여섯 모델을 배출하고 2.69B 전임자를 이긴다고 주장하는 1.73B 트렁크는 진정으로 효율적인 아키텍처일 수도, 잘 고른 벤치마크 스위트일 수도 있으며, 둘을 구분할 수 있는 것은 외부 실행뿐이다. 그때까지는 저장소가 전부다. 3.46 GB 파일, 명확한 사양, 초대장이 아닌 채팅 템플릿, 그리고 매출선이 가까워지기 전에 읽어볼 만한 라이선스.