LFM3 vs Qwen3.8-27B: 명령 따르기에서 9%로 좁혀지는 16× 크기 격차

LFM3-1.7B는 17억 3천만 개의 파라미터를 보유한다. Qwen3.8-27B는 277억 8천만 개에 비전 인코더까지 갖추고 있다 — 가중치로 따지면 16.1배다. 두 모델을 같은 벤치마크 라인에 올려놓으면 산수가 도무지 말을 듣지 않는다. 모델이 파인튜닝된 적 없는 제약 조건을 준수하는지 시험하는 IFBench에서 두 모델의 격차는 9퍼센트 미만이다. Terminal-Bench 2.1에서는 5.6배다. 두 모델, 하나의 고정된 크기 차이, 그리고 어느 행을 읽느냐에 따라 "대형 모델에 대체 왜 돈을 내겠는가"에서 "소형 모델은 이걸 아예 못 한다"까지 널뛰는 결과.

그 차이가 곧 결정의 전부입니다. 이것은 작은 모델이 큰 모델을 따라잡는 이야기도, 큰 모델이 작은 작업에 낭비되는 이야기도 아닙니다. 그것은, 매우 일관되게, 지시를 따르는 것과 계획을 실행하는 것 사이에 놓이는 작업 경계, 그리고 특정 매출 기준선을 넘는 회사에서 일하는 사람이라면 누구에게나 가격 비교의 순서를 조용히 바꿔 놓는 라이선스 조건에 관한 이야기입니다.

이들 각각이 실제로 무엇인지

Liquid AI는 LFM3 패밀리를 발표했습니다: 2026-10-27 — 이 글이 작성되기 하루 전 — 공유 LFM3-1.7B-Base 백본에서 분기된 약 2B급 오픈 웨이트 모델 6종입니다. LFM3-1.7B는 텍스트 구성원으로, 24개 레이어(게이트된 짧은 합성곱 13개, 256토큰 윈도의 슬라이딩 윈도 어텐션 레이어 5개, 전체 어텐션 레이어 6개)의 삼중 하이브리드 아키텍처이며, 22조 토큰으로 사전 학습되었고 마지막에는 에이전트 트레이스와 도구 호출을 포함한 3.5조 토큰 규모의 중간 학습 패스를 거쳤습니다. 가중치는 Hugging Face에 있으며, Ollama는 1.7 GB 다운로드로 lfm3:latest를 제공하며, 벤더 자체 모델 카드는 에이전틱 코딩이나 복잡한 다단계 추론에 사용하지 말라고 권고합니다. 그 마지막 문장은 카드의 그 어떤 내용보다 중요하며, 이에 대해서는 다시 돌아오겠습니다.

Qwen3.8-27B는 새로운 모델이 아닙니다.2026년 8월 중순Apache 2.0 라이선스로 공개된 이 모델은 다운로드, 양자화, 실제 사용자 보고를 축적할 10주라는 시간을 가졌습니다. 출시된 지 하루밖에 되지 않은 릴리스에는 결코 있을 수 없는 것들입니다. 이 모델은 Gated DeltaNet과 Gated Attention 레이어가 반복되는 블록을 기반으로 구축된 27.78B dense 모델로, 64개 레이어로 구성되어 있으며 네이티브 비전 및 비디오 입력, YaRN으로 1M까지 확장되는 262,144토큰 컨텍스트를 지원합니다. Thinking은 기본적으로 켜져 있으며 reasoning-effort 설정을 통해 조정할 수 있습니다.

그래서 이 조합에 대한 정직한 설명은 중요한 점에서 비대칭적입니다. 한 모델은 벤더 벤치마크 표는 있지만 현장 보고서가 없고, 다른 모델은 둘 다 있습니다. 아래에서 LFM3-1.7B에 관한 내용은 귀하의 워크로드에 대한 주장이 아니라 Liquid AI의 테스트 스위트에 대한 주장으로 받아들이십시오.

소형 모델이 뒤지지 않는 스펙

매개변수를 16배로 늘려도 전혀 얻는 것이 없는 차원부터 시작하세요. 크기 차이가 시사하는 것보다 그런 차원이 더 많기 때문입니다.

• 컨텍스트 윈도우 — 두 모델 모두 네이티브 262,144 토큰입니다. LFM3-1.7B는 중간 학습 단계에서 이에 도달하며, Qwen3.8-27B는 이를 네이티브로 제공하고 YaRN을 통해 1M까지 확장합니다.

• 언어 — LFM3-1.7B의 경우 16개 언어가 공식적으로 명시되어 있으며(영어, 중국어, 일본어, 한국어, 아랍어, 힌디어 포함), Qwen3.8-27B는 대표적인 수치 없이 다양한 언어에 걸쳐 폭넓게 훈련되었습니다.

• 모달리티 — LFM3-1.7B는 텍스트 입력, 텍스트 출력; Qwen3.8-27B는 텍스트, 이미지, 비디오 입력, 텍스트 출력. 이 부분이 27B가 동일한 작업의 더 큰 버전이 아니라 범주적으로 다른 작업을 수행하는 유일한 지점이다.

• 4비트 메모리 — LFM3-1.7B의 경우 약 1GB, Qwen3.8-27B의 경우 약 14~16GB입니다.

• BF16 기준 메모리 — 약 56GB 대비 3.46GB, 이는 노트북과 멀티 GPU 박스 사이의 차이입니다.

• 라이선스 — LFM Open License v1.0 대 Apache 2.0. 그 점은 잠시 기억해 두세요.

양쪽 모두 256K 컨텍스트 창이라는 점이 진정으로 놀라운 대목입니다. 컨텍스트 길이는 역사적으로 파라미터 수를 따라왔는데, 여기서는 약 1기가바이트로 실행할 수 있는 모델이 워크스테이션을 필요로 하는 모델과 동일한 명목상의 창을 제공합니다. 그 문장에서 '명목상'이라는 말은 실제로 중요한 역할을 합니다. 1.7B 모델의 256K 창은 모델이 그 안에서 정보를 찾아낼 수 있을 때만 유용하며, 바로 그것을 아래의 장문맥 행들이 테스트합니다.

16배의 파라미터로 9퍼센트를 얻는 곳

Liquid는 27개 행으로 구성된 스위트를 실행하고 경쟁사가 우세한 열까지 포함한 전체 표를 공개했습니다. 두 모델 모두 IFBench를 보고하는데, 이는 두 벤더가 모두 보고한 단일 벤치마크 버전이기 때문에 전체 비교에서 가장 깔끔한 동일 조건 비교 행입니다.

LFM3-1.7B는 73.03점을 기록합니다. Qwen3.8-27B는 79.5점을 기록합니다. 이는 6.5점 차이로, 더 큰 모델 점수의 9퍼센트 미만입니다 — 무려 16.1배 더 작은 모델에서요. 대부분 "이 지저분한 입력을 받아서 이 정확한 JSON 형태를 출력하고 스키마를 절대 깨지 않기"인 워크로드에서는 그 격차가 거의 노이즈에 가깝고, 배포 차이는 1기가바이트 대 16기가바이트입니다.

Liquid 자체의 표는 더 가까운 경쟁자를 상대로도 같은 점을 보여준다. LFM3-1.7B보다 다섯 배 큰 모델인 Qwen3.5-9B를 상대로, 작은 모델은 IFBench에서 24점 차(73.03 대 48.84), IFStruct에서 4.5점 차(93.72 대 89.20), Multi-IF에서 4.7점 차(89.10 대 84.44)로 이긴다. 다른 무엇이 사실이든, 명령 준수는 파라미터 수에 따라 매끄럽게 확장되는 능력이 아니며, 잘 훈련된 1.7B는 이 부분에서 평범한 9B를 이길 수 있다.

장문맥 행들은 더 애매하므로 Liquid에 유리하게 반올림하기보다는 분명히 말할 가치가 있다. AA-LCR에서 LFM3-1.7B는 52.83을 기록한다. 이는 자기 크기에 걸맞은 실제 점수이며 Qwen3.5-4B의 52.67과 대략 같은 수준이다. RULER 128K에서는 65.56을 기록해 MiniCPM5-2B의 37.96보다 크게 앞서지만 Qwen3.5-9B의 87.11보다는 훨씬 뒤처진다. 따라서 256K 창은 장식이 아니지만, 더 큰 모델의 창과 동등한 것도 아니다. Qwen3.8-27B는 그 표에 전혀 등장하지 않는데, 이는 이 특정 조합에 대한 동등 조건의 장문맥 수치가 없다는 뜻이다. 단지 네이티브 262K를 갖춘 27B가 동일한 명목 창을 가진 1.7B를 이길 것이라는 강한 사전 기대만 있을 뿐이다.

파라미터가 16배일 때 다섯 배 반을 얻는 곳

이제 모델 카드가 경고한 행들입니다. 이들 각각은 두 공급업체가 모두 보고하는 벤치마크 버전이므로, 버전 간 차감은 일어나지 않습니다.

• Terminal-Bench 2.1 — LFM3-1.7B는 12.92, Qwen3.8-27B는 73.0. 5.6배 격차.

• Humanity's Last Exam, 도구 없이 — 7.17 대 30.8. 4.3배 격차.

• GPQA Diamond — 89.2 대비 63.37. 1.4배 격차.

• LiveCodeBench v6 — 73.46 대 90.3. 1.2배 격차.

그 목록의 순서 자체가 발견이다. 격차는 단일 샷 코드 생성에서 가장 작으며, 여기서 LFM3-1.7B는 자기보다 열여섯 배 큰 모델보다 약 19% 뒤처진다. 격차가 가장 큰 곳은 Terminal-Bench인데, 이 과제는 "코드를 작성하는" 것이 아니라 "여러 단계에 걸쳐 기계를 조작하고, 스스로의 오류에서 복구하며, 작업이 끝나면 멈추는" 것이다. 이는 바로 Liquid 자체의 카드가 이 모델에 없다고 말하는 역량이며, 수치도 그 카드와 일치한다. GPQA와 HLE에서의 격차는 지식이며, 이는 여기서 가장 놀랍지 않은 결과다. 22T 토큰으로 훈련된 1.7B 모델은 더 많은 토큰으로 훈련된 27B 모델보다 단순히 더 적게 보았을 뿐이고, 어떤 아키텍처로도 이를 보상할 수 없다.

반대 방향을 가리키는 행이 하나 있으며, 그것은 두 카드 중 어느 쪽에서든 가장 흥미로운 숫자입니다. AA-Omniscience의 공개 분할에서 LFM3-1.7B가 기록한 수치는 정확도 7.07과 92.93 비환각입니다. 이 조합은 모델이 잘못 답하기보다는 대개 답변을 거부한다는 뜻입니다. 이는 Liquid의 자체 비교 표에서 가장 높은 비환각 수치로, 나열된 모든 더 큰 모델보다 앞섭니다. HLE에서 Qwen3.8-27B의 30.8은 정반대의 태도입니다. 더 많이 알고 있으면서도 답을 확신 있게 내놓습니다.

파이프라인의 실패 방식이 자신 있게 틀린 값이 데이터베이스에 들어가는 것이라면, 93%의 경우 답변을 보류하는 모델은 장점이며 정확도 상한은 그 대가입니다. 파이프라인의 실패 방식이 값이 있어야 할 자리에 null이 들어가는 것이라면, 바로 그 동일한 동작이 버그입니다. 이것이 이번 비교에서 가장 날카롭게 갈리는 지점이며, 어떤 종합 점수도 이를 포착하지 못합니다.

빼서는 안 되는 세 개의 숫자

이 조합에 대한 일대일 비교 페이지는 두 공급업체가 발표한 모든 벤치마크를 나란히 정리하려는 유혹을 받을 것이다. 그중 세 항목은 방법론과 맞닥뜨리면 살아남지 못한다.

SWE-bench.Liquid는 OpenCode 하네스를 사용해 SWE-bench Verified에서 LFM3-1.7B가 43.40을 기록했다고 보고한다. Alibaba는 SWE-bench Pro에서 Qwen3-27B가 61.7을 기록했다고 보고한다. 벤치마크도 다르고, 하네스도 다르고, 작업 분포도 다르다. 이 두 수치 사이의 18점 차이는 무엇을 측정한 값도 아니다. 격차의 대략적인 형태를 알고 싶다면 두 곳 모두 같은 버전을 보고하는 Terminal-Bench 2.1을 사용하라.

모든 종합 지수.Artificial Analysis는 xhigh 추론 설정에서 Qwen3.8-27B에 자사의 Intelligence Index 기준 33.7점을 부여합니다. 2026-10-28 기준으로 Artificial Analysis에는 LFM3 항목이 전혀 없습니다. 출시된 지 하루 된 릴리스는 독립적인 평가를 거치지 않았으며, 솔직히 말해 LFM3-1.7B에는 독립적으로 재현된 수치가 전혀 없습니다. 이 기사에서, 그리고 이번 주 다른 모든 곳에서 LFM3-1.7B에 귀속된 모든 수치는 Liquid AI가 자체적으로 선택한 벤치마크에서 자체 테스트 스위트로 산출한 것입니다.

추론 강도 설정. Qwen3.8-27B의 공개 점수는 low, medium, xhigh 및 비추론 모드 사이에서 크게 달라집니다. 33.7 지수는 xhigh 수치이며, 비추론 수치는 상당히 더 낮습니다. 추론 강도 설정을 명시하지 않은 채 Qwen 수치와 LFM3 수치를 짝지어 비교하는 것은 숙고하는 모델과 빠른 모델을 비교해 놓고 그 차이를 아키텍처라고 부르는 것입니다.

이 문제를 확정지을 방법은 명확하다. 동일한 하네스에서 명시된 노력 설정으로 LFM3-1.7B를 독립적으로 실행하는 것, 이상적으로는 커뮤니티가 가중치를 접한 지 몇 주가 지난 뒤에 말이다. 그때까지 공정한 요약은 vendor가 보고한 지시 따르기 격차는 작고, vendor가 보고한 다단계 실행 격차는 크며, 두 주장 모두 같은 이해관계자로부터 나왔다는 것이다.

라이선스가 실제 가격표입니다.

여기가 작은 것과 큰 것의 비교에서 나오는 일반적인 결론을 뒤집는 부분입니다.

LFM3-1.7B는 LFM 오픈 라이선스 v1.0에 따라 배포됩니다. 가중치는 무료로 다운로드하고 무료로 실행할 수 있지만, 연간 매출이 1,000만 달러 이상인 주체의 상업적 사용은 제외됩니다. Qwen3.8-27B는 Apache 2.0에 따라 배포되며, 매출 기준도, 사용 분야 제한도, 별도 계약도 없습니다.

그래서 2인 스타트업에게 이 계산은 명백하다. 1기가바이트에 들어가고, 토큰당 비용이 전혀 들지 않으며, 이미 보유한 하드웨어에서 실행되는 모델은 거의 공짜 점심에 가깝다. 매출 1,000만 달러를 넘어선 회사, 즉 최적화할 가치가 있는 프로덕션 추론 예산을 가진 대부분의 회사에게 저렴한 모델은 공짜가 아니며, 비싼 모델은 명백히 라이선스가 부여된 모델이다. 예산형 옵션처럼 보이는 모델이 바로 법적 논의가 따라붙는 모델이다.

그것은 LFM3-1.7B에 반대하는 논거가 아닙니다. 그것은 벤치마크 표를 읽기 전에 라이선스를 읽어야 한다는 논거입니다. 왜냐하면 라이선스가 벤치마크 표를 당신이 이용할 수 있는지조차 결정하기 때문입니다.

각각을 실제로 실행하는 데 필요한 것

LFM3-1.7B는 한 줄 설치입니다. Ollama 라이브러리에 lfm3:latest 및 lfm3:1.7b로 있으며, 둘 다 1.7GB 다운로드이고 256K 컨텍스트 창이 선언되어 있으며, Transformers에서 실행되고 단일 GPU 파인튜닝이 가능합니다. Hugging Face 릴리스에는 SFT, DPO, GRPO용 노트북이 포함되어 있으며, 휴대폰 앱에서 108개 중 올바른 도구를 선택하도록 모델을 훈련하는 구체적인 예제도 포함되어 있습니다. 목표가 데이터와 같은 머신에 상주하는 작고 특화된 파인튜닝 추출기라면, 이것은 다운로드에서 배포까지 정말로 짧은 경로입니다.

Qwen3.8-27B는 다른 종류의 프로젝트입니다. BF16에서 약 56GB이므로 멀티 GPU 머신이나 공격적인 양자화가 필요합니다. 4비트에서는 14–16GB에 들어가므로 고급 단일 GPU나 고사양 노트북에 적합하지만, KV 캐시로 인해 실제 메모리 사용량은 더욱 높아집니다. Transformers, vLLM, SGLang 및 TokenSpeed에서 실행됩니다. 해당 하드웨어를 직접 소유하고 싶지 않다면 호스팅 형태로 사용할 수 있습니다. OrcaRouter에서는 두 업스트림 제공업체가 서비스하며, 첫 번째는 입력 100만 토큰당 $0.33, 출력 100만 토큰당 $2.40이고, 두 번째는 $0.40 / $4.21입니다.

두 공급자 간의 이 가격 차이는 잠시 짚고 넘어갈 만한데, 이런 것은 보도자료가 아니라 실제 카탈로그를 들여다봐야만 드러나는 종류의 일이기 때문입니다. 동일한 가중치, 동일한 컨텍스트 윈도우인데 두 번째 공급자의 출력 비용은 약 75% 더 비쌉니다. OrcaRouter는 공급자 정가를 0% 마크업으로 그대로 전달하므로 두 가격을 나란히 볼 수 있고, 자동 장애 조치 덕분에 공급자에 문제가 생겨도 사용자에게 드러나지 않고 알아서 우회됩니다. 소형 모델에서 시작하는 파이프라인의 에스컬레이션 경로로 Qwen3.8-27B를 검토하고 있다면, 바로 그 구간이 하나의 키 뒤에 두게 될 부분입니다.

다른 한쪽을 분명히 하자면: OrcaRouter는 LFM3-1.7B를 서비스하지 않습니다. 그것은 가중치 다운로드이며, 이를 실행하는 것은 자체 하드웨어에서 운영하는 자신만의 엔드포인트입니다. 이 글에서 우리를 언급하는 이유는 전적으로 에스컬레이션 단계 때문이며, 작은 모델 때문이 아닙니다.

누가 무엇을 골라야 할까요?

결정은 사실 벤치마크 표에 좌우되지 않습니다. 결정을 좌우하는 것은 무엇이든 실행하기 전에 답할 수 있는 두 가지 질문입니다.

LFM3-1.7B를 선택하세요: 작업이 단일 턴이고 스키마에 묶여 있으며 — 추출, 분류, 라우팅, 구조화된 출력, 온디바이스 도구 선택 — 데이터가 기기를 떠날 수 없는 경우입니다. 미세 조정을 계획하고 있다면 이것 역시 올바른 선택입니다. SFT/DPO/GRPO 경로가 포함된 1.7B 모델과 단일 GPU 예산이라면 분기 프로젝트가 아니라 주말 프로젝트이기 때문입니다. 256K 윈도우, 16개 언어, 답변 보류 동작은 모두 동일한 사용 사례를 가리킵니다. 바로 잘못된 답변이 답변 없음보다 나쁘고, 귀사가 매출 기준선 아래에 있는, 좁고 대용량이며 프라이버시에 민감한 구성 요소입니다.

모델이 계획을 세워야 한다면 Qwen3.8-27B를 선택하세요 멀티스텝 에이전트, 터미널 작업, 장기적인 코딩, 모델이 열두 번의 도구 호출에 걸쳐 자신의 실수에서 복구해야 하는 모든 작업 — 5.6× Terminal-Bench 격차는 튜닝 문제가 아니라 모델 카드가 진실을 말해 주는 것입니다. 또한 형식보다 지식이 필요할 때, 비전이나 비디오 입력이 필요할 때, Apache 2.0이 선호 사항이 아닌 요구 사항일 때도 올바른 선택입니다.

그리고 정직한 답이 당신의 파이프라인에 두 개의 절반이 있다는 것이라면, 둘 다 선택하세요. 이 짝에 맞는 패턴은 저렴하고 로컬이며 스키마에 구속된 1차 패스에, 1차 패스가 거부할 때 27B로 에스컬레이션하는 경로를 두는 것입니다. 이는 93%의 확률로 답변을 보류하는 모델이 신호하도록 만들어진 바로 그 구조입니다. 그 아키텍처는 각 모델의 가장 좋은 행을 사용하고 어느 모델의 최악의 행도 사용하지 않습니다.

이 답변을 바꾸려면 무엇이 필요할까요?

두 가지인데, 둘 다 짐작하기보다는 지켜볼 가치가 있습니다.

첫째는 LFM3-1.7B에 대한 독립적 평가입니다. 위에 제시된 모든 역량 주장은 Liquid AI 자체의 스위트에 기반하고 있으며, 이 계열의 Base 체크포인트는 벤치마크 표가 전혀 없이 배포되었습니다. 이는 이 계열의 수치가 아키텍처에 관한 이야기가 아니라 사후 학습(post-training)에 관한 이야기임을 말해 줍니다. IFBench와 Terminal-Bench에서의 중립적인 실행은 이 글에서 설명하는 그 분리를 확인하거나 해소할 것입니다.

두 번째는 Liquid가 이 백본에서 더 큰 텍스트 모델을 출시하는지 여부다. 전체 비교는 16배 파라미터 격차를 전제로 짜여 있으며, 명령 수행 결과는 파라미터 수보다 훈련 레시피가 더 많은 역할을 하고 있음을 시사한다. 중간 규모 LFM3가 나온다면, 흥미로운 질문은 "1.7B 모델이 명령을 따를 수 있는가"가 아니라 — 이미 할 수 있다 — "이 레시피가 40억 개 파라미터로 무엇을 하는가"가 된다.

그중 하나가 일어나기 전까지, 유용한 요약은 점수판보다 범위가 좁다: LFM3-1.7B는 계획을 세울 수 없는, 진정으로 뛰어난 지시 수행 모델이고, Qwen3.8-27B는 그 위에 회사를 세울 수 있는 라이선스를 갖춘, 진정으로 뛰어난 계획 모델이다. 둘 사이에서 선택하는 것은 벤치마크 질문이 아니다. 그것은 그 두 문장 중 어느 것이 당신의 워크로드를 설명하는지에 대한 질문이다.