LFM3-1.7B vs Gemma 4 12B: 7배 더 작은 모델이 코딩 벤치마크에서 이기는 경우

LFM3-1.7B은 Liquid AI가 2026년 10월 26일 Hugging Face에 공개하고 다음 날 LFM3 패밀리 출시의 일환으로 발표한 17억 3천만 개 매개변수의 텍스트 모델입니다. Gemma 4 12B는 Google DeepMind가 2026년 6월 3일에 출시한 119억 5천만 개 매개변수의 밀집 모델이며, 텍스트뿐 아니라 이미지와 오디오도 읽습니다. 두 공급업체가 모두 공개하는 단 하나의 코딩 벤치마크인 — LiveCodeBench v6 — 에서 더 작은 모델은 73.46점을, 더 큰 모델은 72.0점을 기록합니다. 이 숫자를 두 번 읽어 보세요. 이것이 이 페이지가 존재하는 이유 전체이자 인터넷에서 가장 잘못 읽기 쉬운 숫자이기 때문입니다. 라우팅은 공급업체의 정가에 마진을 추가하지 않습니다. 0% 마크업 가격 페이지에서 패스스루 가격을 확인하세요.

두 수치는 모두 벤더가 보고한 것입니다. 어느 것도 독립 평가자에 의해 재현되지 않았습니다. 서로 다른 팀이, 서로 다른 하네스에서, 몇 달 간격을 두고 산출했으며, Liquid는 자사의 LiveCodeBench 실행이 어떻게 구성되었는지 설명하는 방법론 노트를 공개하지 않았습니다. 따라서 위 문장을 정직하게 표현하면 "1.7B 모델이 코드에서 12B 모델을 이긴다"가 아닙니다. 그것은 다음과 같습니다. 두 벤더가 이름을 공유하는 한 벤치마크에서 거의 동일한 점수를 보고했으며, GPQA Diamond에서 반대 방향으로 나타난 9점 격차는 두 모델이 전혀 동등하지 않음을 시사합니다.

무엇이 진정으로 비교 가능하고, 무엇이 그렇지 않은가

대부분의 "X vs Y" 페이지는 두 벤더의 표를 나란히 놓고 그것을 비교라고 부른다. 그 방법은 표가 겹칠 때만 통한다. Liquid의 LFM3 출시 글과 Google의 Gemma 4 모델 카드 사이에서 양쪽에 호환되는 정의로 등장하는 벤치마크 이름은 정확히 두 개다: LiveCodeBench v6와 GPQA Diamond. 나머지는 한 벤더만 보고하고 다른 벤더는 보고하지 않으며, 빈 셀은 0이 아니다.

두 공유 축에서 결과는 명확히 갈린다. LFM3-1.7B는 LiveCodeBench v6에서 73.46 대 72.0으로 앞선다. Gemma 4 12B는 GPQA Diamond에서 78.8 대 63.37로 앞서는데, 이는 수백 개 질문 규모의 평가에서 노이즈가 아닌 15.4점 차이다.

그 패턴은 평균으로 뭉개 버리기보다 이름을 붙일 가치가 있다. LiveCodeBench는 모델이 경쟁 프로그래밍 문제를 완료하는 능력을 측정하는데, 이는 올바른 데이터로 학습한 작은 모델이 잘할 수 있는 좁고 패턴 의존적인 기술이다. GPQA Diamond는 지식의 폭에 의존하는 대학원 수준 과학 추론을 측정하며, 이는 바로 파라미터 수가 제공하는 것이다. 1.7B 모델은 첫 번째에서는 경쟁력이 있을 수 있고 두 번째에서는 뒤처질 것이며, 이는 모순이 아니라 일관된 결과다.

해당 공급업체는 자사의 최저가보다 낮은 가격을 제시한다.

다음은 73.46을 읽는 방식을 바꿔야 하는 부분입니다. LFM3-1.7B 모델 카드 맨 아래로 내려가면 Liquid는 이 모델이 로컬 에이전트, 도구 호출, 구조화된 출력을 위해 설계되었으며, 그리고 이 모델은 작은 크기 때문에 에이전트 기반 코딩이나 복잡한 다단계 추론에는 권장되지 않는다.

그것은 경쟁사가 아니라 벤더가 한계를 알려주는 것이다. 그것은 11.95B 범용 모델을 근소하게 앞서는 LiveCodeBench 점수 옆에 어색하게 놓이는데, 이를 조화시키는 해석은 이 둘이 서로 다른 것을 측정한다는 것이다. 고립된 경쟁 프로그래밍 문제를 푸는 것은 저장소를 컨텍스트에 두고 스무 개의 조정된 편집을 수행하는 것과 같은 작업이 아니다. 모델은 전자에 강하면서 후자에는 명백히 부적합할 수 있으며, Liquid는 벤치마크가 그 반대를 암시하도록 두기보다 그 점을 말하고 있다.

벤더의 말을 액면 그대로 받아들이세요. 워크로드가 에이전트형 코딩이라면, 이 비교는 LFM3-1.7B로 끝나서는 안 됩니다. 워크로드가 도구 호출, 구조화된 추출, 분류, 또는 소유한 기기에서의 로컬 어시스턴트라면, 카드의 경고는 당신에게 해당되지 않으며 1 GB 풋프린트가 그 자체로 모든 근거가 됩니다.

12B가 단순히 다른 종류의 것인 경우

Gemma 4 12B는 미세 조정으로 LFM3-1.7B에 추가할 수 없는 방식으로 멀티모달입니다. Google의 모델 카드는 이미지와 오디오 입력이 별도의 인코더 없이 텍스트 토큰과 동일한 공간에 직접 투영된다고 설명하며, 오디오는 12B와 그보다 작은 형제 모델들에서 기본 지원됩니다. LFM3-1.7B는 텍스트 입력, 텍스트 출력입니다. Liquid의 비전 기능은 별도의 인코더를 갖춘 별도 체크포인트인 LFM3-VL-2B에 있으며, 텍스트 모델은 미세 조정으로 인코더를 얻지 못합니다.

• 파라미터 — LFM3-1.7B의 경우 1.73B dense, Gemma 4 12B의 경우 11.95B dense입니다. 비율은 6.9 대 1입니다.

• 모달리티 — 텍스트 전용으로, 텍스트·이미지·오디오 입력과 비교합니다.

• 컨텍스트 — 양쪽 모두 262,144 토큰입니다. 이 항목은 소형 모델이 전혀 뒤지지 않는 유일한 행이며, 이는 우연이 아니라 삼중 하이브리드 아키텍처의 실제 성과입니다.

• 풋프린트 — 약 7GB에 비해 4비트에서는 약 1GB입니다. 휴대폰에서 이 차이는 출시할 수 있느냐 없느냐를 가르는 차이입니다.

• 언어 — 강력한 즉시 사용 지원을 갖춘 140개 이상의 사전 학습 언어에 대비한 16개 지정 언어. 라틴 문자 기반 제품에서는 이 격차가 거의 문제되지 않지만, 지역 배포에서는 결정적입니다.

• 라이선스 — LFM Open License v1.0은 연간 매출 1,000만 달러 미만이면 상업적 사용이 무료이며, 이를 초과하면 유료 라이선스가 필요합니다. Gemma 4 12B는 매출 기준 없이 Apache 2.0입니다.

두 지폐는 동일한 통화로 표시되어 있지 않습니다.

Gemma 4 12B는 제3자가 이를 서비스하기 때문에 시장 가격이 형성됩니다. Artificial Analysis는 오픈 가중치를 호스팅하는 플랫폼 전반에서 입력 토큰 100만 개당 $0.10, 출력 토큰 100만 개당 $0.30의 혼합 중앙값을 보고합니다. 이는 제공업체 간 중앙값이지 정가가 아니며, 공급이 변하면 함께 움직이는 값입니다. 그 정도 가격이라면 대부분의 팀은 12B를 직접 운영하는 일을 생각조차 하지 않습니다.

LFM3-1.7B에는 그런 가격이 없습니다. Hugging Face 카드에는 이 모델이 어떤 추론 제공자에 의해서도 배포되지 않는다고 분명히 명시되어 있으며, 이는 우리 쪽에서 보이는 것과도 일치합니다. OrcaRouter는 현재 LFM3-1.7B를 라우팅하지 않습니다. 이를 호출하려면 BF16 가중치 3.46 GB 또는 약 1 GB의 4-bit 빌드를 다운로드하고 vLLM, SGLang, llama.cpp, MLX 또는 ONNX를 직접 실행해야 합니다. Liquid 자체 API에서도 이를 제공할 것이고, 여러 타사 플랫폼에서도 제공할 것입니다.

따라서 비용 비교는 토큰 대 토큰이 아니다. 그것은 파인튜닝 및 서빙 비용 대 호출당 비용이다. 낮은 볼륨에서는 API가 이론의 여지 없이 이긴다. 이미 보유한 하드웨어에서 지속적인 볼륨에서는 나머지 GPU를 비워 두는 1GB 모델이 완전히 다른 경제적 형태다. 그 비대칭성 — 4포인트 LiveCodeBench 격차가 아니라 — 이 소형 모델을 고려해야 하는 진짜 이유다.

각각이 실제로 무엇을 위한 것인지

LFM3-1.7B를 선택하세요 배포 대상이 제약 조건일 때: 휴대폰, 노트북, 다른 작업도 함께 처리해야 하는 단일 소형 GPU. 256K 컨텍스트는 이 크기에서 정말 이례적이며, 16개 언어 어휘는 대부분의 지역 제품을 포괄하고, 6가지 추론 지원은 하나의 런타임에만 베팅하지 않는다는 뜻입니다. 이것이 추론 모델이 아니라 도구 호출 및 추출 모델을 사는 것임을 인정하고, 공급업체 스스로 지적한 지식 격차를 염두에 두고 검색을 계획하세요.

작업에 폭넓은 역량이 필요할 때, 입력이 스크린샷이나 녹화본일 때, 또는 조달 절차에서 Apache 2.0이 중요할 때는 Gemma 4 12B를 선택하세요.대학원 수준 과학 추론에서 15점 더 높은 점수를 기록하고, 이미지를 네이티브로 읽으며, 출시 첫날부터 공개된 중앙값 가격으로 이용할 수 있습니다. 그 대가는 메모리입니다. 4비트에서 7GB는 휴대폰이 아니라 노트북이나 보급형 GPU를 뜻합니다.

둘 다 선택하세요 트래픽이 많은 좁은 경로와 트래픽이 적은 넓은 경로가 있을 때. 넓은 경로는 호스티드 범용 모델로 라우팅하고, 작은 모델은 좁고 지연에 민감한 호출을 위해 온디바이스에 유지하세요. OrcaRouter는 그 분할의 전반부를 위해 만들어졌습니다 — 200개 이상의 모델에 걸친 하나의 키, 제공업체 목록 가격을 0% 마크업으로 그대로 전달하여 가격 변경이 당일 반영되며, 제공업체 성능이 저하되면 자동 장애 조치가 이루어집니다. LFM3-1.7B 호스팅에는 도움이 되지 않습니다. 저희는 해당 모델을 제공하지 않으며, 그렇지 않은 것처럼 암시하는 것은 정직하지 않습니다.

무엇이 그것을 해결할까요?

LFM3-1.7B가 스스로 선택하지 않은 하네스에서 이루어진 독립적 평가 하나가 이 페이지 전체보다 더 많은 것을 말해줄 것입니다. Liquid의 출시 표는 상세하고 내부적으로 일관성이 있으며, 이 블로그는 이를 검증된 것이 아니라 공급업체가 보고한 것으로 취급하는데, 실제로 그렇습니다. 주목할 만한 구체적인 사항은 73.46을 재현하는 제3자 LiveCodeBench 또는 SWE-bench 실행, 두 모델을 하나의 척도에 올리는 Artificial Analysis 프로필, 그리고 모델이 실제 저장소 작업을 처리했다는 모든 보고입니다 — 이는 카드가 경고하는 바로 그 사용 방식입니다.

그때까지, 정당화할 수 있는 해석은 헤드라인보다 좁다. 256K 컨텍스트, 1GB 풋프린트, 강력한 툴 호출 프로필을 갖춘 1.73B 모델이 하나의 고립된 코딩 벤치마크에서 12B 범용 모델을 따라잡았고, 지식에서는 그것에 크게 뒤처진다. 그것은 이변이 아니다. 서로 다른 작업을 위해 만들어진 두 모델이며, 유용한 질문은 당신이 어떤 작업을 맡고 있느냐이다.