d1-2B vs Liquid AI d1-3B: 더 작은 모델이 보드에서는 이기고 배포에서는 진다

이 매치업을 결정짓는 것은 네 가지 질문이며, 그중 "어느 모델이 더 나은가"는 단 하나도 아닙니다. 상태에 비디오가 포함되는가? 32K 토큰을 초과하는가? llama.cpp에서 실행해야 하는가? 가장 먼저 테스트하는 사람이 될 여유가 있는가? d1-2B는 Liquid AI의 1.92B 의사결정 모델로, LFM3-VL-2B를 기반으로 하며 벤더의 Decision Index 표에서 51.1점을 기록했습니다. Liquid AI d1-3B는 10월 7일에 공개된 3.12B 모델로, LFM2.5-VL-3B를 기반으로 하며 같은 표에서 49.0점을 기록했습니다. 더 새롭고 더 작은 모델이 평균적으로 앞섭니다. 그러나 실제 배포에서 중요하게 작용하는 항목 중 세 개에서는 여전히 뒤지며, 둘 중 이 모델만이 llama.cpp 경로도, 독립적인 테스트 결과도 없습니다. 이 페이지는 리더보드가 아니라 이 네 가지 질문을 중심으로 구성되어 있습니다. 리더보드는 그중 어느 것도 답해 주지 않기 때문입니다.

워크로드별 간단한 답변

• 대량 처리 시 텍스트 전용 트리아지 — d1-2B, 64개 배치 상태에서 초당 1,132건의 결정과 3.84GB의 가중치라는 강점을 바탕으로 합니다. 출력이 레이블일 때 Typed Decisions에서 3B의 우위는 무관합니다.

• 도표 및 차트 읽기 — Liquid AI d1-3B. AI2D에서 79.9 대 76.7로 앞서며, 독립적인 실행 결과가 뒷받침하는 모델입니다.

• 긴 문서, 긴 양식, 긴 통화 기록 — d1-2B. 윈도우는 32,768 대비 128K 토큰이며, 모델 카드에서도 약 64K를 넘으면 신뢰도가 떨어진다고 솔직히 밝히고 있는데, 그래도 3B의 전체 용량의 두 배는 남는다.

• llama.cpp를 실행하는 엣지 박스 — Liquid AI d1-3B, 실력이 아니라 기본값으로 선택된. GGUF 저장소와 양자화된 가중치-활성화 빌드가 있으며, d1-2B에는 둘 다 없다.

• 잘못된 판단이 큰 비용을 초래하면서 아직 검증되지 않은 모든 경우 — 둘 다 아닙니다. 직접 데이터로 둘 다 실행해 보기 전까지는요. 그중 하나만 제3자가 실행해 본 것조차 있습니다.

같은 제품군, 한 세대 차이

두 모델은 이름이 암시하는 것처럼 형제 모델이 아니다. Liquid AI d1-3B는 LFM2.5-2.6B-Base에서 유래한 LFM2.5-VL-3B에서 파생되었으며, 400M SigLIP2 NaFlex 비전 인코더를 탑재한다. d1-2B는 다음 제품군인 LFM3-VL-2B에서 파생되며, 13개의 게이트형 짧은 컨볼루션, 5개의 슬라이딩 윈도 어텐션 레이어, 6개의 전역 어텐션 레이어로 나뉜 24개 레이어 백본을 사용한다. 벤치마크 역전은 바로 이 세대 차이에서 비롯된다. 최신 아키텍처는 파라미터당 더 많은 일을 하므로, 더 작은 체크포인트가 대부분의 행에서 더 큰 체크포인트보다 높은 점수를 낼 수 있다.

• 파라미터 — d1-2B는 1.92B, Liquid AI d1-3B는 3.12B입니다.

• 다운로드 — BF16 safetensors 기준 3.84GB 대 6.25GB, 둘 다 단일 파일입니다.

• 컨텍스트 — 128K 토큰 대 32,768.

• 어휘 — 128,000 토큰, LFM2.5 어휘 대비.

• 입력 — 텍스트 또는 JSON, 이미지 또는 동영상, 그리고 d1-2B용 이름이 지정된 질문들; 3B의 경우 텍스트 또는 JSON과 이미지. 동영상은 두 모델 간의 가장 명확한 기능 차이입니다.

• 언어 — 각각 16개, 동일한 세트입니다.

• 라이선스 — 두 가지 모두 LFM Open License v1.0이며, 상업적 사용은 연간 매출이 $10,000,000 미만을 유지하는 것을 조건으로 합니다. 어느 쪽을 선호할 만한 라이선스상의 이유는 없습니다.

• 출시 — d1-3B의 가중치는 10월 5일에 업로드되었고 10월 7일에 발표되었습니다. d1-2B의 저장소는 10월 24일에 생성되었으며 자체 게시물은 한 번도 없었습니다. 해당 모델을 지칭하는 유일한 벤더 측 문장은 10월 27일 LFM3 출시 관련 내용에 있습니다.

문서의 한 세부 사항은 사실이라기보다 신호로 읽을 가치가 있습니다. Liquid AI의 의사 결정 모델 문서 페이지에는 이제 d1-2B, d1-omni-2B, d1-omni-600M, d1.1, d1-ultra가 나열됩니다. 더 이상 d1-3B는 나열되지 않습니다. 3B는 은퇴한 것이 아닙니다 — 해당 저장소와 GGUF 및 MLX 빌드는 모두 살아 있습니다 — 하지만 벤더 자체의 인덱스는 오픈 웨이트 슬롯을 2B로 옮겼습니다.

점수판, 한 행씩 읽기

아래의 모든 수치는 d1-2B의 모델 카드에 있는 벤치마크 표에서 나온 것으로, 이 표는 네 개의 공개 d1 모델을 동일한 항목에 대해 동일한 채점기로 평가합니다. 이 점이 중요한 이유는 Liquid AI d1-3B 자체 카드가 Decision Index 0.2.1에서 48.57을 보고하는 반면, 이 표는 버전 0.3에서 49.0을 보고하기 때문입니다. 격차는 모델 변경이 아니라 지수 에디션 때문이며, 카드도 주석에서 그렇게 밝히고 있습니다. 두 카드를 직접 비교하는 것 — 48.57 대 51.1 — 은 서로 다른 두 테스트를 가로질러 빼는 셈이 됩니다. 이 표 안에서 비교하는 것은 정당하며, 이 섹션의 나머지 부분이 하는 일도 바로 그것입니다.

• Decision Index 공개 스위트 v0.3 — 51.1 대 49.0.

• DecisionBench (Hanno Labs) v1 — 77.1 대 73.1.

• Decision Bench (decisionbench.ai) v4 — 85.2 대 83.6.

• JevBench v1.4.1 — 77.9 대 76.2.

• ImajevBench v2.0-lite — 75.5 대 64.0, 의사결정 측면에서 가장 큰 격차입니다.

• WorkflowEvals — 81.6 대 74.4.

• Liquid AI의 내부 보드 — 63.2 대 58.8.

• 비전 평균 — 18개 벤치마크에서 70.2 대 65.4.

그 표에 있는 모든 명명된 의사결정 스위트는 2B의 몫입니다. LFM3 출시 글이 d1-2B를 d1-3B의 대체품이라고 부르며 "매개변수가 3분의 1 더 적고" "네 가지 의사결정 스위트 모두에서" 더 높은 점수를 받았다고 말할 때 의미하는 바가 바로 이것입니다. 이 주장은 쓰인 그대로 정확하며 — "3B를 능가한다"보다 좁은 범위인데, 그렇기 때문에 다음 문단이 존재합니다. 그다음 반대 방향으로 가는 세 개의 행이 있습니다. Fast Decisions는 d1-2B가 58.8이고 3B가 59.3입니다. Typed Decisions는 61.3 대 65.0입니다. AI2D는 76.7 대 79.9입니다. 이러한 격차 중 큰 것은 없으며, 세 개 중 두 개는 1점 이내이지만, 이들은 추가된 1.2B 매개변수가 여전히 측정 가능한 이점을 제공하는 행입니다: 속도 중심의 의사결정, 타입 지정 추출, 도표 읽기. 파이프라인의 작업이 양식에서 타입 지정 추출이라면, 3B는 문서 페이지가 암시하는 것처럼 구식 옵션이 아닙니다.

지연 시간: 두 핵심 수치는 비교할 수 없습니다

Liquid AI는 d1-2B의 경우 결정당 5.7ms, Liquid AI d1-3B의 경우 8ms라고 인용하는데, 이 둘은 같은 측정이 아니다. 2B 수치는 H100 PCIe에서, 3B 수치는 RTX 4090에서 나온 것이다. 서로 다른 두 GPU 사이의 2.3ms 차이는 귀하의 하드웨어에서 어느 모델이 더 빠른지에 대해 아무것도 알려주지 않으며, 이를 비교로 반복하는 것은 이 블로그가 피하고자 존재하는 바로 그런 종류의 숫자 세탁이 될 것이다.

두 카드가 모두 보고하는 머신은 하나입니다. Apple M5 Pro에서 d1-2B는 질문당 18.6ms가 걸리고 3B는 30ms가 걸립니다 — 동일한 실리콘에서 38% 감소입니다. 이것이 정직한 속도 비교이며, 크기 차이가 시사하는 것과 같은 방향을 가리킵니다. 배치 처리에서 d1-2B는 H100 PCIe에서 초당 1,132개의 결정을 처리하고, 한 번의 호출에 64개 상태를 사용하는 MI325X에서 초당 1,699개를 처리합니다. 3B의 카드는 RTX 4090에서 초당 475개, MI325X에서 초당 1,106개를 보고합니다. MI325X 행은 두 카드가 공유하는 행이며, 거기서 2B가 약 54% 앞섭니다.

현존하는 유일한 독립 테스트가 3B를 실행했습니다.

10월 중순에 Efraín Garay는 여덟 개의 의사결정 모델을 Decision Index 0.3과 세 가지 실제 데이터 과제에 대해 실행하고, 그 결과를 코드와 함께 공개했다. 두 가지 발견은 이 비교와 관련이 있다.

첫 번째는 스코어보드 측면에서 안심이 되는 소식이다. 그는 키트로 공개 스위트를 다시 구축했고, 다운로드한 파일이 공식 파일과 일치하는지 확인했으며, 6,000개 요청을 샘플링했고, Liquid AI d1-3B를 49.11로 채점했다 — 같은 행에서 Liquid 자체의 49.04, 전체 스위트에서 48.99와 대비된다. 이는 위 표의 v0.3 수치가 올바르게 계산되고 있다는 점에 대해 이용 가능한 가장 강력한 증거다. 이는 3B에 관한 증거이지, 그가 테스트하지 않은 d1-2B에 관한 증거는 아니다.

두 번째는 지수가 무엇을 측정하는지에 대한 경고다. 10,000건의 결제로 구성된 합성 카드 사기 데이터 세트에서 Liquid AI d1-3B는 AUC 0.314를 기록했다. 이는 우연보다 낮은 수치로, 이상 징후를 정상 결제보다 덜 의심스럽게 순위화한 것이다. 연속 결제가 폭주할 때 중앙값 확률이 0.41로 나타난 반면 정상 결제는 0.56이었기 때문이다. 그 모델은 공개 지수에서는 2위였지만 해당 과제에서는 최하위였다. 교훈은 그대로 적용된다. d1-2B의 51.1은 일반 의사결정 제품군에 대한 점수이며, 그것이 당신의 특정 의사결정에서의 성능을 예측한다는 것을 보여준 사람은 아무도 없다. 공급업체도 자체 카드에서 자체 데이터로 임계값을 보정하라는 지침을 통해 같은 취지를 밝힌다.

오늘 실제로 실행할 수 있는 것

여기서부터는 접전이 아니게 됩니다. Liquid AI d1-3B는 10월 6일부터 GGUF 저장소가 있었고, 10월 7일부터 8비트 가중치-활성화 빌드가 있었으며, 10월 12일부터 네 가지 MLX 변형이 있었습니다. d1-2B는 10월 27일 세 개의 MLX 빌드와 ONNX 내보내기를 받았고, 그 외에는 아무것도 없었습니다. d1-2B GGUF는 없고, MLX의 4비트 및 8비트 외에는 양자화가 없으며, 따라서 결정 헤드에 대해 공개된 llama.cpp 경로도 없습니다 — 기본 모델인 LFM3-VL-2B가 10월 19일부터 자체 GGUF를 가지고 있었음에도 불구하고.

Transformers 배포에서는 차이가 사라집니다: 둘 다 trust_remote_code=True로 로드되며 동일한 system_one 및 system_one_batch 호출을 제공합니다. 엣지 배포에서는 그렇지 않습니다. Jetson 또는 휴대폰에서 llama.cpp 스택을 사용한다면, 3B는 런타임 통합을 작성하지 않고도 실행할 수 있는 두 모델 중 유일하며, 공개된 엣지 수치 — Jetson AGX Thor에서 16 ms, AGX Orin 64GB에서 26 ms, Orin Nano에서 50 ms — 는 계획에 활용할 수 있는 수치입니다.

두 모델 모두 OrcaRouter에서 제공되지 않으므로, 둘 중 하나를 고르는 것은 어느 쪽이든 셀프 호스팅 결정입니다. 라우터가 제 역할을 하는 지점은 한 계층 바깥입니다. 결정 모델은 단독으로 실행되는 경우가 드물고, 라우팅 레이블에 따라 작동하는 생성 단계는 보통 호스팅된 모델에서 나옵니다. 200개 이상의 모델을 위한 OpenAI 호환 키 하나, 이러한 단계들을 하나의 호출로 구성할 수 있게 해주는 라우팅 DSL, 그리고 자동 장애 조치가 있으면 결정 노드는 자체 하드웨어에 그대로 두면서 파이프라인의 나머지 절반이 두 번째 통합 프로젝트로 번지는 일을 막을 수 있습니다.

마이그레이션하는 경우, 세 가지가 달라집니다

API 표면은 포팅이 사소해 보일 정도로 충분히 비슷하지만 실제로는 그렇지 않습니다. 먼저 입력 계약: d1-3B는 이미지를 받고, d1-2B는 미디어 목록을 받으며, 이 목록에는 비디오가 포함될 수 있고, 해당 카드에는 미디어가 한 번의 호출에서 모든 질문에 대해 한 번 인코딩된다고 설명되어 있습니다. 단일 이미지를 전달하는 코드는 실행되겠지만, 모델이 원래 무엇을 위해 만들어졌는지는 활용하지 못합니다.

둘째, 임계값입니다. 두 모델 모두 확률을 반환하며, 둘 다 데이터에 맞춰 적합된 결정 임계값이 필요합니다. d1-3B의 캘리브레이션으로 튜닝한 임계값은 전이되지 않습니다 — 캘리브레이션 테이블은 각 저장소 안에 별도로 적합되어 제공되므로 — 기존 컷오프를 유지하는 마이그레이션은 다른 운영 지점을 만들고, 모더레이션 또는 사기 탐지 경로에서는 다른 오류 프로필을 만들게 됩니다.

셋째, 신뢰성 절벽입니다. 128K 창이 헤드라인이고, 카드에 따르면 상태가 약 64K 토큰을 넘어가면 답변의 신뢰성이 떨어집니다. 3B에서는 상한이 32,768이므로 d1-2B로의 마이그레이션은 대개 순수한 용량 증가가 될 것입니다 — 하지만 이제 할 수 있다는 이유로 100K 토큰 상태를 투입하기 시작하는 파이프라인은 벤더가 더 약하다고 표시한 범위 부분을 시험하는 것입니다.

결론은 점수판만큼 대칭적이지 않다. Transformers에서 텍스트, 이미지, 비디오를 대상으로 하며 상태가 길게 이어질 수 있는 새 빌드라면 d1-2B가 더 나은 기본값이자 실행 비용이 더 저렴한 선택이다. llama.cpp 기반 엣지 배포, 타입 추출, 또는 다이어그램이 많은 비전 작업이라면 Liquid AI d1-3B가 여전히 선택할 모델이며, 이 둘 중 외부 근거가 뒷받침되는 유일한 모델이다. 하지 말아야 할 단 한 가지는 51.1 대 49.0이라는 한 줄만 보고 선택하는 것이다. 벤더 지수에서의 2점 차이는, 아무도 당신의 작업에서 실행해 보지 않은 두 모델 사이에서는 결정이 아니라 타이브레이크일 뿐이다.