LFM2.5-24B-A2B-DSpark vs LFM2.5-8B-A1B-DSpark: 동일한 328M 파일, 전혀 다른 두 가지 승부수

두 파일 중 어느 것을 내려받아도 655,421,522바이트입니다. LFM2.5-24B-A2B-DSpark과 LFM2.5-8B-A1B-DSpark는 바이트 단위까지 크기가 같고, 5개 레이어 백본과 동일한 rank-256 Markov 헤드, 동일한 블록 크기 9, 동일한 128,000 토큰 어휘를 공유합니다. 그런데 둘 다 단 하나의 프롬프트에도 답할 수 없습니다. 둘 다 대상 모델을 위해 토큰을 추측하는 용도로만 존재하는 추측 디코딩 드래프터이기 때문입니다. 이 둘을 가르는 것은 각자의 사양이 아닙니다. 어떤 대상 모델을 기준으로 학습되었는지, 그리고 그 대상에서 이 기법이 통한다는 증거가 얼마나 있는지입니다. 하나는 출시 글에서 GPU와 MacBook 측정치가 공개되어 있고, 다른 하나는 GPU 표만 있을 뿐 발표가 없습니다. 따라서 둘 중 하나를 고르는 것은 모델 비교가 전혀 아닙니다. 두 가지 베팅을 비교하는 것이며, 그중 현금화된 것은 하나뿐입니다. 이와 같은 출시의 배경에 있는 문서화된 AI 실패와 에이전트 사건들은 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰 등급, 이의 제기 플래그가 함께 표시됩니다.

파일은 쌍둥이지만, 작업은 그렇지 않습니다.

두 개의 config.json 파일을 나란히 읽어 보면 거의 모든 필드가 일치합니다: 은닉 크기 2,048, 중간 크기 6,144, SiLU 활성화, 헤드 차원 64에서 8개의 KV 헤드에 걸친 32개의 어텐션 헤드, 5개의 전체 어텐션 레이어, 블록 크기 9, enable_confidence_head: true, 랭크 256의 바닐라 마르코프 헤드. 파라미터 수가 동일하여 safetensors 파일이 바이트 단위로 일치합니다.

세 개의 필드가 서로 다르며, 각각이 없어서는 안 될 역할을 합니다.

• 타깃 레이어 탭 — 8B 드래프터는 24개 레이어 타깃의 레이어 2, 6, 10, 14, 18에서 히든 상태를 읽고, 24B 드래프터는 40개 레이어 타깃의 레이어 2, 10, 18, 26, 34에서 읽습니다. 이 필드 때문에 파일들은 서로 교환할 수 없습니다.

• 최대 위치 수 — 8B 드래프터는 128,000, 24B는 131,072로, 각각 대상 모델의 컨텍스트 윈도를 따릅니다.

• RoPE theta — 5,000,000 대 10,000,000, 드래프터에 관한 어떤 요소가 아니라 대상의 위치 인코딩에 의해 설정됩니다.

그 마지막 쌍은 이 체크포인트들이 공통 기반에서 확장된 것이 아니라 대상별로 학습되었다는 가장 명확한 증거다. 드래프터에는 독립적인 정체성이 없다. 그 입력 분포란 대상 모델의 은닉 상태가 보이는 모습 그대로이며, 그것은 대상의 아키텍처와 학습이 바뀌면 함께 바뀐다. 8B 드래프터를 24B 모델에 겨누어 보라. 레이어 인덱스만으로도 그것은 말이 되지 않게 되고, 설령 그것들이 맞아떨어진다 해도 그것이 예측하도록 학습된 로짓은 맞지 않을 것이다.

각각이 실제로 가속하고 있는 것

타깃들은 "8B 대 24B"라는 명칭이 암시하는 것보다 훨씬 더 다르며, 그 차이는 더 큰 모델이 온디바이스에서 더 부담스러운 작업이라고 가정하는 사람에게는 예상과 반대 방향으로 작용한다.

• 총 파라미터 및 활성 파라미터 — LFM2.5-8B-A1B는 총 8.3B이며 토큰당 활성 파라미터는 1.5B입니다. LFM2.5-24B-A2B는 총 24.0B이며 활성 파라미터는 2.45B입니다.

• 깊이 — 40개 레이어(30개 컨볼루션 + 10개 GQA)와 대조되는 24개 레이어(18개 게이트 컨볼루션 + 6개 GQA).

• 컨텍스트 — 131,072 대비 128,000 토큰.

• 학습 예산 — 38T 토큰 대 36T이므로, 더 작은 모델은 더 큰 모델에 비해 학습이 부족하지 않았다.

• 라우팅 — 8B는 24B와 마찬가지로 top-4 라우팅을 사용하는 64-전문가 MoE를 사용하므로, 둘 다 검증에 악영향을 주는 전문가 활성화 패널티를 부담합니다.

둘 다 답하기 전에 생각하는 추론 모델이며, 여기서는 파라미터 수보다 그 점이 더 중요하다. 추측 디코딩의 가장 큰 약점은 길고 제약 없는 출력인데, 사고의 연쇄가 바로 그렇다. 벤더 표가 이를 보여준다. 두 릴리스 모두에서 수용률이 가장 높은 행은 MBPP와 MT-Bench 같은 단답형 벤치마크이고, 가장 낮은 행은 모델이 긴 해결 경로를 새로 만들어내야 하는 경우다.

증거 격차가 진정한 차이입니다

두 릴리스가 비교 가능한 지점은 여기서 끝납니다. 8B 드래프터는 2026-08-20에 전체 제품군 발표의 일환으로 출시되었으며, 매우 다른 두 머신에서 측정되었습니다. 하나는 SGLang을 통해 BF16으로 실행한 단일 H100 80GB이고, 다른 하나는 실험적 Metal 커널과 함께 llama.cpp를 통해 FP16 GGUF 가중치를 실행한 M4 Max MacBook Pro입니다. H100에서는 평균 2.54배, MATH-500에서는 최대 3.18배를 기록했고, MacBook에서는 5개 데이터셋 평균 초당 90~106토큰으로 1.18배에 그쳤습니다.

24B 드래프터에는 하드웨어 행이 하나뿐입니다. FP8 타깃, BF16 KV 캐시, temperature 0을 사용하는 단일 NVIDIA B300입니다. 이 구성은 8개 데이터셋 전반에서 동시성 1에서 평균 2.38배, 동시성 32에서 2.69배, 동시성 256에서 1.71배를 기록하며, 동시성 32의 MBPP에서 3.28배의 최대 성능을 냅니다. Mac 행도 없고 H100 행도 없으며, 이러한 누락을 설명하는 공지 글도 없습니다.

온디바이스 에이전트가 전체 홍보 포인트인 모델의 경우 — Liquid의 24B 출시 글은 Apple M5 Max에서 초당 184토큰을 앞세운다 — 빠진 MacBook 수치는 이번 릴리스에서 가장 중대한 단일 공백이다. 8B 결과는 그것이 왜 작을 수 있는지 말해 준다: 토큰 블록을 검증하면 하나를 디코딩할 때보다 더 많은 전문가가 활성화되므로, MoE 타깃은 승인 토큰당 더 많은 가중치를 옮긴다. 그리고 승인율만이 예측 변수는 아니다: 8B 드래프터는 실제로 24B의 카드가 보고하는 것보다 스텝당 평균적으로 더 많은 승인 토큰을 기록했지만(5개 데이터셋에 걸쳐 6.95 대 8개에 걸쳐 5.16), MacBook에서는 여전히 1.18×만 달성했다. 기억할 만한 점은 이것이다 — 8B에서는 강한 승인율이 온디바이스 처리량을 구제하지 못했다. 24B가 다르게 동작한다고 가정하는 것은 뒷받침하는 숫자가 없는 베팅이다.

두 표를 서로 대조하여 읽기

대표 비율들은 동일 조건에서 비교한 것이 아니므로 서로 빼서 계산해서는 안 됩니다. GPU도 다르고, 목표 정밀도도 다르고, 데이터셋 구성도 다르고, 동시성 스윕도 다릅니다. 그러나 두 가지 패턴은 이러한 불일치에도 불구하고 여전히 유효합니다.

첫째, 상한은 비슷합니다. 8B의 최고 H100 셀은 배치 크기 1에서 MATH-500 기준 3.18×였고, 24B의 최고 B300 셀은 동시성 32에서 MBPP 기준 3.28×입니다. 이 설계의 드래프터들은 어떤 대상 모델을 서비스하든 동일한 1.5×–3.3× 범위에 들어오는데, 이는 드래프터 아키텍처를 고정하고 가중치만 바꿀 때 예상할 수 있는 결과입니다.

둘째, 더 유용한 점은 최저점에서 대상들이 갈린다는 것입니다. 8B의 가장 약한 H100 셀은 GSM8K로 1.29×였고, 24B의 가장 약한 B300 셀은 동시성 256에서 LiveCodeBench가 1.34×, AIME가 1.36×였습니다. 두 릴리스 모두 추측이 공짜인 경우를 만들지 않으며, 둘 다 메모리를 쓸 만한 가치가 거의 없는 경우를 만들어냅니다.

두 카드 사이에는 놓치기 쉽고 짚어둘 만한 문서 변경도 있습니다. 8월 자료에서는 그리디 디코딩에서의 출력이 "구성상" 기준선과 동일하다고 했습니다. 8B 카드는 "정확히 동일한 출력"을 약속합니다. 반면 24B 카드는 배치 검증과 일반 디코딩 사이의 부동소수점 차이로 인해 그리디 샘플링에서도 서로 다른 텍스트가 생성될 수 있다고 경고합니다. 나중 카드가 더 신중한 쪽이며, CI에서 바이트 수준 출력 차이 비교를 실행한다면 이전의 약속을 신뢰하기보다 두 경우 모두 잠재적으로 동일하지 않을 수 있다고 취급하는 것이 좋습니다.

어느 것이 당신에게 관련이 있는지는 예산이 아니라 목표에 의해 결정됩니다.

어떤 팀도 이 둘 중 하나를 성능만 놓고 다른 하나보다 선택하는 상황은 없습니다. 24B를 돌리는 이유는 24B 모델의 성능이 필요하고, 그걸 담을 수 있는 머신이 있기 때문입니다 — GGUF의 Q4_K_M에서 14.5GB, 또는 FP8 서빙 구성용 B300 한 장이면 됩니다. 8B를 돌리는 이유는 전체 8.3B 파라미터 중 1.5B가 활성인 구성이 엣지 디바이스나 노트북에 맞기 때문이며, 드래프터가 작게 가면서 포기한 디코드 속도를 일부 회복해 줍니다. 드래프터는 그 첫 번째 결정에 부수적인 요소이고, 그 결정은 대개 스페큘레이션이 대화에 등장하기 훨씬 전에 메모리와 품질을 기준으로 내려집니다.

선택이 실제로 유효한 경우는 평가 단계 하나뿐이다. DSpark를 여러분의 스택에 도입할 가치가 있는지 시험하는 중이라면, 8B 조합이 더 저렴한 실험이다. H100 한 대에 들어가고, 여러분의 노트북과 비교해 볼 수 있는 Mac 수치가 있으며, 온디바이스에서의 실패 방식은 이미 벤더가 문서화해 두었다. 24B 조합은 더 흥미로운 프로덕션 실험이자 문서화가 덜 된 쪽이다.

둘 중 어느 쪽이든 결과를 결정하는 숫자는 벤더 표가 아니라 수용 카운터다. SGLang은 요청별 추측 디코딩 수용률을 노출하고, llama.cpp는 draft_n 및 draft_n_accepted를 응답별 타이밍에서 보고한다. 10분 동안 직접 프롬프트를 실행해 나눠 보라. 수용률이 카드 평균 근처라면 드래프터가 이득이고, 낮은 쪽 끝이라면 검증 패스에 비용을 쓰는 셈이므로 떼어내야 한다 — 그리고 그 결론은 메커니즘이 같기 때문에 두 체크포인트 모두에 적용된다.

어느 체크포인트도 호출할 수 있는 모델이 아닙니다.

모델 카탈로그에서 이런 이름을 접하고 그것이 메뉴의 선택지라고 생각하는 사람들이 걸리는 부분이 바로 여기다. 그것들은 엔드포인트가 아니다. 어느 드래프터도 백만 토큰당 가격이 없고, 어느 것도 API 목록에 나타나지 않으며, 모델을 제공하는 플랫폼이 이들로 라우팅하는 일은 결코 없을 것이다 — 올바른 페어링은 요청 파라미터가 아니라 서버 측 구성이기 때문이다.

Liquid AI는 24B 타깃 자체를 백만 입력 토큰당 $0.10, 캐시된 경우 $0.05, 백만 출력 토큰당 $1.00에 판매하며, 그 가격 뒤에서 어떤 추론 기법이 돌아가는지는 호출자에게 보이지 않습니다. 이것이 이제 시장의 일반적인 형태입니다. 흥미로운 엔지니어링은 서빙 스택 내부에서 일어나고, 개발자에게 도달하는 것은 요율과 초당 토큰 수치뿐입니다. 라우팅 플랫폼이 존재 가치를 발휘하는 지점은 그 위 계층에서의 비교, 즉 후보 모델을 그것이 이겨야 할 모델들과 나란히 놓는 일입니다. OrcaRouter는 하나의 엔드포인트로 공급자 정가 대비 0% 마크업으로 200개가 넘는 모델을 운영하므로, 공급업체의 요율이 바뀌면 보이는 요율도 같은 날 바뀌고, 페일오버 덕분에 후보 모델을 평가하는 동안 그것이 단일 장애점이 되지 않습니다. LFM2.5 패밀리는 현재 그 목록에 없으므로, 드래프터를 붙인 8B 또는 24B를 자체 호스팅하는 것은 로컬 배포로 남습니다. 그것과 비교해 볼 가치가 있는 모델 — Qwen3.6-35B-A3B는 에이전트 쪽에서, Gemma 4 26B-A4B는 효율 쪽에서 — 바로 우리가 라우팅하는 모델들입니다.

DSpark 릴리스 1년이 확립한 것

이 패밀리는 이제 1.2B에서 24B까지 텍스트 타깃 네 개와 비전 타깃 하나를 아우르며, 모두 하나의 드래프터 레시피를 공유합니다. 약 300M 파라미터, 어텐션 레이어 5개, 블록 9, 각 타깃 자체의 은닉 상태로 학습하는 방식입니다. 진짜 발견은 바로 그 일관성입니다. Liquid는 추측 디코딩을 모델별 연구 프로젝트에서 제조 단계로 바꿨습니다. 동일한 드래프터를 대상만 바꿔 각 새 모델 출시 후 며칠 안에 출시하는 것입니다. 그 단계가 당신의 하드웨어에서 가치가 있는지는 당신의 트래픽에 관한 질문이며, 그 답은 이 두 파일 중 무엇을 다운로드하느냐보다 워크로드에 따라 훨씬 더 크게 달라집니다.

24B 릴리스가 그 그림에 더하는 것은 더 나은 비율이 아니다. 그것은 드래프터가 동봉된 설명 문서 없이 출시된 첫 번째 사례이며, 벤더 자체의 모델 카드가 산출물이 결국 비트 단위로 동일하지 않을 수도 있다고 평이한 표현으로 밝힌 첫 번째 사례이기도 하다.