NVIDIA Nemotron Labs Dory 1.0 4B 대 Qwen 3.8: 알리바바의 3계층 라인에 맞서는 오픈 웨이트 4B

NVIDIA Nemotron Labs Dory 1.0 4B를 "Qwen 3.8"과 비교하는 것은 대결이 아니다 — 그것은 특정하고도 교훈적인 방식의 어긋난 비교다. Qwen 3.8은 하나의 모델이 아니다. 오픈 웨이트 쪽에서 그것은 Qwen3.8-27B로, 256K 윈도우를 갖춘 Apache 2.0 라이선스의 27B 덴스 멀티모달 모델이며, 그 위로는 Qwen3.8-Flash와 Qwen3.8-Max가 있는데, 둘 다 더 크고 둘 다 알리바바의 API를 통해서만 제공된다. Dory는 NVIDIA가 낸 단일 4B, 텍스트 전용, 영어 전용 체크포인트로, OpenMDW 1.1 라이선스 아래 네 가지 양자화로 Hugging Face에 공개되었고, 카드에는 "GA (10/16/2026)"이 찍혀 있으며 그 뒤따르는 발표는 없다. 따라서 진짜 질문은 4B가 27B를 이길 수 있느냐가 아니다. 직접 호스팅하는 탄성 깊이(elastic-depth) 4B가, 그렇지 않으면 Qwen3.8 라인에서 임대했을 작업 등급에 더 저렴하게 도달하는 방법이냐는 것이다 — 그리고 의사결정에 가장 관련이 큰 두 가지 사실은 Qwen3.8-27B가 오픈 웨이트라서 두 모델 모두 사용자의 하드웨어에서 실행된다는 점, 그리고 Dory 자체의 카드가 어떤 Qwen3.8 모델과도 벤치마크하지 않는다는 점이다.

실제로 무엇이 비교되고 있습니까?

Q​wen 쪽부터 시작하시죠. "Qwen 3.8"은 서로 다른 세 가지 명제를 하나로 뭉뚱그리기 때문입니다.

Qwen3.8-27B는 알리바바의 오픈 웨이트 덴스(dense) 비전-언어 모델로, Apache 2.0 라이선스에 27B 파라미터, 64개 레이어, 5,120 은닉 차원을 갖추고 있으며, 모델 카드에 따르면 최대 100만 토큰까지 확장 가능한 네이티브 262,144 토큰 컨텍스트를 제공한다. 텍스트, 이미지, 동영상을 입력받아 텍스트를 출력하고, 16개의 반복 블록 전반에 걸쳐 Gated DeltaNet과 Gated Attention을 결합한 하이브리드 구조를 사용하며, vLLM, SGLang, TokenSpeed를 지원하는 Transformers 형식으로 제공된다. LiveCodeBench v6에서 90.3, GPQA Diamond에서 89.2, IFBench에서 79.5, Terminal-Bench 2.1에서 73.0을 기록했으며, 이는 길게 이어지는 에이전트 및 비전 성능 결과 목록 가운데 일부다. 2026년 8월 중순부터 공개되어 수백만 회 다운로드되었다.

Qwen3.8-Flash와 Qwen3.8-Max는 호스팅 티어입니다. Flash는 100만 토큰 컨텍스트의 비용 최적화된 멀티모달 모델이고, Max는 알리바바의 플래그십으로 역시 100만 토큰이며 가장 강력한 독점 모델들을 겨냥해 포지셔닝되었습니다. 둘 다 오픈 웨이트가 아닙니다. API를 통해 접근할 수 있습니다.

N​VIDIA N​emotron Labs Dory 1.0 4B는 4B 모델입니다. 덴스(dense)하고, 루프(looped)형이며, 잠재 순환(latent-recurrent) 방식입니다. 8개 레이어 입력 블록, 가변 횟수로 적용되는 20개 레이어 순환 블록, 8개 레이어 출력 블록으로 구성되고, 슬라이딩 윈도우 어텐션과 전체 어텐션을 교차 결합한 하이브리드 어텐션을 사용합니다. 텍스트 입력, 텍스트 출력, 영어 전용, 256K 컨텍스트. 6조 토큰으로 사전 학습되었으며, 그중 처음 약 4.5조 토큰은 네이티브 NVFP4로 학습하고, 3,000억 토큰 컨텍스트 확장을 더한 뒤 SFT와 다중 환경 GRPO를 수행했습니다. 이 모델에 대해 우리가 확인할 수 있는 호스팅 엔드포인트는 없습니다.

사람들이 자주 헷갈리는 부분이니, 한 가지는 제대로 짚고 넘어가겠습니다: N​VIDIA는 Dory를 BF16, MXFP8, NVFP4 및 Q5_K_M GGUF로 제공합니다. 정식 저장소 ID는 MXFP8 버전이지만, 카드에 있는 벤치마크는 BF16에서 측정되었습니다. MXFP8은 동일한 가중치를 양자화한 것이지, 다른 모델이 아닙니다.

스펙 대조

• 파라미터 — Dory 1.0 4B는 4B dense이며, 순환 블록을 반복적으로 적용하여 네 번의 루프에서 토큰당 유효 연산량이 파라미터 수를 초과합니다. Qwen3.8-27B는 비전 타워를 갖춘 27B dense입니다. 이들은 같은 체급이 아니며, 이 중 하나만이 소규모 메모리 배포에 적합합니다.

• 모달리티 — Qwen3.8-27B는 텍스트는 물론 이미지와 비디오도 처리합니다. Dory는 텍스트만 처리합니다. 이미지가 포함된 워크로드는 여기서 끝입니다.

• 맥락 — 둘 다 256K를 내세운다. Qwen3.8-27B의 카드에는 네이티브 262,144 포지션이며 약 100만 개까지 확장 가능하다고 나와 있고, Dory의 것은 최대 256K이며 제공된 실행 명령에서 vLLM으로 262,144가 검증되었다고 한다. Qwen3.8-Flash와 Max는 둘 다 100만 토큰에 바로 도달한다.

• 라이선스 — Qwen3.8-27B는 Apache 2.0, Dory는 OpenMDW 1.1. 둘 다 상업적 이용에 친화적이며, Apache 2.0이 더 익숙한 문구입니다.

• 언어 — Qwen3.8-27B는 계보상 다국어를 지원하며, Dory는 사전 학습 데이터에 43개 프로그래밍 언어가 포함되어 있음에도 영어만 지원합니다.

• 연산 동작 — 이것은 Dory가 Qwen3.8-27B가 구조적으로 제공할 수 없는 무언가를 가진 유일한 행입니다. Dory의 깊이는 서빙 시점 파라미터입니다: 지연 시간을 위해서는 루프 1회, NVIDIA 권장 기본값으로는 2회, 에이전트형 정확도가 더 중요할 때는 4회이며, 모두 하나의 체크포인트에서 나옵니다. 또한 루프 수에 관계없이 캐시 메모리를 대략 1회 루프 크기로 유지하기 위한 마지막 루프 KV 캐싱 모드를 갖추고 있습니다. Qwen3.8-27B는 깊이가 고정되어 있으며, 조정 수단은 양자화와 하드웨어입니다.

• 포맷 — Dory는 llama.cpp용 GGUF를 포함해 네 가지 양자화를 제공합니다. Qwen3.8-27B는 별도의 FP8 리포지토리와, 양자화 및 파인튜닝의 매우 거대한 파생 생태계를 갖추고 있는데, 이는 수백만 다운로드가 있기에 가능한 일입니다.

NVIDIA 자체 표가 피해가는 벤치마크 질문

불편한 대목은 이렇습니다. NVIDIA의 Dory 벤치마크 표는 Dory를 Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B, Qwen3.6-35B-A3B와 비교합니다. Qwen의 이전 두 세대를 사용하며 Qwen3.8은 아예 선택하지 않습니다. 4B 모델로서는 정당화할 수 있는 선택입니다—Qwen3.8-27B는 크기가 거의 일곱 배에 달하니까요—하지만 이는 제조사가 현재 Qwen 세대와의 공개된 맞대결 결과를 어느 방향으로도 전혀 내놓지 않았다는 뜻입니다. Alibaba의 Qwen3.8-27B 카드는 그 나름대로 4B가 아니라 독점 프런티어를 상대로 벤치마크합니다.

Dory의 카드가 실제로 공개하는 것은, 자사의 기존 비교 대상들과 비교했을 때, 루핑이 어디에서 이득을 주는지에 대해 솔직하다. Qwen3.5-4B와 Qwen3.5-9B를 대상으로 세 가지 루프 설정 전반을 읽어 보세요:

• SWE-bench Verified — 50.3 / 59.5 / 61.8 대 54.7 및 61.0. 네 번의 루프에서 Dory는 이 행에서 9B Qwen을 명목상 앞선다.

• Terminal-Bench 2.1 — 15 및 24 대비 12.5 / 18.1 / 22.2. 4B를 포함한 둘 모두에게 뒤진다.

• τ³-bench (뱅킹) — 5.03과 7.22 대비 11.6 / 12.89 / 14.69. Dory는 4B Qwen의 두 배 이상, 9B의 약 두 배를 기록한다.

• GPQA Diamond, 도구 없음 — 77.71 및 80.93 대비 69.19 / 72.41 / 72.16. 둘 모두에게 뒤진다.

• IFBench — 53.83 및 59 대비 74.29 / 77.94 / 79. 지시 수행에서 큰 승리.

• AA-LCR — 63 / 71 / 73, 64.7 및 68.4 대비. 장문맥 검색은 루프를 적용하면 크게 향상되며 최종적으로 앞선다.

• AA-Omniscience — 10.03 / 10.08 / 10.03 대 15.02 및 18.05. 저장된 지식은 루프 횟수에 거의 변하지 않으며, 이는 나머지 표가 통과하는 정상성 검사다.

그 수치들은 모두 N​VIDIA의 것으로, N​VIDIA의 하네스에서 측정되었고 반복 횟수도 공개되어 있습니다 — SciCode는 8회, AA-LCR은 16회, 여러 벤치마크는 정확히 1회 — 또한 이 카드는 Artificial Analysis 형태의 점수들을 공식 점수와 다를 수 있는 "내부 추정치"라고 표기합니다. 그중 어느 것도 재현되지는 않았습니다.

이제 Qwen3.8-27B의 카드를 그 옆에 놓아 보자. 보고된 GPQA Diamond 89.2, IFBench 79.5, Terminal-Bench 2.1의 73.0은 모두 같은 벤치마크에서의 Dory의 최고 수치를 웃도는데, 이는 크기가 일곱 배이고 훈련 파이프라인이 두 세대 더 새로운 모델에서 정확히 기대할 수 있는 결과다. 지식이나 추론 벤치마크에서 4B가 잘 구현된 27B를 이기는 시나리오는 존재하지 않으며, Dory도 그런 주장을 하지 않는다. Dory가 주장하는 것은 다른 것이다. 즉 4B에서 대략 9B급 에이전트 동작에 도달하며, 그 규모에 얼마나 많은 연산을 투입할지는 당신이 선택할 수 있다는 것이다.

배포: 격차는 좁지 않으며, 품질의 문제도 아니다.

Qwen3.8-27B는 일반적인 오픈 웨이트 릴리스입니다. Transformers 형식, vLLM, SGLang, TokenSpeed에 대한 지원 명시, FP8 형제 모델, 그리고 8월 이후 1,000개가 훨씬 넘는 양자화와 수백 개의 파인튜닝을 만들어낸 생태계를 갖추고 있습니다. 최신 오픈 웨이트 모델을 실행하는 스택이라면 이 모델도 실행할 수 있으며, 유일한 실질적 제약은 메모리입니다. BF16 기준 27B 덴스 모델은 소형 머신용 모델이 아니지만, 양자화된 변형은 바로 그런 용도를 위해 존재합니다.

Dory는 그 반대입니다. vLLM 지원은 열린 풀 리퀘스트에서 검토 중이며, 병합되기 전까지 NVIDIA는 해당 브랜치에서 precompiled-kernel 플래그를 사용해 vLLM을 설치한 다음, 순환 루프 횟수와 KV 캐시 모드를 구성하는 오버라이드로 실행하라고 합니다. llama.cpp 지원은 고정된 커밋과 ARM64 macOS 빌드 지침이 있는 두 번째 열린 풀 리퀘스트에 있습니다. 우리가 확인할 수 있는 한 어디에도 Dory를 위한 호스팅된 엔드포인트는 없으며, 이 글을 작성할 당시 네 저장소 모두의 다운로드 카운터는 0이었습니다. 공개된 속도 수치는 DGX Spark에서의 양자화 속도 향상으로 제한됩니다 — 입력/출력 길이 조합에 따라 BF16 대비 MXFP8의 경우 1.69× 및 1.84×, NVFP4의 경우 2.17× 및 2.44× — 처리량이 아닙니다.

그에 반해, Dory의 카드에 있는 메모리 주장은 그 불편을 정당화할 수 있는 유일한 엔지니어링 요소다. 표준 순환 루프 방식은 루프마다 별도의 KV 캐시를 저장하므로, 패스가 거듭될 때마다 메모리가 증가한다. Dory의 마지막 루프 KV 캐싱 모드는 순환 어텐션 계층마다 하나의 캐시를 유지하고 매 패스마다 이를 덮어써서, 루프 횟수에 관계없이 메모리 사용량을 대략 한 번의 루프 크기로 유지하며, 정확도는 N​VIDIA에 따르면 루프별 모드에 가까운 수준으로 유지된다. 다른 누군가의 측정에서도 그것이 그대로 확인된다면, 256K 윈도우와 네 번의 루프를 갖춘 4B는 그렇지 않으면 감당할 수 없을 하드웨어에서도 실용화된다. N​VIDIA 외부에서는 아무도 확인하지 않았다.

이 비교에서 OrcaRouter가 실제로 어디에 위치하는지

이것은 우리가 구체적으로 말할 수 있는 드문 비교입니다. 왜냐하면 여기서 두 진영이 서로 다른 기반에 서 있기 때문입니다. Qwen 측은 우리 카탈로그에 있습니다: qwen/qwen3.8-27b됩니다OrcaRouter 자체 인프라에서 자체 호스팅. 그리고 qwen/qwen3.8-flash와 qwen/qwen3.8-max는 호스팅 엔드포인트로 접근할 수 있습니다. 모두 하나의 API 키로 제공업체 정가에 0% 마크업으로 이용할 수 있습니다. NVIDIA 측은 그렇지 않습니다 — NVIDIA Nemotron Labs Dory 1.0 4B는 카탈로그에 없으며, 우리가 확인할 수 있는 어디에도 호스팅 엔드포인트가 없습니다.

그 비대칭성은 어색하기보다는 정말로 유용하다. 소규모 자체 호스팅 모델을 주장하는 근거는 비용 논리이고, 비용 논리에는 그것이 맞서는 임대 가격이 필요하다. 세 가지 Q​wen3.8 등급은 가격이 크게 다르다 — 27B는 백만 입력 토큰당 $0.33, 백만 출력 토큰당 $2.40이고, Flash는 $0.15와 $0.47, Max는 $2.00와 $6.00 — 따라서 "4B가 이것을 대체할 수 있는가"라는 질문의 정직한 답은 오늘 실제로 어느 등급을 쓰고 있느냐에 따라 세 가지로 달라진다. OrcaRouter 키 하나로 세 가지 모두에 접근할 수 있으므로, 그 질문의 값을 매기는 데 계정 세 개가 필요하지 않다. 우리는 제공업체의 정가를 마진 없이 그대로 전달하기 때문에, Q​wen 가격이 바뀌면 같은 날 여기에도 반영된다. 그리고 등급을 실제로 선택할 때, 제공업체 간 자동 페일오버와 라우팅 DSL — 하나의 호출 뒤에 여러 모델을 구성할 수 있게 해주는 — 덕분에 호스팅된 Q​wen에서 자체 호스팅 Dory로, 또는 그 반대로의 전환은 리팩터링이 아니라 한 호출 지점에서의 설정 변경일 뿐이다. 우리는 Dory를 제공하지 않는다. 우리는 그것이 무엇을 대체하게 될지를 측정하는 저렴한 방법이다.

평결

워크로드가 멀티모달이거나 다국어이거나 지식 집약적이라면 — 모델이 무언가를 하는 것보다 아는 것이 중요한 모든 경우라면 — Qwen3.8-27B가 오픈 웨이트 답이며 비교 자체가 성립하지 않습니다. 크기는 일곱 배, 세대는 두 세대 더 최신이고, 거대한 파생 생태계의 뒷받침을 받으며, 이미 이를 지원하는 엔진에서 실행되고, 자체 카드에 기재된 수치는 GPQA나 인스트럭션 벤치마크에서 Dory가 근처에도 못 미치는 수준입니다. 27B를 아예 호스팅하고 싶지 않다면 대신 Flash나 Max를 임대하세요.

Dory 1.0 4B는 다른 축에 대한 베팅이다. 다음 세 가지가 당신에게 해당할 때에만 브랜치에서 빌드하는 번거로움을 감수할 가치가 있다: 작업이 텍스트 전용이며 영어 전용이고, 지식 기반이 아니라 에이전트형이며, 당신이 실제로 컴퓨트 다이얼을 사용할 것 — 부하가 걸리면 루프 하나를, 정확도가 중요할 때는 네 개를, 하나의 체크포인트에서, 두 번째 다운로드 없이 실행하는 방식으로. 이 모델의 카드는 그 베팅이 τ³-Bench와 4B에서의 지시 따르기에서 성과를 낸다고 주장하며, 그 수치가 어떻게 산출되었는지에 대해 충분히 공개해 당신이 그것을 적절히 할인해 받아들일 수 있게 한다.

이 문제를 판가름할 것은 아무도 실행해 보지 않은 테스트입니다: 공유 하네스에서 Dory 1.0 4B와 Q​wen3.8-27B를, 동일한 양자화로, 에이전트 작업 세트에서 맞붙이는 테스트 말입니다. N​VIDIA의 표는 현재 Q​wen 세대를 완전히 건너뛰고, A​libaba의 표는 한 체급 아래로는 내려다보지 않습니다. 누군가 그 비교를 공개하기 전까지 정확한 입장은 이렇습니다 — 이 모델들 중 하나는 입증되었고 지원되며 널리 배포된 27B이고, 다른 하나는 흥미로운 아이디어를 품은 채 하룻밤 사이에 나타난 4B 저장소입니다. 그리고 그 아이디어가 구축할 가치가 있는지 말할 수 있는 유일한 사람은 당신입니다 — 당신의 작업 세트에서요.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.