Inkling 2 Small 가중치 공개: 394GB, Apache 2.0, 그리고 노드급 청구서

Inkling 2 Small 저장소의 첫 가중치 커밋은 2026년 11월 12일 19:53 UTC로 기록되어 있다. 이 글이 작성되기 아홉 시간 전이다. 그때까지 이 모델은 요금표와 벤치마크 표에 불과했다. Thinking Machines Lab은 11월 5일 비공개 가중치와 Tinker 엔드포인트, 그리고 체크포인트를 Apache 2.0으로 "다음 주"에 공개하겠다는 의사를 밝히며 이를 출시했다. 따라서 모델 자체는 이제 8일 된 것이다. 새로운 점은 이제 다운로드할 수 있다는 것인데, 그 다운로드 파일은 작지 않다.

두 저장소는 공개되어 있습니다. 주 체크포인트는 36개 파일에 걸쳐 393.5GB이며, 그중 24개가 safetensors 샤드입니다. MXFP8 변형은 622.8GB입니다. 둘 모두 모델 카드 메타데이터에 Apache 2.0으로 명시되어 있습니다. 지금까지의 발표는 이것이 전부입니다 — 모델 카드, 저장소들, 그리고 출시 게시물에 덧붙인 한 문단짜리 업데이트입니다. 아래의 모든 내용은 이러한 1차 출처와 함께 제공된 두 개의 서빙 쿡북에서 읽어낸 것이며, 아직 빠져 있는 점은 분명히 짚을 필요가 있습니다: 이 가중치를 공개하기 위한 명시된 전제 조건이었던 외부 안전성 테스트가 공개되지 않았습니다.

다운로드에 실제로 무엇이 들어 있나요?

크기부터 시작하겠습니다. 크기는 이 모델을 애초에 사용할 수 있는지를 결정하는 첫 번째 요소이기 때문입니다. 혼합 정밀도 레이아웃은 그 수치를 거의 정확히 설명하며, 이는 공개된 수치들이 마케팅 문구가 아니라 서로 일관성이 있다는 좋은 신호입니다.

• 체크포인트 분할 — SGLang 쿡북에 따라 레이어 0~39에는 NVFP4 전문가, 레이어 40~47에는 MXFP8 전문가.

• 예상 크기 — 해당 40/48 및 8/48 분할에서 매개변수당 평균 5.33비트를 적용하면 594B 매개변수에 대해 396GB가 됩니다.

• 측정된 크기 — 토크나이저 및 구성 파일을 포함하여 기본 저장소의 경우 393.5 GB입니다.

• MXFP8 저장소 — 622.8GB이며, safetensors 인덱스는 기본 저장소의 383.1B와 대조적으로 612.4B개의 저장된 파라미터를 집계합니다. 이는 전문가 가중치를 4비트로 패킹하면 모델 자체가 아니라 집계되는 요소 수가 줄어들기 때문입니다.

바탕이 되는 아키텍처는 희소 전문가 혼합 피드포워드 블록을 갖춘 48층 디코더 전용 트랜스포머입니다: 384개의 라우팅된 전문가, 토큰당 8개 활성, 4,608의 은닉 폭, 각 128차원인 8개의 키-값 헤드 위에 48개의 어텐션 헤드, 그리고 201,024개 토큰 어휘입니다. 어텐션은 균일하지 않고 하이브리드 방식입니다 — 48개 층 중 40개는 1,024토큰 슬라이딩 윈도를 사용하고 단 8개만 전역이며, 긴 컨텍스트 예산이 여기서 나옵니다. 비전 타워는 1,024의 은닉 폭과 16개의 헤드를 가진 별도의 23층 트랜스포머로, 20×20픽셀 패치를 2×2 병합으로 읽으므로 각 이미지 토큰은 40×40픽셀 영역을 포괄합니다; 카드는 한 변이 40~4,096픽셀인 이미지를 요구합니다.

또한 추측성 디코딩을 위해 다중 토큰 예측 헤드가 덧붙어 있습니다. 5개 레이어, 블록 크기 8, 마르코프 랭크 256, 그리고 타깃 레이어는 5, 11, 17, 23, 29, 35, 41번과 마지막 블록입니다. 이는 정확히 8개의 전역 어텐션 레이어로, 이 세부 사항은 드래프트 헤드가 나중에 추가된 것이 아니라 하이브리드 스택을 염두에 두고 설계되었음을 알려줍니다. Thinking Machines는 그 결과로 나온 디코더를 "DSpark"라고 부릅니다.

법무 검토에서 서류를 요구하는 분들을 위한 관리 항목 하나: 라이선스는 모델 카드 메타데이터에 Apache 2.0으로 선언되어 있고 카드에서 표준 deed로 외부 연결되지만, 저장소 트리에는 LICENSE, LICENSE.md, LICENSE.txt 또는 NOTICE 파일이 없습니다. 네 가지 모두 아무것도 반환하지 않습니다. 선언은 실제이며 명확합니다. 다만 대부분의 법무 팀이 찾을 것으로 기대하는 산출물은 그곳에 없습니다.

하드웨어 목록, 그리고 벤더와 쿡북이 서로 다른 부분

모델 카드는 VRAM 최소 요구량을 제시한다. 서빙 레시피는 토폴로지를 제시한다. 이 둘은 같은 숫자가 아니며, 그 사이의 격차는 이 페이지에서 가장 실용적인 부분이다.

• NVFP4 기본 — 최소 500GB의 집계된 VRAM; 카드의 예시는 2× B300 또는 4× H200입니다.

• MXFP8 변형 — 최소 800GB; 예시는 4× B300 또는 8× H200입니다.

• SGLang, GPU별 토폴로지 — GB200, GB300 및 B300은 TP 4 / EP 4, B200은 TP 4 / EP 4(KV 헤드룸을 위해 TP 8 권장), H200은 NVFP4 사용 시 TP 8 / EP 8, MI350X 및 MI355X는 TP 8 / EP 8, Vera Rubin은 TP 4 / EP 4, TPU7x는 4칩 호스트에서 8 / 8.

• B200 또는 GB200에서 MXFP8 — TP 8 / EP 8, GPU당 약 151GB의 가중치.

• 이 모든 것의 배경에 있는 제약 조건 — 전문가 병렬성은 텐서 병렬성과 같아야 합니다. NVFP4 전문가 활성화 스케일은 각 전문가의 전체 입력 폭에 걸쳐 있어 텐서 병렬 방식으로 샤딩할 수 없기 때문입니다.

따라서 이 카드의 4× H200 예시는 500 GB 하한을 충족하지만, 쿡북이 검증하는 토폴로지는 아닙니다. H200은 8-way로 나열되어 있습니다. 스토리지와 메모리 하한은 적합한지 알려줍니다. 하지만 실행되는지는 알려주지 않으며, 이 체크포인트의 경우 대부분의 사람이 보유한 하드웨어에서 두 번째 숫자는 첫 번째 숫자의 두 배입니다. 프로비저닝하는 경우 하한이 아니라 레시피를 기준으로 계획하십시오.

AMD 경로는 이틀 되었고 병합되지 않았습니다.

이 글을 발견한 레이더가 가중치 릴리스가 아니라 AMD 지원 풀 리퀘스트를 포착했으며, 그 PR 자체를 솔직하게 규정하자면 엔진 작업, 즉 뉴스거리가 아닌 종류의 일이다. 이것이 여기서 중요한 이유는 체크포인트가 공개된 같은 주에 올라왔고, 컨테이너 이미지를 갖춘 두 번째 실리콘 벤더이기 때문일 뿐이다.

이 풀 리퀘스트는 MI350X 및 MI355X용 gfx950 지원을 추가하며, 기본 Inkling 2 Small 포트 위에 쌓여 있습니다. 변경 사항: ROCm 커널은 HIP에서만 도달하는 별도의 *_hip.py 모듈에 있고, CUDA 및 NPU 경로는 그대로이며, 통합 KV 풀과 전체 그래프 프리필이 실행 기본값이 되고, MegaMoE는 시도되지 않고 거부되며, quick-reduce 양자화는 환경 플래그가 허용하지 않는 한 무시됩니다. 두 번째 환경 변수로 재정의하지 않는 한 gfx950이 필요합니다 — 즉 MI300급 카드는 실행 시 거부되며, PR 작성자는 gfx942가 "실행된 적이 없다"고 말합니다.

PR에 있는 측정값은 작성자 본인의 것이며 검토되지 않은 값입니다: {{1}}MI350X 한 대에서 426개의 단위 테스트 통과{{/1}}, {{2}}밸런스드 에포트에서 GSM8K-200 기준 98.0%, 수용 길이 4.04에서 DSpark 사용 시 97.5%{{/2}}, 그리고 {{3}}입력 2,048 및 출력 512에서 출력 토큰당 시간이 밸런스드 5.15ms 대 DSpark 2.10ms{{/3}}. 이는 8개의 가속기에 걸친 단일 스트림에서 대략 194 및 476 출력 토큰/초로 환산됩니다. AITer를 활성화하면 정확도 수치는 97.5% 및 96.5%로 바뀝니다.

PR의 상태는 초안입니다. CI는 이에 대해 실행되지 않았습니다 — 기본 작업이 누락된 레이블 때문에 차단되어 있고, 검토 중인 커밋에 대해 기록된 AMD 실행도 없습니다 — 그리고 나열된 모든 코드 소유자는 여전히 검토를 기다리고 있습니다. MI350X 지원은 이번 주에 소스에서 직접 빌드할 수 있는 것으로 취급하십시오. 구매할 수 있는 것으로 여기지 마십시오.

그것을 서빙한다는 것은 릴리스가 아니라 개발 이미지를 의미한다

두 주요 스택 모두 출시 당일 지원을 내세우지만 어느 쪽도 아직 이를 출시하지 않았습니다. SGLang은 지원이 아직 어떤 릴리스에도 포함되지 않았다고 분명히 밝히며 dev-inkling-2-small 빌드를 가리키는데, Hopper와 Blackwell, Vera Rubin, MI35x 및 TPU7x용 이미지가 각각 따로 제공됩니다. vLLM은 nightly 또는 그보다 최신 버전, 혹은 vllm/vllm-openai:inkling-2-small 이미지를 요구합니다. 이는 이 정도 규모의 이렇게 새로운 모델에서는 정상이지만, '지원됨'의 의미를 바꿔 놓습니다: 여러분은 브랜치를 추적하고 있으며, 리베이스가 배포를 깨뜨릴 수 있습니다.

실제로 문제가 될 운영상의 세부 사항:

• 컨텍스트 — vLLM의 TP 4 레시피는 트레이 하나에서 최대 262,144토큰으로 제한됩니다. 전체 1,048,576토큰 윈도우에는 두 노드에 걸친 TP 8이 필요합니다. TP 4에서 단일 1M 토큰 요청에는 64.47GiB의 KV 캐시가 필요하며, 이는 트레이에 남은 용량보다 많습니다.

• 추측 디코딩 — SGLang은 함께 제공되는 DSpark 헤드로 단계당 8개 토큰을 검증합니다. vLLM의 동등 구성은 확률적 드래프팅으로 7개의 추측 토큰을 설정합니다. 이 레시피는 그리디하게 드래프트하면 온도 1.0에서 수용률이 15~25% 떨어진다고 경고합니다.

• 파서 — 추론에는 inkling을 사용하고, 도구 호출에는 inkling2를 사용하며, SGLang은 설정되지 않은 경우 둘 다 자동으로 선택합니다. vLLM의 도구 호출 파서는 옵트인 방식이며, 레시피에 따르면 도구 호출은 종단 간 벤치마크되지 않았고 단위 테스트만 수행되었습니다.

• Prefill/decode 분리 — 4-GPU GB300 트레이에서 1P1D로만 검증되었으며, NVFP4, MegaMoE 미사용, 자동 값 0.963에서 메모리 부족이 발생해 정적 메모리 비율을 0.86으로 강제 낮췄습니다. 이 분할은 MXFP8 체크포인트에는 맞지 않습니다.

• 인코더 분리(disaggregation) — 아직 이미지에는 없으며, 연결 가능한 정상 인코더가 없으면 언어 서버가 중지됩니다.

• 메모리 여유 공간 — 192GB B200 또는 GB200 부품에서 TP 4 구성 시 KV 용량은 GB300 트레이가 제공하는 것의 약 3분의 1에 불과하며, 이는 카드에 표기된 윈도 크기가 아니라 긴 컨텍스트 동시성의 실제 한계입니다.

모델 카드 자체에도 업로드 직후 첫 몇 시간 안에 "Hopper 카드는 현재 vllm 이미지와 호환되지 않습니다"라는 제목의 커뮤니티 보고가 하나 있습니다. 메인테이너의 답변은 보이지 않고 저도 재현할 수 없었으므로, 이를 발견 사항이라기보다 플래그로 간주하고 Hopper 노드를 커밋하기 전에 확인하세요. SGLang 쪽에는 H200이 8-way로 나열되어 있으므로 Hopper 경로가 닫힌 것은 아닙니다 — 다만 vLLM의 레시피가 설명하는 경로가 아닐 뿐입니다.

셀프 호스팅의 비용은 무엇이며, 왜 답이 가격인 경우는 드문가

394GB를 다운로드하는 이유는 단위 경제성이 아니라 통제력이며, 계산해 보면 그것이 금방 분명해진다.

Tinker에서 이 모델은 256K 컨텍스트에서 백만 입력 토큰당 $0.30, 백만 캐시 입력 토큰당 $0.03, 백만 출력 토큰당 $1.00로 책정된다. Artificial Analysis는 초당 출력 토큰 84개, 첫 답변 토큰까지 67.71초, 인덱스 작업당 $1.18, 작업당 29.6분을 측정했으며, 이는 전체 스위트에서 154M 출력 토큰, 동종 중앙값 89.8M과 대비된다. 그 토큰 수가 단서다. 이 모델은 답하기 전에 길게 사고하는 모델이며, 정가 출력 가격 기준으로 단일 스트림이 한 시간 동안 풀가동하면 약 302,000개 토큰, 즉 대략 30센트 상당의 출력을 생산한다. 시간당 1달러가 드는 노드를 이기려면 약 4개의 스트림을 바쁘게 유지해야 하고, 시간당 20달러 노드를 이기려면 66개가 필요하다. 67초의 첫 토큰 시간을 가진 모델을 상대로 그 정도 동시성을 유지하는 평가 워크로드는 거의 없으며, 에이전틱 워크로드는 그보다도 더 적다.

가중치를 소유함으로써 대신 얻는 것: Tinker의 256K 서빙 티어가 아니라 원하는 조건대로 쓰는 전체 1M 창, 프로덕션 앞단의 베타 대기열 없음, 자체 스택에서의 파인튜닝, 네트워크를 절대 벗어나지 않는 데이터, 토큰당 과금되지 않는 평가 스윕. 포기하는 것: 작동하는 릴리스 빌드, 임대가 아니라 구매해야 하는 8-way 토폴로지, 그리고 이제 직접 유지보수해야 하는 서빙 스택.

그것이 이 결정의 솔직한 형태이며, 또한 라우팅 계층이 자신이 호스팅하지 않는 무언가를 호스팅하는 척하라는 요구 없이 들어맞는 지점이기도 합니다. Inkling 2 Small은 OrcaRouter 카탈로그에 없습니다 — 이번 주 실시간 모델 목록을 확인했는데 215개 중에 inkling 항목이 없습니다 — 따라서 이 모델의 API 경로는 Thinking Machines 자체의 Tinker 플랫폼과, 출시 업데이트에 따르면 여러 타사 추론 제공업체로 유지됩니다. 하나의 키 뒤에 있는 200개 이상의 모델이 실제로 제공하는 것은 폴백입니다: 단일 노드에서 자체 호스팅 실험을 실행하고, 실험이 실패하면 자동 장애 조치를 통해 우리가 실제로 라우팅하는 모델에서 프로덕션을 유지할 수 있으며, 우리가 라우팅하는 모델에서는 제공업체 정가가 변경 없이 그대로 전달됩니다. 두 번째와 세 번째 호스트가 이 체크포인트들을 받아들이면, 장애 조치 구간은 더 이상 이론적이지 않게 되고 — 애초에 394 GB를 다운로드하는 주된 이유인 벤더 종속은 약해집니다.

이제 문을 열었으니 어디에 위치해 있는지

가중치가 공개되었을 때 점수는 바뀌지 않았다. 바뀐 것은 이제 그 점수가 이전에는 제외되었던 리더보드에 속하게 되었다는 점이다. Artificial Analysis의 오픈 가중치 순위에서 Inkling 2 Small은 Intelligence Index 31로 28개 중 4위이며, 비교 세트 중앙값은 24이다.

• Kimi K3.1 Pro — 46.

• 최대 노력 설정의 DeepSeek V4.1 Flash 1017 — 33.

• 최대 노력 모드의 GLM-5.3 — 32.

• Inkling 2 Small — 31.

• MiMo-V2.6-Pro 및 Ling 3.1 Flash 1019 — 각각 30개.

• Mistral Large 4, 높은 노력 수준 — 26.

• xhigh에서의 Qwen3.8 27B — 20.

그 목록에서 흥미로운 열은 맨 위가 아니다. Inkling 2 Small 위에 있는 모든 모델은 중국 연구소에서 나왔고, 비중국 연구소의 최고 오픈 가중치 모델은 26점의 Mistral Large 4였다. 이 가중치를 공개하면 그 특정 격차가 20점에서 15점으로 줄어들고 비중국 열의 맨 위가 바뀐다. 그것은 최전선에는 닿지 않는다: 최고의 오픈 모델은 15점 앞서 있고, 폐쇄형 모델들은 여전히 더 멀리 있다.

벤더 자체 평가표는 더 길고 더 후한데, 그 안의 모든 수치는 Thinking Machines가 자사 하네스에서 높은 노력도로 돌린 것이며 — 재현되지 않았으므로 기대치가 아니라 상한선이다. 에이전틱 작업에서 중요한 행들은 다음과 같다: SWE-bench Pro v2 Hard 86.3%, DeepSWE v1.1 72.1%, Vibe Code Bench v1.1 81.6%, BrowseComp 90.2%와 DeepSearchQA 90.9%는 둘 다 컴팩션 적용, MCP Atlas 85.4% 전체 및 85.0% 공개, HLE 44.1% 텍스트 전용, FrontierCode v2.0 25.4%. 반대 방향으로 해석되는 행은 Terminal Bench Science 5.7%로, 절대치로 낮을 뿐 아니라 광범위한 역량 주장이라기보다 장기 지평·장기 숙고 프로파일과 일관된다. 벤더는 Intelligence Index에 30.6을 기재했지만 라이브 보드는 31을 보여준다 — 이는 스냅숏 차이일 뿐 이견은 아니다.

이 평가를 바꿀 수 있는 것은 무엇입니까

세 가지를 중요한 순서대로 말씀드리겠습니다.

이번 출시를 승인했어야 할 안전 절차가 공개되지 않았다. 공개 가중치로 가는 안전한 경로에 관한 Thinking Machines의 7월 게시물은 1세대 Inkling에 대해 배포 전 테스트를 수행한 네 개의 외부 기관을 설명하며, 11월 5일 출시 게시물은 이번 릴리스를 "외부 안전 테스트 및 레드팀"과 연결지었다. 가중치를 발표한 11월 12일 업데이트에는 한 문장과 하나의 링크—Hugging Face 저장소—만 있을 뿐, 평가 결과도, 레드팀 결과도, 앞선 조건에 대한 수정도 없다. 그것이 테스트가 없었다는 뜻은 아니다. 독자가 확인할 수 없다는 뜻이며, 증거를 요구하는 조달 정책을 가진 조직은 여기서 그것을 찾지 못할 것이다.

릴리스 수준의 지원이 제공되면 이를 도입할 수 있는 주체가 달라집니다. 현재 선택지는 SGLang의 개발 브랜치, vLLM의 나이트리, 또는 병합되지 않은 드래프트에서 소스로 AMD 경로를 빌드하는 것입니다. 지원이 태그된 릴리스에 포함되는 순간, 이 모델은 엔지니어링 프로젝트가 아니라 배포 결정이 되고, 8-way 토폴로지는 더 이상 연구용 구성이 아니게 됩니다.

기본 설정에서의 독립 재현은 31이 실제로 어느 정도 가치가 있는지 알려줄 것입니다. 주목해야 할 것은 에이전트형 항목들입니다 — SWE-bench Pro 86.3과 DeepSWE 72.1은 활성 파라미터 17B 모델로서는 강력한 주장이며, 최대 노력으로 산출된 결과입니다. 기본 노력에서의 제3자 실행은 항상 더 낮게 나옵니다. 문제는 얼마나 낮은가이며, Thinking Machines 외부에서는 아직 아무도 답하지 못했습니다.

그중 최소한 하나가 실현되기 전까지, Inkling 2 Small에 대한 올바른 설명은 유난히 정확하다. 오늘 다운로드할 수 있지만 공개된 어떤 서빙 스택도 지원하지 않는 Apache 2.0 체크포인트이며, 가장 강력한 주장은 이를 만든 연구소에서 나온 것이고, 라이선스 게이트는 원래 그보다 먼저 있어야 했던 서류 작업 없이 열렸다. 그것은 실제 릴리스이자 실제 격차이며, 그 격차가 바로 주목할 만한 부분이다.