'MAI Decision 1 vs Nimble v3'라는 제목의 생성된 타이틀 카드로, 부제는 'a hosted scorer against a licence you can't ship'이며, 'vs' 디스크를 중심으로 두 개의 둥근 패널로 나뉜다. 왼쪽 패널 'Microsoft-Decision-1.1'에는 'hosted, per token'이라는 하위 문구와 'M 토큰당 $0.042', 'Foundry endpoint', 'AA v2.1에서 67.78', 'usage terms' 행이 있다. 오른쪽 패널 'Bespoke-Nimble-9B-v3'에는 'downloadable adapter', 'CC BY-NC 4.0', '5개 파일 LoRA', 'DI 0.2.1에서 56.88', 'your own GPU'가 있다. 하단 문구는 '공개된 두 점수는 서로 다른 평가 키트에서 나온 것이므로 비교할 수 없습니다.'라고 적혀 있다. OrcaRouter 로고는 아트워크 아래 흰색 띠에 합성되어 있다.
Engineering & Research

MAI Decision 1 vs Nimble v3: 호스팅형 스코어러 대 배포할 수 없는 라이선스

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

가장 먼저 눈에 띄는 것은MAI Decision 1 — Microsoft가 Ignite에서 Microsoft-Decision-1.1로 출시한 모델 — 와 Nimble v3(Hugging Face에 Bespoke-Nimble-9B-v3로 공개)의 차이가 벤치마크가 아닙니다. 그것은 라이선스 조항입니다. Nimble v3는 CC BY-NC 4.0에 따라 공개된 LoRA 어댑터이며, 모델 카드에서는 이를 "상업적 목적으로 사용할 수 없다"고 설명합니다. Microsoft의 모델은 토큰당 비용을 지불하고 임대하는 호스팅 엔드포인트이므로 라이선스 문제는 생기지 않으며, 자체 호스팅 문제도 마찬가지로 생기지 않습니다. 이 중 하나는 제품에 넣을 수 있고, 다른 하나는 노트북에 넣을 수 있습니다. 이 비교의 나머지 모든 내용은 그 분기점에서 따라 나오며, 여기에는 두 모델의 공개 점수를 서로에서 빼서는 안 되는 이유도 포함됩니다.

각각이 메커니즘상 실제로 무엇인지

Microsoft-Decision-1.1은 Foundry 배포 모델로, 2026년 11월 17일부터 운영 중이며, Microsoft가 Gemma 4 26B-A4B를 기반으로 포스트트레이닝했습니다. 의사결정 엔드포인트에 상태와 텍스트 질문을 보내면 보정된 확률을 돌려받으며, Global Standard에서는 입력 토큰 100만 개당 $0.042, EU 및 APAC 데이터 존에서는 $0.05가 청구됩니다. 모델 카드에는 다운로드, 파인튜닝 경로, 자체 호스팅 옵션이 없습니다. Artificial Analysis 측정 기준 작업당 지연 시간은 123ms이고, 컨텍스트는 입력 토큰 32,768개이며, 텍스트뿐 아니라 이미지도 읽습니다.

Nimble v3는 Qwen3.5-9B용 5개 파일로 구성된 PEFT 어댑터로, 2026년 9월 30일에 업로드되었으며 Bespoke Labs의 동반 공지나 블로그 글, 릴리스 노트는 전혀 없습니다. 저장소에는 README, 어댑터 구성 파일, 어댑터 가중치, 스키마 구성 파일, .gitattributes 파일이 들어 있으며, 이게 전부입니다. 기본 모델과 추론 엔진, GPU는 직접 준비해야 합니다. 동반 데이터셋 저장소에는 전체 Decision Index 실행, 엔진, 재현 지침이 포함되어 있는데, 이는 대부분의 벤더가 제공하는 것보다 더 큰 투명성이며 대부분의 구매자가 기대하는 것보다 더 많은 작업이기도 합니다.

• 가중치 — 호스팅 전용, 다운로드 없음 vs Qwen3.5-9B에 조립하는 20GB BF16 어댑터

• 라이선스 — Microsoft 서비스 약관 vs CC BY-NC 4.0, 비상업적, 어댑터의 제한을 완화하지 않는 Apache 2.0 기반

• 인터페이스 — 타입이 지정된 질문과 확률을 갖춘 의사결정 엔드포인트 대 자체 추론 코드, 프롬프트 파일과 옵션 코드 토큰에 해시로 고정됨

• 컨텍스트 — 32,768 토큰 대 32,768 토큰, 초과된 요청은 잘리는 대신 거부됩니다

• 이미지 — 질문당 최대 8개, 한 변당 280~1,568픽셀, 텍스트 전용 대비

• 가격 — 입력 전용 기준 백만 토큰당 $0.042, 하드웨어·전기·엔지니어 대비

• 공개 점수 — AA Decision Index v2.1 기준 67.78, Decision Index 0.2.1 기준 56.88

A screenshot of the Hugging Face model card for Bespoke-Nimble-9B-v3, showing the bespokelabs organisation, 15 likes, the PEFT and Safetensors tags, the license: cc-by-nc-4.0 badge, the card text describing the model as a LoRA adapter for Qwen/Qwen3.5-9B that returns a probability for each option, the line 'Decision Index 0.2.1: 56.88' with the pointer to the bespokelabs decision-index repository, and the licence paragraph stating it may not be used for commercial purposes while the base model is Apache 2.0.

두 숫자는 같은 자 위에 있지 않습니다

그 마지막 불릿은 비교 게시물에서 악용되는 항목이므로, 단도직입적으로 말할 가치가 있습니다: 56.88과 67.78은 비교 가능한 수치가 아닙니다. Nimble v3의 수치는 Bespoke Labs가 자체적으로 운영하는 오픈 키트인 Decision Index 0.2.1에서 자체 하네스를 사용하고 자체 참조 구현으로 산출한 것입니다. Microsoft의 67.78은 서로 다른 가중치, 서로 다른 채점 함수, 그리고 해당 분야의 서로 다른 모델 집합으로 구성된 평가인 Artificial Analysis Decision Index v2.1에서 나온 것입니다.

두 보드는 같은 행동 계열을 측정합니다. 범위가 정해진 선택지 중에서 고르고, 제시한 확신도가 얼마나 크게 빗나갔는지에 따라 할인된 정확도로 점수가 매겨집니다. 하지만 대칭 항이 포함된 6개 평가 가중 합성 점수는 공개 키트 실행과 같은 도구가 아니며, 한쪽에서 다른 쪽을 빼면 대부분 척도의 차이일 뿐인 10.9점의 "격차"가 생깁니다. 그런 뺄셈을 보여주는 사람은 부주의하거나 뭔가를 팔고 있는 것입니다.

지나친 주장 없이 말할 수 있는 것은 방향성뿐입니다. Nimble v3의 자체 카드는 숫자 하나만 보고하고 세부 내역은 제공하지 않는데, 이 제품군의 이전 체크포인트는 훨씬 더 충실한 표를 공개했습니다: 324개의 홀드아웃 대조 쌍에서 참조 레이블과의 일치율은 90.12%로 Jev 1.13.0의 93.21%와 대비되며, 13개 공개 데이터셋에 걸친 3,880개의 사람이 레이블을 붙인 결정에서는 75.7%로 76.0%와 대비됩니다. 이는 v3가 아니라 첫 번째 Nimble의 숫자이며, 프로젝트는 이를 자체 측정치로 표기합니다. 반면 Decision 1.1은 경쟁사도 같은 방식으로 순위를 매기는 리더보드에서 6개의 공개 하위 점수와 Brier 0.160을 갖춘 독립적인 67.78을 제시합니다. 조달 검토에서 방어할 수 있는 숫자가 필요하다면, 이 중 하나만이 그런 숫자를 제공합니다.

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Nimble v3 — the scoreboard'. The Microsoft-Decision-1.1 column reads Licence Microsoft service terms, Weights hosted only, Deployment Foundry endpoint, Images up to 8 per question, Published score 67.78 on AA v2.1, Price $0.042 per M tokens; the Nimble v3 column reads CC BY-NC 4.0, 20 GB adapter, your own GPU stack, text only, 56.88 on DI 0.2.1, hardware and electricity. The footer reads 'Nimble v3 figures per Bespoke Labs' model card; Decision 1.1 per Artificial Analysis.' The OrcaRouter logo is composited in the white strip below the artwork.

라이선스가 사실상 결정의 전부이며, 보기보다 더 나쁘다

어댑터에 적용된 CC BY-NC 4.0은 상업적 사용을 금지한다는 뜻입니다. 그것은 합리화로 얼버무릴 수 있는 회색지대가 아니며, 뻔한 우회 방법도 통하지 않습니다: 기본 모델인 Qwen3.5-9B는 Apache 2.0이고 Bespoke의 카드에도 그렇게 명시되어 있지만, 허용적인 기본 모델이라고 해서 비상업적 어댑터가 느슨해지는 것은 아니며, 의사결정 동작이 존재하는 곳은 바로 어댑터입니다. 어댑터를 떼어내면 의사결정 모델이 전혀 아닌 일반 9B 모델만 남습니다.

두 번째로 덜 논의된 문제가 있습니다. Nimble 프로젝트의 GitHub 저장소는 API를 통해 라이선스를 전혀 보고하지 않으며, 이는 학습 및 큐레이션 코드에도 선언된 조건이 없음을 의미합니다. 법무팀이 가중치를 생성한 파이프라인으로 무엇을 할 수 있는지 묻는다면, 답은 프로젝트가 아무것도 밝히지 않았다는 것입니다.

그것을 {{1}}Microsoft의 모델{{/1}}과 견주어 보세요: 다운로드할 수 없으므로 포크할 수도 없지만, 제품을 금지하는 라이선스 위에 실수로 제품을 구축할 수도 없습니다. 둘 중 하나를 선택해야 하는 팀에게 실용적인 구도는 하나는 {{2}}구매{{/2}}이고 다른 하나는 연구 산출물이라는 점입니다. 워크로드가 상업적이라면 비교는 여기서 끝나고 호스팅 모델이 기본적으로 승리합니다. 그렇지 않다면 — 내부 평가 하네스, 학술 연구, 교체할 계획인 프로토타입 — 어댑터는 정말 흥미롭고 20 GB의 설치 공간 덕분에 이미 가지고 있을 수도 있는 단일 GPU에서 실행됩니다.

각 측의 배포 현실

Nimble v3를 올바르게 실행하는 것은 어댑터를 로드해 그것과 대화하는 문제가 아닙니다. 데이터셋 카드에는 엔진이 스키마 구성이 해시로 고정한 프롬프트를 구성하고, 모델이 학습된 어텐션 패턴으로 각 요청을 읽는다고 분명히 나와 있습니다. 가중치를 일반 채팅 모델로 로드하거나 텍스트를 생성해도 그 답변은 재현되지 않습니다. 엔진은 프롬프트 파일이나 옵션 코드 토큰이 학습 때와 다르면 로드를 거부합니다. CUDA, BF16, torch 2.8, transformers 5.17.0, peft 및 두 개의 어텐션 커널이 필요하며, 컨텍스트 한도를 초과하는 요청은 줄여서 처리하지 않고 거부합니다.

그것은 실질적인 엔지니어링 투자이며, 호스팅 모델이 줄 수 없는 것을 얻을 수 있게 해줍니다. 네트워크 이그레스 없이 자체 하드웨어에서 실행하고 모든 프롬프트를 검사할 수 있는 옵션입니다. 모델 호출이 건물 밖으로 나갈 수 없는 규제 환경에서는 둘 중 유일하게 후보가 될 수 있는 쪽이며, 비상업적 라이선스가 여전히 이를 배제할 수 있다는 점이 함정입니다.

Microsoft 쪽에서는 비용이 다르고 더 적습니다. Foundry 배포, 엔드포인트, 배포 이름, 키 또는 Entra 토큰입니다. 지연 시간이 중요하다면 Foundry 리소스를 애플리케이션과 같은 위치에 배치하세요. 추론이 리전 내에 있어야 한다면 데이터 영역 배포를 사용하세요. 백만 토큰당 $0.042가 아니라 $0.05입니다. 통합은 JSON 본문을 사용하는 HTTPS 호출이며, 응답 형태는 임계값을 적용하는 확률입니다.

• 첫 호출까지 걸리는 시간 — Foundry에서는 1시간 이내, GPU 설정·고정 툴체인·재현 실행 대비

• 장애 모드 — 속도 제한 또는 리전 장애 vs CUDA OOM 또는 커널 버전 불일치

• 업그레이드 경로 — 없음, 공급업체는 고정하거나 무시할 수 있는 새 어댑터 태그 대신 새 버전을 제공합니다

• 이탈 경로 — 없음, 호스팅 전용 vs 가중치는 라이선스 조건에 따라 현재 위치에 그대로 유지

후계자가 이야기를 복잡하게 만드는 지점

Nimble v3는 Bespoke Labs의 현재 모델이 아니며, 이는 지금 이를 평가하려는 누구에게나 중요한 사실입니다. Nimble-v4-max는 2026년 11월 3일에 업로드되었으며, 어댑터가 아닌 Qwen3.8-27B의 전체 파인튜닝으로, 태그 이력과 벤치마크 표와 함께 공개되었습니다. Decision Index 0.3 공개 버전에서 72.74로, v4.0의 68.46에서 상승했으며, 벤치마크별 점수가 JSON 파일로 제공되는 43개 벤치마크 전반에 걸친 결과입니다. BF16으로 약 55GB가 필요하고 80GB GPU 한 대가 필요합니다. 또한 CC BY-NC 4.0입니다.

솔직히 말해 오늘날 Nimble v3는 이미 두 번이나 세대가 바뀐 제품 라인의 이전 세대이며, 공개된 단 하나의 점수는 현재 모델이 이미 뒤로한 키트 버전에 대한 것입니다. 벤더의 3주 된 호스팅 플래그십을 조용히 업로드된 두 리비전 전의 어댑터와 비교하는 것은 어느 축에서도 공정한 승부가 아닙니다. 제품 차원의 질문은 정말로 Microsoft-Decision-1.1 대 Nimble-v4-max이고, 그 경우에도 라이선스에 대한 답은 변하지 않습니다.

아직 결정하고 있을 때 중요한 한 가지

두 모델 모두 OrcaRouter의 카탈로그에 없으며, 이 글도 그 점을 다르게 말하지 않을 것입니다. Microsoft-Decision-1.1은 Foundry 전용이고, CC BY-NC 어댑터는 상용 라우터가 서비스할 수 있는 대상이 아닙니다. 카탈로그가 실제로 갖추고 있는 것은 주변 모델군이며, 대부분의 평가가 실제로 시작되는 곳이 바로 그곳입니다.

이 주변 모델군은 여전히 유용합니다. 이 맞대결의 양측 모두 같은 경쟁자를 기준으로 자신을 정의하기 때문입니다. Jev 1.14가 바로 그 경쟁자입니다: Microsoft-Decision-1.1은 독립 리더보드에서 이보다 1.55점 앞서며, Bespoke의 이전 체크포인트는 자체 README에서 Jev 1.13.0을 기준으로 자신을 측정했습니다. Jev 1.14는 입력과 출력 모두 100만 토큰당 $0.042에 응답합니다. 기반 모델은 Gemma 4 26B A4B이며, Microsoft가 포스트 트레이닝을 적용한 대상입니다. 입력 100만 토큰당 $0.25, 출력 100만 토큰당 $2.90으로 라우팅할 수 있습니다. Jev와 범용 모델을 자동 장애 조치와 함께 하나의 엔드포인트 뒤에서 자체 라벨링된 트래픽에 배치하면, 의사결정 모델이 그 경로에서 제 몫을 하는지 한나절 만에 알 수 있습니다 — 조달 주기 전에, 그리고 GPU 구매 전에. 그렇다면 라우터는 배포하는 모든 의사결정 모델 앞에 계속 위치하므로, 한 제공업체의 속도 제한은 장애가 아니라 경로 재지정이 됩니다.

A screenshot of the OrcaRouter model page for typesafe/jev-1.14, showing the OrcaRouter navigation, the models breadcrumb for the typesafe vendor, the model name typesafe/jev-1.14, HF and ZDR badges, a Data retention panel describing Zero Data Retention, and the page's Code samples, Pricing, Performance, Public benchmarks and How it compares sections.

그 하네스가 말해 주지 않는 것은 Decision 1.1 자체가 당신의 데이터에서 어떻게 동작하는가입니다. 이를 위해서는 Foundry 배포와 자체 레이블이 필요하며, 레이블링을 건너뛸 지름길은 없습니다.

선택하는 방법

워크로드가 상업용이라면, 보정된 점수를 독립적인 위원회에 근거해 제시하려는 경우라면, 이미지 입력이 필요하다면, 또는 GPU 파이프라인을 직접 보유하기보다 123ms를 임대하는 편을 선호한다면 Microsoft-Decision-1.1을 선택하세요. 대부분의 팀이 여기에 해당합니다.

Nimble v3는 다음 세 가지가 모두 성립할 때만 고려하십시오: 사용이 비상업적이고, 모델 호출이 인프라 밖으로 나갈 수 없으며, 일반 로더가 아니라 프로젝트 자체 엔진을 실행할 준비가 되어 있는 경우입니다. 하나라도 성립하지 않으면 라이선스나 엔지니어링이 이미 결정을 내린 것입니다 — 그리고 오늘 Nimble을 선택한다면 Nimble-v4-max를 먼저 보십시오. v3의 공개된 단일 점수는 비교에서 가장 오래된 수치이기 때문입니다.

경계해야 할 것은 깔끔하게 정리된 표다. 56.88 대 67.78은 판결처럼 보이지만 판결이 아니다. 그것은 서로 다른 두 키트, 서로 다른 두 연식, 서로 다른 두 라이선스가 경마처럼 꾸며진 것이다. 여러분의 제품에 탑재되어 출시되는 모델은 호스팅 모델이고, 여러분의 랩에서 실행되는 모델은 오픈 모델이다. 그것이 진짜 분기점이며, 어떤 벤치마크도 그것을 바꾸지 못한다.