Ett genererat titelkort med rubriken "MAI Decision 1 vs Nimble v3" och underrubriken "en hostad scorer mot en licens du inte kan distribuera", uppdelat i två rundade paneler kring en "vs"-skiva. Den vänstra panelen, "Microsoft-Decision-1.1", har underraden "hostad, per token" och raderna "$0.042 per miljon tokens", "Foundry-endpunkt", "67.78 på AA v2.1" och "användarvillkor"; den högra panelen, "Bespoke-Nimble-9B-v3", har "nedladdningsbar adapter", "CC BY-NC 4.0", "LoRA med fem filer", "56.88 på DI 0.2.1" och "din egen GPU". En sidfot lyder "De två publicerade poängen kommer från olika utvärderingskit, så de är inte jämförbara." OrcaRouter-logotypen är inlagd i den vita remsan nedanför konstverket.
Engineering & Research

MAI Decision 1 vs Nimble v3: En hostad scorer mot en licens du inte kan distribuera

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Det första som skiljer MAI Decision 1 – modellen som Microsoft släppte på Ignite som Microsoft-Decision-1.1 – från Nimble v3, registrerad på Hugging Face som Bespoke-Nimble-9B-v3, är inte ett benchmark. Det är en licensklausul. Nimble v3 är en LoRA-adapter som släppts under CC BY-NC 4.0, vilket modellkortet förklarar som "får inte användas för kommersiella ändamål". Microsofts modell är en värdbaserad endpoint som man hyr per token, så licensfrågan uppstår aldrig och frågan om egen drift uppstår inte heller. En av dessa kan man lägga in i en produkt; den andra kan man lägga in i en notebook. Allt annat i den här jämförelsen följer av den uppdelningen, inklusive varför deras publicerade poäng inte bör subtraheras från varandra.

Vad var och en faktiskt är, mekaniskt sett

Microsoft-Decision-1.1 är en Foundry-distribution som varit i drift sedan 17 november 2026 och eftertränats av Microsoft på Gemma 4 26B-A4B. Du skickar ett tillstånd och typade frågor till en beslutsendpunkt, får kalibrerade sannolikheter tillbaka och debiteras $0,042 per miljon indatatokens på Global Standard eller $0,05 i EU- och APAC-datazonerna. Det finns ingen nedladdning, ingen väg för finjustering och inget alternativ för egen hosting i modellkortet. Latensen är 123 ms per uppgift enligt Artificial Analysys mätning; kontexten är 32 768 indatatokens; den läser både bilder och text.

{{1}}Nimble v3{{/1}} är en PEFT-adapter på fem filer för {{2}}Qwen3.5-9B{{/2}}, uppladdad den {{3}}30 september 2026{{/3}} utan åtföljande meddelande, utan blogginlägg och utan versionsnotis från {{4}}Bespoke Labs{{/4}}. Repositoriet innehåller en README, en adapterkonfiguration, adaptervikter, en schemakonfiguration och en gitattributes-fil – det är den kompletta listan. Du tillhandahåller basmodellen, inferensmotorn och GPU:n själv. Det medföljande datasetrepositoriet innehåller den fullständiga {{5}}Decision Index{{/5}}-körningen, motorn och instruktionerna för reproduktion, vilket är mer transparens än de flesta leverantörer erbjuder och också mer arbete än de flesta köpare förväntar sig.

• Vikter – endast hostade, ingen nedladdning jämfört med en 20 GB BF16-adapter som du monterar på Qwen3.5-9B

• Licens — Microsofts tjänstevillkor vs CC BY-NC 4.0, icke-kommersiell, med en Apache 2.0-bas som inte luckrar upp adapterns begränsning

• Gränssnitt — en beslutsändpunkt med typade frågor och sannolikheter mot din egen inferenskod, fäst vid promptfiler och alternativkodstoken via hash

• Kontext — 32,768 tokens vs 32,768 tokens, där alltför stora förfrågningar avvisas i stället för att trunkeras

• Bilder – upp till 8 per fråga, 280 till 1 568 pixlar per sida jämfört med enbart text

• Pris — $0.042 per miljon tokens, endast indata jämfört med hårdvara, el och en ingenjör

• Publicerad poäng — 67,78 på AA Decision Index v2.1 jämfört med 56,88 på Decision Index 0.2.1

A screenshot of the Hugging Face model card for Bespoke-Nimble-9B-v3, showing the bespokelabs organisation, 15 likes, the PEFT and Safetensors tags, the license: cc-by-nc-4.0 badge, the card text describing the model as a LoRA adapter for Qwen/Qwen3.5-9B that returns a probability for each option, the line 'Decision Index 0.2.1: 56.88' with the pointer to the bespokelabs decision-index repository, and the licence paragraph stating it may not be used for commercial purposes while the base model is Apache 2.0.

De två talen är inte på samma linjal

Den sista punkten är den som missbrukas i jämförelseinlägg, så det är värt att vara rak: 56,88 och 67,78 är inte jämförbara. Nimble v3:s siffra kommer från Decision Index 0.2.1, det öppna kit som Bespoke Labs själva kör, i sin egen harness, med sin egen referensimplementation. Microsofts 67,78 kommer från Artificial Analysis Decision Index v2.1, en annan sammansättning av utvärderingar med andra vikter, en annan poängsättningsfunktion och en annan uppsättning modeller i fältet.

Båda resultattavlorna mäter samma familj av beteenden – du väljer bland avgränsade alternativ och poängsätts på träffsäkerhet, nedviktad efter hur illa din angivna konfidens missade. Men en viktad sammansättning av sex utvärderingar med en symmetriterm är inte samma instrument som en offentlig kit-körning, och att subtrahera den ena från den andra ger en "lucka" på 10,9 punkter som mest är en skillnad i måttstockar. Den som visar dig den subtraktionen är antingen slarvig eller säljer något.

Det som kan sägas utan att gå för långt är riktningsvisande. Nimble v3:s eget modellkort redovisar en siffra och ingen uppdelning, i en familj vars tidigare checkpoint publicerade en betydligt fylligare tabell: 90,12 % överensstämmelse med referensetiketter mot 93,21 % för Jev 1.13.0 på 324 hållna kontrastiva par, och 75,7 % mot 76,0 % på 3 880 mänskligt märkta beslut över tretton offentliga datamängder. Det är den första Nimble-modellens siffror, inte v3:s, och projektet anger dem som sina egna mätningar. Decision 1.1 har däremot en oberoende siffra på 67,78 med sex publicerade delpoäng och en Brier-poäng på 0,160 på en resultattavla som också rangordnar dess konkurrenter på samma sätt. Om du behöver en siffra som du kan försvara i en upphandlingsgranskning är det bara en av dessa som ger dig en.

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Nimble v3 — the scoreboard'. The Microsoft-Decision-1.1 column reads Licence Microsoft service terms, Weights hosted only, Deployment Foundry endpoint, Images up to 8 per question, Published score 67.78 on AA v2.1, Price $0.042 per M tokens; the Nimble v3 column reads CC BY-NC 4.0, 20 GB adapter, your own GPU stack, text only, 56.88 on DI 0.2.1, hardware and electricity. The footer reads 'Nimble v3 figures per Bespoke Labs' model card; Decision 1.1 per Artificial Analysis.' The OrcaRouter logo is composited in the white strip below the artwork.

Licensen är det som avgör allt, och det är värre än det verkar.

CC BY-NC 4.0 på adaptern innebär att kommersiell användning inte är tillåten. Det är ingen gråzon som du kan resonera dig runt, och den uppenbara kringgåendet fungerar inte: basmodellen, Qwen3.5-9B, är Apache 2.0, och Bespokes modellkort säger det uttryckligen — men en tillåtande basmodell gör inte en icke-kommersiell adapter mindre restriktiv, och det är i adaptern som beslutsbeteendet finns. Tar du bort adaptern har du en allmän 9B-modell som inte alls är en beslutsmodell.

Det finns ett andra, mindre diskuterat problem. GitHub-repositoriet för Nimble-projektet rapporterar ingen licens alls via API:et, vilket innebär att även tränings- och kurateringskoden saknar deklarerade villkor. Om ditt juridiska team frågar vad du får göra med pipelinen som producerade vikterna, är svaret att projektet inte har angett det.

Ställ det mot Microsofts modell: du kan inte ladda ner den, så du kan inte forka den, men du kan inte heller av misstag bygga en produkt på en licens som förbjuder produkten. För ett team som ska välja mellan de två är den praktiska ramen att den ena är ett köp och den andra är en forskningsartefakt. Om arbetsbelastningen är kommersiell slutar jämförelsen här och den hostade modellen vinner som standard. Om den inte är det – ett internt utvärderingsramverk, en akademisk studie, en prototyp som du tänker ersätta – då är adaptern genuint intressant och dess 20 GB-fotavtryck innebär att den körs på en enda GPU som du kanske redan äger.

Utrullningsverkligheten på varje sida

Att köra Nimble v3 korrekt handlar inte om att ladda adaptern och chatta med den. Dataset-kortet är tydligt med att motorn bygger prompterna som dess schemakonfiguration låser fast via hash och läser varje begäran med det uppmärksamhetsmönster som modellen tränades med; att ladda vikterna som en vanlig chattmodell, eller generera text, återskapar inte dess svar. Motorn vägrar att ladda om promptfilerna eller alternativkodstokens skiljer sig från träningen. Du behöver CUDA, BF16, torch 2.8, transformers 5.17.0, peft och två uppmärksamhetskärnor, och begäranden över kontextgränsen avvisas i stället för att förkortas.

Det är ett reellt ingenjörsåtagande, och det ger dig något som den hostade modellen inte kan: möjligheten att köra utan utgående nätverkstrafik, på din egen hårdvara, med valet att granska varje prompt. För reglerade miljöer där ett modellanrop inte får lämna byggnaden är det den enda av de två som ens är en kandidat – och den icke-kommersiella licensen kan fortfarande utesluta den, vilket är fällan.

På Microsofts sida är kostnaden annorlunda och lägre. En Foundry-distribution, en slutpunkt, ett distributionsnamn, en nyckel eller en Entra-token. Samlokalisera Foundry-resursen med din applikation om latens spelar roll; använd en datazonedistribution om inferensen måste stanna i regionen, till $0,05 per miljon token i stället för $0,042. Din integrering är ett HTTPS-anrop med en JSON-body, och svaret består av sannolikheter som du tillämpar ett tröskelvärde på.

• Tid till första anrop — under en timme på Foundry jämfört med en GPU-konfiguration, en låst verktygskedja och en reproduktionskörning

• Felmod – en hastighetsbegränsning eller ett regionavbrott mot en CUDA OOM eller en kärnversionsmismatch

• Uppgraderingsväg – ingen, leverantören släpper en ny version jämfört med en ny adaptertagg som du kan pinna eller ignorera

• Utgångsväg — ingen, endast värdbaserad kontra att vikterna stannar där de är, med förbehåll för licensen

Där efterträdaren komplicerar berättelsen

Nimble v3 är inte Bespoke Labs nuvarande modell, och det spelar roll för alla som utvärderar den i dag. Nimble-v4-max, uppladdad den 3 november 2026, är en fullständig fine-tune av Qwen3.8-27B snarare än en adapter, publicerad med en tagghistorik och en benchmarktabell: 72,74 på Decision Index 0.3 public, upp från 68,46 vid v4.0, över 43 benchmarks vars poäng per benchmark medföljer i en JSON-fil. Den kräver cirka 55 GB i BF16 och en 80 GB GPU. Den är också CC BY-NC 4.0.

Så den ärliga tolkningen av Nimble v3 i dag är att det är den föregående generationen av en produktlinje som redan har flyttats fram två gånger, och dess enda publicerade poäng är på en kitversion som den nuvarande modellen har lämnat bakom sig. Att jämföra en leverantörs tre veckor gamla hostade flaggskepp med en tyst uppladdad adapter som är två revisioner gammal är inte en rättvis jämförelse på någon av axlarna. Produktfrågan är genuint Microsoft-Decision-1.1 mot Nimble-v4-max, och även där är licenssvaret oförändrat.

En avgörande faktor när du fortfarande bestämmer dig

Ingen av modellerna finns i OrcaRouters katalog, och den här artikeln kommer inte att påstå något annat: Microsoft-Decision-1.1 är endast tillgänglig via Foundry, och en CC BY-NC-adapter är inget som en kommersiell router kan tillhandahålla. Det katalogen däremot har är grannskapet, vilket är där de flesta utvärderingar faktiskt börjar.

Grannskapet är fortfarande användbart, eftersom båda sidorna i den här duellen definierar sig mot samma rival. Jev 1.14 är den rivalen: Microsoft-Decision-1.1 slår det med 1,55 poäng på den oberoende resultattavlan, och Bespokes tidigare checkpoint mätte sig mot Jev 1.13.0 i sin egen README. Jev 1.14 ligger på $0,042 per miljon in- och ut-tokens. Basmodellen Gemma 4 26B A4B, som är den Microsoft har post-tränat på, kan routas till $0,25 per miljon input och $2,90 output. Sätt Jev och en allmän modell på din egen märkta trafik bakom en enda slutpunkt, med automatisk failover, så får du på en eftermiddag veta om en beslutsmodell förtjänar sin plats i flödet – före en inköpscykel och före ett GPU-köp. Om den gör det stannar routern framför vilken beslutsmodell du än driftsätter, så att en leverantörs hastighetsbegränsning blir en omdirigering i stället för en incident.

A screenshot of the OrcaRouter model page for typesafe/jev-1.14, showing the OrcaRouter navigation, the models breadcrumb for the typesafe vendor, the model name typesafe/jev-1.14, HF and ZDR badges, a Data retention panel describing Zero Data Retention, and the page's Code samples, Pricing, Performance, Public benchmarks and How it compares sections.

Det som den där testriggen inte talar om för dig är hur Decision 1.1 själv beter sig på dina data. För det behöver du en Foundry-distribution och dina egna etiketter, och det finns ingen genväg runt etiketteringen.

Hur man väljer

Välj Microsoft-Decision-1.1 om arbetsbelastningen är kommersiell, om du vill ha en kalibrerad poäng som du kan hänvisa till en oberoende nämnd, om du behöver bildindata, eller om du hellre hyr 123 ms än äger en GPU-pipeline. Det gäller de flesta team.

Överväg Nimble v3 endast om alla tre följande villkor gäller: användningen är icke-kommersiell, modellanropet kan inte lämna din infrastruktur, och du är beredd att köra projektets egen motor i stället för en generisk loader. Om något av dem inte uppfylls har licensen eller tekniken redan fattat beslutet åt dig – och om du överhuvudtaget väljer en Nimble i dag, titta på Nimble-v4-max först, eftersom v3:s enda publicerade poäng är den äldsta siffran i jämförelsen.

Det man ska motstå är den prydliga tabellen. Ett 56,88 mot ett 67,78 ser ut som en dom men är det inte; det är två olika kit, två olika åldrar och två olika licenser utklädda till ett hästlopp. Modellen som levereras i din produkt är den hostade, och modellen som körs i ditt labb är den öppna – det är den verkliga uppdelningen, och ingen benchmark rubbar den.