Một thẻ tiêu đề được tạo có tiêu đề 'MAI Decision 1 vs Nimble v3' với phụ đề 'một bộ chấm điểm chạy trên máy chủ đối lại một giấy phép mà bạn không thể phát hành kèm', được chia thành hai bảng bo tròn quanh một đĩa 'vs'. Bảng bên trái, 'Microsoft-Decision-1.1', mang dòng phụ 'chạy trên máy chủ, tính theo token' và các hàng '$0.042 mỗi M token', 'điểm cuối Foundry', '67.78 trên AA v2.1' và 'điều khoản sử dụng'; bảng bên phải, 'Bespoke-Nimble-9B-v3', mang 'adapter tải xuống được', 'CC BY-NC 4.0', 'LoRA gồm năm tệp', '56.88 trên DI 0.2.1' và 'GPU của riêng bạn'. Chân trang ghi 'Hai điểm số được công bố đến từ các bộ đánh giá khác nhau, nên chúng không thể so sánh với nhau.' Logo OrcaRouter được ghép vào dải trắng bên dưới hình minh họa.
Engineering & Research

MAI Decision 1 so với Nimble v3: Một bộ chấm điểm dạng dịch vụ đối lại một giấy phép bạn không thể phát hành

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Điều đầu tiên phân biệt MAI Decision 1 — mô hình mà Microsoft đã phát hành tại Ignite với tên Microsoft-Decision-1.1 — với Nimble v3, được đăng trên Hugging Face dưới tên Bespoke-Nimble-9B-v3, không phải là một benchmark. Đó là một điều khoản giấy phép. Nimble v3 là một adapter LoRA được phát hành theo CC BY-NC 4.0, mà thẻ mô hình diễn giải là "không được sử dụng cho mục đích thương mại". Mô hình của Microsoft là một endpoint được host mà bạn thuê theo từng token, nên câu hỏi về giấy phép không bao giờ nảy sinh và câu hỏi về tự host cũng không bao giờ nảy sinh. Một trong hai thứ này bạn có thể đưa vào sản phẩm; thứ còn lại bạn có thể đưa vào một notebook. Mọi thứ khác trong so sánh này đều xuất phát từ sự phân nhánh đó, bao gồm lý do vì sao điểm số đã công bố của chúng không nên trừ lẫn nhau.

Mỗi thứ thực sự là gì, xét về mặt cơ chế

Microsoft-Decision-1.1 là một triển khai Foundry, hoạt động từ ngày 17 tháng 11 năm 2026, được Microsoft huấn luyện hậu kỳ trên Gemma 4 26B-A4B. Bạn gửi một trạng thái và các câu hỏi có kiểu đến endpoint quyết định, bạn nhận lại xác suất đã hiệu chỉnh, và bạn bị tính phí 0,042 USD cho mỗi triệu token đầu vào trên Global Standard hoặc 0,05 USD tại các vùng dữ liệu EU và APAC. Không có bản tải xuống, không có lộ trình tinh chỉnh và không có tùy chọn tự vận hành trong thẻ mô hình. Độ trễ là 123 ms mỗi tác vụ theo đo lường của Artificial Analysis; ngữ cảnh là 32.768 token đầu vào; nó đọc được cả hình ảnh lẫn văn bản.

Nimble v3 là một adapter PEFT gồm năm tệp dành cho Qwen3.5-9B, được tải lên ngày 30 tháng 9 năm 2026 mà không kèm thông báo, bài đăng blog hay ghi chú phát hành nào từ Bespoke Labs. Kho chứa gồm một README, một tệp cấu hình adapter, trọng số adapter, một tệp cấu hình schema và một tệp gitattributes — đó là danh sách đầy đủ. Bạn tự mang theo mô hình gốc, engine suy luận và GPU. Kho dataset đi kèm chứa toàn bộ lần chạy Decision Index, engine và hướng dẫn tái tạo, tức là minh bạch hơn hầu hết nhà cung cấp và cũng nhiều công hơn hầu hết người mua mong đợi.

• Trọng số — chỉ lưu trữ trên máy chủ, không tải xuống, so với adapter BF16 20 GB mà bạn gắn vào Qwen3.5-9B

• Giấy phép — điều khoản dịch vụ Microsoft so với CC BY-NC 4.0, phi thương mại, với nền tảng Apache 2.0 không nới lỏng hạn chế của adapter

• Giao diện — một endpoint quyết định với các câu hỏi có kiểu và xác suất so với mã suy luận của riêng bạn, được ghim vào các tệp prompt và token mã lựa chọn bằng hash

• Ngữ cảnh — 32,768 tokens so với 32,768 tokens, với các yêu cầu quá lớn bị từ chối thay vì bị cắt bớt

• Hình ảnh — tối đa 8 mỗi câu hỏi, 280 đến 1.568 pixel mỗi cạnh so với chỉ văn bản

• Giá — 0,042 USD mỗi triệu token, chỉ tính đầu vào, so với phần cứng, tiền điện và một kỹ sư

• Điểm được công bố — 67,78 trên AA Decision Index v2.1 so với 56,88 trên Decision Index 0.2.1

A screenshot of the Hugging Face model card for Bespoke-Nimble-9B-v3, showing the bespokelabs organisation, 15 likes, the PEFT and Safetensors tags, the license: cc-by-nc-4.0 badge, the card text describing the model as a LoRA adapter for Qwen/Qwen3.5-9B that returns a probability for each option, the line 'Decision Index 0.2.1: 56.88' with the pointer to the bespokelabs decision-index repository, and the licence paragraph stating it may not be used for commercial purposes while the base model is Apache 2.0.

Hai con số không nằm trên cùng một thang đo.

Gạch đầu dòng cuối cùng chính là chỗ hay bị lạm dụng trong các bài đăng so sánh, nên cần nói thẳng: 56.88 và 67.78 không thể so sánh với nhau. Con số của Nimble v3 đến từ Decision Index 0.2.1, bộ công cụ mở do chính Bespoke Labs vận hành, trên harness riêng của họ, với bản triển khai tham chiếu riêng của họ. Con số 67.78 của Microsoft đến từ Artificial Analysis Decision Index v2.1, một cách kết hợp các đánh giá khác nhau với trọng số khác nhau, một hàm tính điểm khác và một tập mô hình khác trong bảng so sánh.

Cả hai bảng xếp hạng đo cùng một nhóm hành vi — bạn chọn trong số các lựa chọn có giới hạn và được chấm điểm dựa trên độ chính xác, chiết khấu theo mức độ lệch của độ tin cậy bạn đã nêu. Nhưng một tổ hợp có trọng số gồm sáu phép đánh giá với một số hạng đối xứng không phải là cùng một công cụ như một lần chạy bộ công cụ công khai, và lấy cái này trừ cái kia tạo ra một “khoảng cách” 10,9 điểm mà phần lớn chỉ là khác biệt về thước đo. Ai cho bạn thấy phép trừ đó thì hoặc là bất cẩn hoặc là đang bán cái gì đó.

Điều có thể nói mà không phóng đại thì mang tính định hướng. Card của chính Nimble v3 chỉ báo một con số và không có phân tích chi tiết, trong một dòng họ mà checkpoint trước đó đã công bố một bảng đầy đủ hơn nhiều: 90,12% mức đồng thuận với nhãn tham chiếu so với 93,21% của Jev 1.13.0 trên 324 cặp đối chiếu được giữ riêng, và 75,7% so với 76,0% trên 3.880 quyết định do con người gán nhãn trên mười ba bộ dữ liệu công khai. Đó là số liệu của Nimble đầu tiên, không phải của v3, và dự án ghi chú chúng là các phép đo của chính mình. Ngược lại, Decision 1.1 mang một con số độc lập là 67,78 cùng sáu điểm thành phần được công bố và chỉ số Brier 0,160 trên một bảng xếp hạng cũng xếp hạng các đối thủ cạnh tranh theo cùng cách. Nếu bạn cần một con số có thể bảo vệ trong một buổi đánh giá mua sắm, chỉ một trong số này mang lại cho bạn điều đó.

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Nimble v3 — the scoreboard'. The Microsoft-Decision-1.1 column reads Licence Microsoft service terms, Weights hosted only, Deployment Foundry endpoint, Images up to 8 per question, Published score 67.78 on AA v2.1, Price $0.042 per M tokens; the Nimble v3 column reads CC BY-NC 4.0, 20 GB adapter, your own GPU stack, text only, 56.88 on DI 0.2.1, hardware and electricity. The footer reads 'Nimble v3 figures per Bespoke Labs' model card; Decision 1.1 per Artificial Analysis.' The OrcaRouter logo is composited in the white strip below the artwork.

Giấy phép là toàn bộ quyết định, và nó tệ hơn vẻ ngoài.

CC BY-NC 4.0 áp dụng cho adapter có nghĩa là không được dùng cho mục đích thương mại. Đây không phải là vùng xám mà bạn có thể lý luận vòng vo để lách qua, và cách lách hiển nhiên cũng không hiệu quả: mô hình nền Qwen3.5-9B dùng giấy phép Apache 2.0, và card của Bespoke nói rõ điều đó — nhưng một mô hình nền cấp phép dễ dãi không làm nới lỏng một adapter phi thương mại, và hành vi ra quyết định nằm ở adapter. Bỏ adapter đi thì bạn chỉ có một mô hình 9B tổng quát, hoàn toàn không phải mô hình ra quyết định.

Có một vấn đề thứ hai, ít được thảo luận hơn. Kho lưu trữ GitHub của dự án Nimble không báo cáo giấy phép nào qua API, nghĩa là mã huấn luyện và tuyển chọn dữ liệu cũng không có điều khoản được công bố. Nếu nhóm pháp lý của bạn hỏi bạn được phép làm gì với quy trình đã tạo ra các trọng số, câu trả lời là dự án chưa nói gì.

Đặt điều đó bên cạnh mô hình của Microsoft: bạn không thể tải nó xuống, nên bạn không thể fork nó, nhưng bạn cũng không thể vô tình xây dựng một sản phẩm dựa trên một giấy phép cấm sản phẩm đó. Với một nhóm đang cân nhắc giữa hai lựa chọn, cách định hình thực tế là một bên là một giao dịch mua, còn bên kia là một sản phẩm nghiên cứu. Nếu khối lượng công việc mang tính thương mại, so sánh dừng ở đây và mô hình được lưu trữ sẵn thắng theo mặc định. Nếu không — một bộ khung đánh giá nội bộ, một nghiên cứu học thuật, một nguyên mẫu mà bạn dự định sẽ thay thế — thì adapter thực sự thú vị và dung lượng 20 GB của nó nghĩa là nó chạy trên một GPU đơn lẻ mà bạn có thể đã sở hữu.

Thực tế triển khai ở mỗi bên

Chạy Nimble v3 đúng cách không phải chỉ là tải adapter lên rồi trò chuyện với nó. Thẻ bộ dữ liệu nói rõ rằng engine xây dựng các prompt mà cấu hình schema của nó ghim theo mã băm và đọc từng yêu cầu bằng mẫu attention mà mô hình đã được huấn luyện; tải trọng số như một mô hình chat thông thường, hoặc sinh văn bản, sẽ không tái tạo được các câu trả lời của nó. Engine sẽ từ chối tải nếu các tệp prompt hoặc token mã tùy chọn khác với lúc huấn luyện. Bạn sẽ cần CUDA, BF16, torch 2.8, transformers 5.17.0, peft và hai kernel attention, và các yêu cầu vượt quá giới hạn ngữ cảnh sẽ bị từ chối thay vì được rút ngắn.

Đó là một cam kết kỹ thuật thực sự và nó mang lại cho bạn một điều mà mô hình được lưu trữ không thể: khả năng chạy mà không có lưu lượng mạng đi ra, trên phần cứng của chính bạn, với tùy chọn kiểm tra từng prompt. Đối với các môi trường được quy định chặt chẽ, nơi một lệnh gọi mô hình không thể rời khỏi tòa nhà, nó là lựa chọn duy nhất trong hai lựa chọn thậm chí còn có thể được cân nhắc — và giấy phép phi thương mại vẫn có thể loại nó ra, đó chính là cái bẫy.

Về phía Microsoft, chi phí khác và thấp hơn. Một triển khai Foundry, một điểm cuối, một tên triển khai, một khóa hoặc một mã thông báo Entra. Đặt tài nguyên Foundry cùng vị trí với ứng dụng của bạn nếu độ trễ quan trọng; dùng triển khai vùng dữ liệu nếu suy luận phải ở trong vùng, với mức $0.05 mỗi triệu token thay vì $0.042. Tích hợp của bạn là một lệnh gọi HTTPS với phần thân JSON, và dạng phản hồi là các xác suất mà bạn đặt ngưỡng.

• Thời gian đến lần gọi đầu tiên — dưới một giờ trên Foundry so với một thiết lập GPU, một toolchain được ghim phiên bản và một lượt chạy tái tạo

• Kiểu lỗi — giới hạn tần suất hoặc sự cố vùng so với CUDA OOM hoặc không khớp phiên bản kernel

• Lộ trình nâng cấp — không có, nhà cung cấp phát hành phiên bản mới so với một tag adapter mới mà bạn có thể ghim hoặc bỏ qua

• Lối thoát — không có, chỉ lưu trữ trên máy chủ so với việc các trọng số vẫn ở nguyên vị trí, tùy thuộc vào giấy phép

Nơi người kế nhiệm làm câu chuyện trở nên phức tạp

Nimble v3 không phải là mô hình hiện tại của Bespoke Labs, và điều đó quan trọng với bất kỳ ai đang đánh giá nó lúc này. Nimble-v4-max, được tải lên ngày 3 tháng 11 năm 2026, là bản fine-tune toàn phần của Qwen3.8-27B chứ không phải adapter, được công bố kèm lịch sử tag và bảng benchmark: 72.74 trên Decision Index 0.3 public, tăng từ 68.46 ở v4.0, trên 43 benchmark với điểm số từng benchmark được gửi kèm trong một tệp JSON. Nó cần khoảng 55 GB ở BF16 và một GPU 80 GB. Nó cũng là CC BY-NC 4.0.

Vậy nên đánh giá thẳng thắn về Nimble v3 hiện nay là nó thuộc thế hệ trước của một dòng sản phẩm đã chuyển mình hai lần, và điểm số công bố duy nhất của nó nằm trên một phiên bản kit mà mẫu hiện tại đã bỏ lại phía sau. Việc so sánh một sản phẩm chủ lực dạng dịch vụ ba tuần tuổi của nhà cung cấp với một adapter được tải lên âm thầm đã cũ hai lần sửa đổi không phải là một cuộc so sánh công bằng trên cả hai phương diện. Câu hỏi về sản phẩm thực sự là Microsoft-Decision-1.1 đấu với Nimble-v4-max, và ngay cả ở đó câu trả lời về giấy phép vẫn không thay đổi.

Một phím, khi bạn vẫn đang cân nhắc

Không mô hình nào nằm trong danh mục của OrcaRouter, và bài viết này sẽ không gợi ý điều ngược lại: Microsoft-Decision-1.1 chỉ có trên Foundry, còn một adapter CC BY-NC không phải là thứ mà một router thương mại có thể phục vụ. Điều mà danh mục thực sự có là khu vực lân cận, nơi hầu hết các đánh giá thực sự bắt đầu.

Vùng lân cận vẫn hữu ích, vì cả hai phía trong cặp so tài này đều lấy cùng một đối thủ làm chuẩn để định vị mình. Jev 1.14 chính là đối thủ đó: Microsoft-Decision-1.1 đánh bại nó với cách biệt 1,55 điểm trên bảng xếp hạng độc lập, và checkpoint trước đó của Bespoke đã tự đo mình so với Jev 1.13.0 trong README của chính nó. Jev 1.14 phản hồi ở mức $0.042 mỗi triệu token vào và ra. Mô hình nền Gemma 4 26B A4B, thứ mà Microsoft đã hậu huấn luyện dựa trên, có thể định tuyến với giá $0.25 mỗi triệu token đầu vào và $2.90 đầu ra. Đặt J​ev và một mô hình tổng quát trên lưu lượng có nhãn của riêng bạn phía sau một endpoint, với chuyển đổi dự phòng tự động, và bạn sẽ biết trong một buổi chiều liệu một mô hình ra quyết định có xứng đáng có chỗ trong đường xử lý hay không — trước một chu kỳ thu mua và trước khi mua GPU. Nếu có, router vẫn đứng trước bất kỳ mô hình ra quyết định nào bạn triển khai, nên giới hạn tốc độ của một nhà cung cấp chỉ là một lần định tuyến lại thay vì một sự cố.

A screenshot of the OrcaRouter model page for typesafe/jev-1.14, showing the OrcaRouter navigation, the models breadcrumb for the typesafe vendor, the model name typesafe/jev-1.14, HF and ZDR badges, a Data retention panel describing Zero Data Retention, and the page's Code samples, Pricing, Performance, Public benchmarks and How it compares sections.

Điều mà bộ khung đó sẽ không cho bạn biết là bản thân Decision 1.1 hành xử thế nào trên dữ liệu của bạn. Để làm được điều đó, bạn cần một bản triển khai Foundry và nhãn của chính bạn, và không có đường tắt nào để tránh việc gán nhãn.

Cách chọn

Chọn Microsoft-Decision-1.1 nếu khối lượng công việc mang tính thương mại, nếu bạn muốn có điểm số đã hiệu chỉnh và có thể viện dẫn một hội đồng độc lập, nếu bạn cần đầu vào hình ảnh, hoặc nếu bạn thà thuê 123 ms còn hơn tự sở hữu một pipeline GPU. Đó là phần lớn các đội.

Chỉ cân nhắc Nimble v3 nếu cả ba điều sau đều đúng: mục đích sử dụng là phi thương mại, lệnh gọi mô hình không thể rời khỏi hạ tầng của bạn, và bạn sẵn sàng chạy engine riêng của dự án thay vì một loader tổng quát. Nếu một trong số đó không đúng, thì giấy phép hoặc khía cạnh kỹ thuật đã đưa ra quyết định thay bạn — và nếu hôm nay bạn có ý định chọn một phiên bản Nimble, hãy xem Nimble-v4-max trước, vì điểm số công bố duy nhất của v3 là con số cũ nhất trong bảng so sánh.

Điều cần chống lại là bảng số liệu gọn gàng. Một 56,88 so với 67,78 trông như một phán quyết mà không phải vậy; đó là hai bộ công cụ khác nhau, hai độ tuổi khác nhau và hai giấy phép khác nhau được khoác lên như một cuộc đua ngựa. Mô hình đi kèm sản phẩm của bạn là bản được lưu trữ, còn mô hình chạy trong phòng thí nghiệm của bạn là bản mở — đó mới là sự phân tách thực sự, và không benchmark nào thay đổi được điều đó.