Nemotron 3.5 Bolt 24GB مقابل Nemotron 3.5 Bolt 74B: نموذج واحد، مخرَجان

This is a comparison between a model and itself. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA Nemotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

ما هما القطعتان الأثريتان في الواقع

The names describe the pipeline, not two designs. N​VIDIA took Nemotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

كلاهما مؤرخ في 15 أكتوبر 2026 على بطاقات النموذج الخاصة بهما. ويحمل كلاهما الترخيص نفسه OpenMDW-1.1، ونافذة السياق نفسها البالغة 256,000 رمز، والعمود الفقري نفسه Mamba-2 hybrid LatentMoE، ومشفر الرؤية نفسه C-RADIO v4-H. وتُظهر البيانات الوصفية للمستودع العلاقة بوضوح في حقل واحد: تسرد بطاقة نقطة التحقق سعة 24GB base_model_relation: quantized مقابل إصدار BF16.

ما يختلف هو الغرض من كل واحدة. تُحدِّد بطاقة 24GB حالة استخدامها بأنها أُطر تشغيل الوكلاء المحليين — استدعاء الأدوات، والتصفح، والعمل عبر الطرفية — ونشرها عبر vLLM على Ampere أو Hopper أو Blackwell. وتُحدِّد بطاقة BF16 حالة استخدامها بأنها التدريب اللاحق باستخدام NeMo RL وNeMo Gym، والتكيّف مع المجال، والتقطير، وإنتاج المتغيّرات المُكمَّمة الخاصة بك، وتحذّر في الفقرة نفسها من أنه للاستدلال المُحسَّن من حيث الكمون والإنتاجية ينبغي استخدام نسخة 24GB بدلاً منها. قول مورّد لك ألّا تشغّل نقطة تحقق حمّلتها للتو أمر يستحق أن يُقرأ حرفيًا.

فرق الحجم، كما يُقرأ من قوائم الملفات

• BF16 — إجمالي 149.8GB موزعة على 63 جزءاً من safetensors، أكبر جزء 3.71GB، بالإضافة إلى برج رؤية بحجم 228MB.

• ملفات safetensors بحجم 24GB — 24.12GB موزعة على 90 جزءًا في الإصدار الجاهز لـ vLLM، وهو أعلى بشكل طفيف من الرقم المذكور في اسم النموذج.

• 24GB GGUF — 22.02GB في ملف واحد، بالإضافة إلى مُسقِّط رؤية منفصل بحجم 1.73GB، ليصبح المجموع 23.75GB.

• النسبة — نحو ستة إلى واحد في البايتات، من خبراء 16 بت إلى خبراء 2 بت بالإضافة إلى معالجة الدقة المختلطة لكل ما تبقى.

كون العدد ثلاثة وستين جزءًا مقابل تسعين هو أيضًا اختلاف في الشكل، وليس مجرد اختلاف في الحجم. إصدار BF16 مُصمَّم ليُحمِّلَه إطار تدريب وفق أي تخطيط توازٍ لديك؛ أما إصدار 24GB فمُصمَّم ليُحمِّلَه GPU واحد، أو llama.cpp على جهاز واحد، ويعكس عدد الأجزاء المهمة المختلفة.

ثلاثة غيغابايت من أصل 24GB الإجمالية جديرة بالفهم قبل أن تخطط للتخزين. إن مُسقِط الرؤية ملف منفصل في بناء GGUF لأن هذه هي طريقة تعامل llama.cpp مع المدخلات متعددة الوسائط، وأي شخص ينزّل الأوزان فقط ثم يتساءل لماذا لا تعمل الصور فقد تخطّى ذلك الملف. وفي بناء safetensors يكون برج الرؤية داخل الشظايا، ويتجاوز الإجمالي حدّ 24GB.

ما تكلفة التكميم، وفقًا لأرقام NVIDIA نفسها؟

تنشر بطاقة BF16 كلا العمودين جنبًا إلى جنب، وهو إفصاح غير معتاد: يحمل جدول القياس نفسه أرقام IQ2 24GB وأرقام BF16 للتقييمات الثلاثة عشر نفسها. مُبلَّغ عنها من البائع، ولم يُعَد إنتاجها، ومع ذلك تبقى أكثر الأدلة المباشرة المتاحة حول تكلفة بتّين لكل خبير.

• Terminal-Bench 2.1 — 50.98 عند IQ2 مقابل 53.93 عند BF16، بخسارة قدرها 2.95 نقطة.

• BrowseComp — 66.75 مقابل 70.00، بخسارة قدرها 3.25.

• GPQA Diamond — 86.43 مقابل 88.83، بخسارة قدرها 2.40.

• AA-LCR الاستدلال طويل السياق — 64.06 مقابل 67.38، خسارة قدرها 3.32.

• HLE بدون أدوات — 25.30 مقابل 28.73، بخسارة قدرها 3.43.

• دقة AA-Omniscience — 16.90 مقابل 21.80، بخسارة قدرها 4.90، وهي الأكبر في الجدول.

• PinchBench — 87.82 مقابل 90.35، بخسارة قدرها 2.53.

• GDPVal-AA-V2 — 28.47 مقابل 31.13، بخسارة قدرها 2.66.

سطران يكسران النمط، وهما المثيران للاهتمام. في مقياس AA-Omniscience لعدم الهلوسة، يسجّل النموذج المكمَّمأعلى، 61.27 مقابل 56.14 — إذ جعل ضغط الخبراء النموذج أقل ميلًا إلى الإجابة بثقة عندما لا يعرف، وهو نوع النتيجة الذي يجعل الجدول يستحق النشر كاملًا. في WebArena للرؤية، الاثنان متعادلان، 50.86 مقابل 50.25، ما يشير إلى أن مسار الرؤية نجا من الضغط سليمًا إلى حد كبير، ويرجّح أن السبب هو إعادة تدريب محول الرؤية الموصوفة في بطاقة النموذج.

اقرأها مجتمعةً: ضريبة تتراوح بين نقطتين وخمس نقاط على معظم صفوف القدرات، وشبه معدومة على الإرساء البصري، وتحسّن في أحد مقاييس المعايرة. هذه نتيجة مواتية لضغط بنسبة ستة إلى واحد، ومع ذلك تظل ضريبة ينبغي أن تحسبها بدلاً من أن تتجاهلها.

أيّ واحد يمكنك تقديمه فعليًا؟

للأرتيفاكت 24GB قصة وقت تشغيل، وللأرتيفاكت BF16 قصة تدريب، وهما ليستا القصة نفسها بعلامة مختلفة.

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

قصة تقديم نقطة تفتيش BF16 هي مشكلتك التي عليك حلها. فهي تحتاج إلى نحو ستة أضعاف ذاكرة البناء المُكمَّم قبل أي ذاكرة KV المؤقتة، ما يجعل مسرّعًا واحدًا بسعة 80 جيجابايت بعيد المنال ويجعل تعدد وحدات GPU أو تعدد العقد هو الوضع الافتراضي. هذه هي المقايضة الصحيحة للتدريب اللاحق والمقايضة الخاطئة للاستدلال، وهو بالضبط ما تقوله البطاقة.

القرار، بصيغة واضحة.

إذا كنت تريد تشغيل وكيل اليوم على عتاد تملكه، فنزّل إصدار 24GB، وتقبّل ضريبة تتراوح بين نقطتين وخمس نقاط، وخصص ميزانية للمُسوِّد والمُسقِط بالإضافة إلى الأوزان.

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

أين تندرج البوابة ضمن مكدس محلي

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

تلك هي الطبقة التي نُشغّلها. مفتاح واحد عبر أكثر من 200 طراز مستضاف بسعر قائمة المزوّد مع عدم إضافة هامش ربح؛ تحويل تلقائي عند الفشل عندما يتدهور مزوّد أثناء الطلب؛ لغة توجيه DSL تحوّل "جرّب Bolt محليًا، وانتقل إلى طراز مستضاف عندما تتجاوز المهمة قدرته" إلى إعداد بدلًا من شيفرة. النصف 24GB من المنظومة تحدده عتادك ومدى تحمّلك لحاوية ليلية. والنصف الواقع على الجانب الآخر من التصعيد يحدده من يحمل المفتاح.

ما الذي قد يغيّر هذه الصورة؟

أمران، وكلاهما متوقع.

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

الثاني هو أي تقييم مستقل لأي من الأثرين. وقد قاس فريق Artificial Analysis نموذج 24GB بـ21 على مؤشر الذكاء الخاص به، دون نشر أي سرعة أو تكلفة، لأنه لا يوجد شيء يُقاس عليه السعر. ولم ينشر أحد على الإطلاق تشغيلًا قابلًا لإعادة الإنتاج لنقطة تفتيش BF16، وهو أمر غير مفاجئ لتنزيل بحجم 150GB مخصص للتدريب. وإلى أن يفعل أحدهم ذلك، فإن الفجوة بين العمودين أعلاه هي رواية مورّد عن ضغطه الخاص، والطريقة الأمينة لقراءتها هي اعتبارها ادعاءً يصادف أنه مدعوم جيدًا على نحو غير معتاد من خلال شكل الأدلة.

نتيجة كهذه تذكّر أيضًا بأن أخطاء النماذج موثّقة بالفعل: فالحوادث المتعلقة بالذكاء الاصطناعي وإخفاقات الوكلاء الكامنة وراء نماذج هذه الفئة تُجمع في the OrcaRouter AI Incident Archive، حيث يحمل كل مدخل مصادره الخاصة ودرجة خطورته ودرجة ثقته وعلامة كونه محل نزاع.