Gemini Decision 1 مقابل Kev: ألف سؤال في استدعاء واحد، أم وصفة يمكنك إعادة تدريبها

كلّف تدريب عائلة Kev الخاصة بجاريد بالمر نحو 95 دولارًا من زمن H100 على Modal، إضافة إلى نحو ثلاثة سنتات من استدعاءات API لبيانات التقييم، والوصفة كاملة موجودة في المستودع. Gemini Decision 1 يكلّف ما ينفقه مختبر رائد على نموذج لن يصفه، وما تحصل عليه مقابل المال هو مخطط طلب: نقطة نهاية واحدة، وحتى 1,000 سؤال محدد النوع مقابل إدخال واحد بطول 262,144 رمزًا، مع إعادة احتمالات معايَرة، وصفر رموز إخراج، و0.10 دولار لكل مليون رمز إدخال. ضع Kev إلى جانبه، فلن تكون المقارنة حقًا بين نموذجين. بل بين جهاز تقييم دفعي وقطعة صغيرة من الآلات يمكنك تفكيكها.

لم ينشر أي من المشروعين رقمًا يمكن تقييم الآخر مقارنةً به، وهذا أول ما يمكن قوله بصدق. لم تُصدر Google أي جدول معايير مع Gemini Decision 1؛ وكل رقم أداء في هذا المقال مصدره Artificial Analysis، التي تضع النموذج عند 66 على Decision Index v2.1. ولا يظهر Kev على تلك اللوحة إطلاقًا. ما ينشره Kev بدلًا من ذلك هو إطار اختبار، ومجموعة اختبار مقفلة، ومعدلات خطأ خاصة به، ولا يمكن طرح هذه من أي شيء.

الشيء الذي يفعله Gemini Decision 1 ولا يستطيع Kev فعله

ابدأ بفجوة القدرات، لأنها ما يحدد البُنى المعمارية لا الدرجات. تقيّم Gemini Decision 1 ما يصل إلى 1000 سؤال مستقل مقابل مُدخل مشترك واحد في تمريرة أمامية واحدة. لا يمكن للأسئلة أن ترى بعضها بعضًا، وإضافة أحدها أو حذفه لا يغيّر الأسئلة الأخرى، ويُحتسب المُدخل المشترك مرة واحدة.

هذا البند الأخير هو المنتج نفسه. تذكرة دعم تُفحص مقابل أربعين قاعدة سياسة هي طلب واحد، وقراءة واحدة للتذكرة، وأربعون إجابة معايَرة. أما في نموذج يعمل سؤالاً بسؤال — وهو ما يمثله Kev، بمعنى أن الرأس يقيّم كل خيار مقابل السؤال في صف واحد — فإن الفحوص الأربعين نفسها تصبح أربعين تمريرة على الحالة، سواء دمجتها في دفعة أم لا. وأرقام الخدمة الخاصة بـ Kev تجعل التكلفة ملموسة: 18.1 مللي ثانية لستة أسئلة على حالة قصيرة على بطاقة H100، و12.9 مللي ثانية عند التخزين المؤقت، و14.3 جيجابايت مقيمة في الذاكرة. ستة أسئلة، لا ألف.

سطح الإدخال يختلف بالطريقة نفسها:

• الوسائط — يقرأ Gemini Decision 1 النصوص والصور والفيديو والصوت وملفات PDF؛ أما Kev فيقرأ النصوص فقط. تسجيل مكالمة أو نموذج ممسوح ضوئيًا يمثّل مشكلة معالجة مسبقة لدى Kev، ومدخلًا أصليًا لدى Gemini Decision 1.

• السياق — 262,144 رمزًا لـ Gemini Decision 1 عبر الإدخال والأسئلة؛ يقدّم Kev حتى 65,536 مع 8,192 على الأقل لكل سؤال، لكنه لا يتحقق إلا حتى 8,192، وبطاقته تنص على ذلك.

• الامتناع — يعيد Gemini Decision 1 احتمالات محصورة بين 0.01–0.99 مع حقل ثقة، لذا تكون الإجابة منخفضة الثقة مرئية دون خيار منفصل. يعيد Kev دالة softmax على الخيارات التي تقدمها، ما يعني أن الامتناع هو أي خيار تسميه بالإضافة إلى عتبة تحددها.

• الأوزان — لا يوجد أي منها لـ Gemini Decision 1؛ نقطة نهاية مستضافة على Gemini Developer API في v1beta، مع مستوى مجاني يبلغ 200 طلب في الدقيقة و10,000 في اليوم. Apache-2.0 لـ Kev، مع محوّل LoRA من الرتبة 16 على قاعدة Qwen3.5 مجمّدة ورأس مؤشر، بأحجام 0.8B و4B و9B.

الشيء الذي يفعله Kev ولا تستطيع Gemini Decision 1 فعله

يتيح لك Kev تغيير النموذج. لا بأن تعطيه توجيهًا مختلفًا — بل بإعادة تدريب سلوك اتخاذ القرار على تسمياتك الخاصة، مقابل مبلغ من المال يمكنك إدراجه في تقرير مصاريف.

البنية متواضعة عن قصد: قاعدة Qwen3.5 مجمّدة، ومهايئ برتبة 16 يضم نحو 33.8 مليون معامل قابل للتدريب، ورأس مؤشّر صغير يقيّم رمز الإغلاق لكل خيار مقابل الرمز الأخير في السؤال. ولأن القاعدة تبقى مجمّدة، فإن التكلفة الحدية لنطاق قرار جديد تكون بحجم المهايئ لا بحجم النموذج الأساسي. يمكنك إبقاء قاعدة واحدة في الذاكرة وتبديل المهايئات حسب النطاق، وهو شكل نشر لا تعبّر عنه أي نقطة نهاية مستضافة.

ما ينشره Kev عن نفسه محدد بما يكفي للجدال فيه، وهو أمر أندر مما ينبغي:

• Transfer-v4، مُقيَّد خارج النطاق — الدقة 0.838، Brier 0.224، ECE 0.017.

• Breadth-v1، 14 مجموعة بيانات محجوزة، 3,089 سؤالًا — الدقة 0.690، ECE 0.029.

• Documents-v1 — 0.903. Hard-v1 — 0.803. MMLU-Pro مع عشرة خيارات — 0.565.

• حساب التواريخ — 0.65 عند دقة اليوم، وقد أشار إليها المؤلف بأنها أضعف مجال، مع طرح علامة معالج مسبق كإصلاح جزئي وعدم ادعاء إعادة قياس.

تلك قياسات المؤلف نفسه على أداة الاختبار الخاصة بالمؤلف، وتقول البطاقة إن المعايرة هي درجة حرارة واحدة داخل التوزيع، لذا تتدهور التغطية خارج النطاق، وقد يقلب ترتيب الخيارات الإجابة. هذا تقييم ذاتي موثوق، وليس نتيجة مدقَّقة. ومع ذلك، لا يزال مقياسًا يمكنك محاولة إعادة إنتاجه الليلة، وهو أكثر مما يمكنك قوله عن معظم أرقام المورّدين في هذه الفئة.

لماذا لا يلتقي الرقمان الموجودان على الطاولة أبدًا؟

الإغراء هو أن تضع دقة النقل البالغة 0.838 لدى Kev بجانب 66 الخاصة بـ Gemini Decision 1 وتعلن فائزًا. قاوم ذلك، لثلاثة أسباب.

تقيس الأدوات أشياء مختلفة. يحتسب مؤشر القرار الدقة مطروحًا منها عقوبة براير المرتبطة بالثقة في الإجابة، وذلك مجمّعًا عبر ستة تقييمات، 45% منها مبنية على بيانات خاصة. أما رقم transfer-v4 لدى Kev فهو دقة خام على مجموعة مقفلة جمعها المؤلف، مع الإبلاغ عن Brier وECE إلى جانبه بدلًا من دمجهما في العنوان الرئيسي.

مزيج المهام ليس متطابقًا. أكبر مكوّن في المؤشر، AA-Paperclip بنسبة 30%، هو خمس عشرة إجابة من نوع كل شيء أو لا شيء لكل مستند — وهو شكل يقترب منه اختبار documents-v1 الخاص بـ Kev لكنه لا يحاكيه تمامًا.

والقواسم تختلف. فدرجة المؤشر مركّبة مرجّحة يُكافأ فيها الامتناع؛ أما رقم الدقة فهو نسبة الأسئلة التي كان فيها الخيار الأعلى احتمالًا صحيحًا. ويمكن لنموذج أن يتفوق على آخر في أحدهما ويخسر في الآخر دون أن يكون أي منهما مخطئًا.

إذن، البيان القابل للدفاع ضيّق: {{1}}Gemini Decision 1{{/1}} في منتصف الجدول بين نماذج القرار المستضافة عند {{2}}66{{/2}}، و{{3}}التاسع من أصل ثمانية عشر{{/3}}، مع حلوله أولًا في {{4}}مكوّنات المعرفة{{/4}} و{{5}}معدل اجتياز المستندات 33% على أساس الكل أو لا شيء{{/5}}؛ و{{6}}Kev{{/6}} محول {{7}}من فئة 4B{{/7}} يذكر مؤلفه {{8}}معايرة قوية داخل النطاق وحسابًا ضعيفًا للتواريخ{{/8}}. أي شخص يخبرك أن أحدها أفضل إنما يستقرئ.

ما تكلفة تشغيل كل واحد منها فعليًا

اقتصاديات Gemini Decision 1 سهلة الحساب ويصعب تقبّلها عند التوسّع. عند 0.10 دولار لكل مليون رمز إدخال، تقيس Artificial Analysis 345 دولارًا لكل مليون مهمة — وهو أغلى نموذج في النصف الأعلى من لوحة الترتيب، مع غياب التخزين المؤقت للسياق، وBatch API، واستدلال Flex أو Priority. ويُحتسب الإدخال المشترك المتكرر بالكامل في كل طلب. كما أن عملية مسح ليلية لمليون تذكرة تعيد قراءة وثيقة السياسة مليون مرة.

اقتصاديات Kev على شكل معاكس: شبه مجانية لكل استدعاء بمجرد دفع ثمن GPU، بينما تكمن التكلفة الحقيقية في الساعات التي تنفقها في بناء التسميات وتدريب المحوّلات والتحقق منها. رقم Palmer البالغ ~$95 يغطي جولة التدريب، لا وضع التسميات. وإذا كانت قواعد التوجيه لديك تختلف عن قواعد حكم عام — وهي كذلك — فإن تكلفة وضع التسميات تلك تشتري لك ما لا يبيعه أي نموذج قرار مستضاف: مقيّم يشفّر سياستك بدل أن يقاربها.

هناك تكلفة ثالثة تحسم مشاريع أكثر من أيّ من السعرين: سرعة التكرار. حدود Gemini Decision 1 موثّقة وثابتة، لذا فإن تغيير السلوك هو إعادة كتابة للمطالبة وإعادة تشغيل مجموعة التقييم لديك. أما Kev's فهي إعادة تدريب للمهايئ، وهي رخيصة من حيث الحوسبة وليست رخيصة من حيث العملية. بالنسبة لفريق لديه نطاق واحد وحجم كبير، فإن إعادة التدريب تستحق الجهد. أما بالنسبة لفريق لديه اثنا عشر نطاقًا ولا يوجد لديه مهندس تعلّم آلي، فإن نقطة النهاية المستضافة تتفوق من حيث ساعات الهندسة حتى عند 345 دولارًا لكل مليون مهمة.

إذا كان خط سير العمليات المحيط بالقرار هو المكان الذي تنفق فيه فعليًا

لا يوفّر OrcaRouter أيًا من هذين النموذجين. فـ Kev عبارة عن أوزان Apache-2.0 تشغّلها بنفسك، وGemini Decision 1 هو نقطة نهاية للاحتمالات فقط على واجهة Google البرمجية — وليس أيٌّ منهما هدفًا لـ chat-completions، ونحن لا ندّعي غير ذلك. نموذج القرار في كتالوجنا هو typesafe/jev-1.14 من TypeSafe، بدرجة 66.23 على اللوحة نفسها، للفرق التي تريد استدعاءً تقييميًا على المفتاح نفسه المستخدم مع كل شيء آخر.

نصف سلسلة المعالجة الذي صُمّمنا من أجله هو النصف السابق للقرار: توليد الإجابة المرشحة، وكتابة معيار التقييم، وتلخيص التذكرة قبل تقييمها. هذا الاستدعاء هو حيث تغيّر النماذج في أغلب الأحيان، وحيث تكلّف اتفاقية المورّد الثاني أكثر ما تكلّف، وهو الاستدعاء الذي يعمل عبر نقطة نهاية واحدة عليها أكثر من 200 نموذج، سعر قائمة المزوّد يُمرَّر بهامش ربح 0%، والتبديل التلقائي عند تدهور أداء أحد المزوّدين. إذا كنت توازن بين Kev وأداة تقييم مستضافة، فشغّل نصف الصياغة عبرنا وأبقِ قرار التقييم قابلاً للتراجع — بهذه الطريقة لا يتحوّل اختيارك اليوم بشأن محول بقيمة 95 دولارًا إلى عملية ترحيل لاحقًا.

القرار بين القرارين

اختر Gemini Decision 1 عندما يكون القرار مدخلًا واحدًا وقواعد كثيرة، وعندما يكون المدخل صوتًا أو فيديو أو ملف PDF، وعندما يغيّر ألف فحص في تمريرة واحدة مفوترة نموذج التكلفة لديك، وعندما ترضى بالثقة في معايرة لم تقم أنت بملاءمتها. تقبّل أنك تشتري صندوقًا أسود بأسعار مدخلات مختبرات الطليعة من دون خصم على الدفعات.

اختر Kev عندما يكون القرار مُدخَلاً واحداً وبضعة أسئلة مكتوبة، وعندما يكون النص قصيراً بما يكفي للتحقق منه ضمن 8,192 رمزاً، وعندما تكون سياستك محددة بما يكفي بحيث يحاكيها حَكَم عام على نحو رديء، وعندما تكون ملكية الأثر أهم من ملكية نقطة النهاية. تقبّل أنك الآن مسؤول عن المعايرة وحساب التواريخ وحساسية ترتيب الخيارات التي تحذرك منها البطاقة.

الشيء الوحيد الذي لا ينبغي أن تفعله هذه المقارنة هو إنتاج جدول ترتيب. فلا توجد أداة قياس مشتركة، ولا مجموعة مهام مشتركة، ولا إعادة إنتاج لأي من الرقمين من طرف ثالث. ما يمكنك فعله هذا الأسبوع هو تمرير 200 من العناصر الموسومة الخاصة بك عبر كليهما ومقارنة معدلات الاجتياز ومنحنيات الثقة — عمل صباح واحد سيخبرك بأكثر مما ستخبرك به المراجعة التالية للوحة المتصدرين.