شرح الفريق الأزرق في الذكاء الاصطناعي: الطبقات الثلاث التي يمكن أن يوجد فيها عنصر تحكم فعليًا

اسأل فريقًا أمنيًا عن المكان الذي توجد فيه ضوابط حماية الذكاء الاصطناعي لديه، فعادةً ما يذكر الجواب وثيقة سياسة أو موجّه نظام أو ميزة من ميزات أحد المورّدين. لا شيء من ذلك يُعدّ ضابطًا. الضابط هو شيء يقرّر، في لحظة تنفيذ الإجراء، ما إذا كان الإجراء سيحدث — وبالنسبة لوكيل ذكاء اصطناعي لا توجد سوى ثلاثة مواضع يمكنها أن تقرّر: النموذج، والبوابة التي أمامه، والبيئة المحيطة به. وكل ما يستطيع الفريق الأزرق أن يَعِد به بصدق يأتي من الموضعين الثاني والثالث منهما. هذا هو سؤال الطبقة، وهو سابق لكل قرار آخر يتخذه الفريق الأزرق، بما في ذلك ما يجب تسجيله وبمن يجب الاتصال. وهو أيضًا سبب أهمية الأدلة الميدانية: أرشيف حوادث الذكاء الاصطناعي يضم 400 حادثة وكيل من 2024-12 إلى 2026-10-17، ومعظمها ليست قصصًا عن نموذج يتصرف بشكل سيئ. إنها قصص عن عملية نشر بلا طبقة تستطيع أن تقول لا.

العمل ضمن الفريق الأزرق بالمعنى المرتبط بالذكاء الاصطناعي هو مهمة إدخال تلك الطبقات، وضبط ما ترصده، وامتلاك إجابة متدرَّب عليها لليوم الذي يُفعَّل فيه أحدها. إنه عمل غير برّاق، ولا ينتج درجة، وهو النصف الوحيد من ثنائي الفريق الأحمر/الفريق الأزرق الذي يغيّر رقم المخاطر.

ما الذي يرثه الفريق الأزرق، وما لا يرثه

يرتكز العمل التقليدي للفريق الأزرق على مجموعة من الافتراضات التي تُبطلها عمليات نشر الذكاء الاصطناعي بهدوء. كان يُفترض أن السجلات كاملة، لأن الشبكة كانت ترى كل حزمة. وكان يُفترض أن الأصول قابلة للحصر، لأن شخصًا ما كان لا بد أن يجهّزها. وكان يُفترض أن السلوك حتمي، لأن البرنامج يفعل الشيء نفسه عند تلقي المدخلات نفسها. ولا يصمد أي من هذه الافتراضات الثلاثة عند التعامل مع وكيل.

ما يرثه الفريق الأزرق بدلًا من ذلك هو نظام تحدث فيه أهم القرارات داخل طلب تتعامل معه طبقة الشبكة كحركة HTTPS عادية إلى اسم مضيف واحد. فالموجّه والسياق المسترجَع واستدعاءات الأدوات والإكمال — كل ذلك داخل جسم الطلب، وإذا لم يكن أحد يلتقط ذلك الجسم ويحلله، فإن النشر يكون فعليًا غير مراقَب بغض النظر عن مدى جودة المحيط. لذلك فإن أول مهمة للفريق الأزرق ليست الكشف؛ بل هي إنشاء مستشعر. فبدون رؤية على مستوى الطلب ومستوى الأدوات لا يوجد ما يمكن الكشف عليه، وكل ضابط لاحق يبقى زخرفيًا.

من يمكنه فعليًا إنفاذ السيطرة

بمجرد وجود مستشعر، يصبح السؤال هو أين يُسمح لكل عنصر تحكم بأن يوجد. والطريقة المفيدة لتمثيل ذلك هي وفق الملكية لا وفق التقنية، لأن الملكية هي ما يحدد ما إذا كان عنصر التحكم سيبقى في الإصدار التالي.

طبقة النموذج مملوكة لمن درّبه. أنت لا تقوم بتهيئتها، ولا تستطيع النظر بداخلها، وسلوكها يتغيّر عندما يُصدر المورّد نسخة جديدة — وقد يحدث ذلك في أي يوم ثلاثاء. ما تستطيع فعله هو تثبيت نسخة والتعامل مع تغيّر النسخة على أنه تغيّر في وضع المخاطر لديك يستلزم إعادة اختبار. أما ما لا تستطيع فعله فهو ادّعاء وجود ضابط تحكم هنا. عبارة "النموذج يرفض الطلبات الضارة" خاصية تعتمد عليها، وليست آلية تشغّلها أنت.

طبقة البوابة هي حيث تمرّ كل مطالبة وإكمال عبر مكوّن تملكه أنت. هنا تُدار حدود الميزانية ومعدل الطلبات، وهنا تُفرض قوائم السماح وأذونات الأدوات، وهنا يكون تسجيل الطلبات والاستجابات مكتملًا بحكم التصميم، وهنا يمكن إعادة كتابة الطلب أو حظره أو إعادة توجيهه قبل احتساب أي رمز. كما أن عناصر التحكم في البوابة هي الوحيدة التي تظل مرتبطة عند تغيير النماذج، وهذا أهم مما يبدو: فالفرق التي تضع عناصر تحكمها في المطالبات تفقدها بالكامل يوم تنتقل.

طبقة البيئة هي الطبقة التي تملكها بالكامل: بيانات الاعتماد ونطاقاتها، وحركة الخروج عبر الشبكة، والوصول إلى الملفات، وحدود بيئة العزل فيما يتعلق بالوقت الفعلي والإنفاق. وهي أيضًا المكان الذي يُحدث فيه تشغيل مخترق ضرره. إن الوكيل الذي جرى إقناعه بالتصرف بخبث يكون خطره متناسبًا تمامًا مع ما سمحت البيئة لذلك الفعل بالوصول إليه — والبيئة هي المكان الوحيد الذي تكون فيه "أقل صلاحية" تغييرًا في الإعدادات بدلًا من أن تكون مشكلة بحثية.

الاختبار العملي لأي ضابط مقترح للذكاء الاصطناعي هو سؤال واحد: أي من هذه الطبقات الثلاث يفرضه؟ إذا كانت الإجابة هي طبقة النموذج، فإن الضابط أملٌ. وإذا كانت الإجابة هي "موجّه النظام"، فهو اقتراح داخل طبقة النموذج، وهو أسوأ من الأمل لأنه يأتي مع وثائق تدّعي خلاف ذلك.

الكشف: ما يُصدره الوكيل فعليًا

يعمل الكشف الخاص بالوكلاء على مجموعة إشارات مختلفة عن الكشف الخاص بالأشخاص. لا يوجد شذوذ في تسجيل الدخول لربطه. ما يوجد بدلاً من ذلك هو تدفق طلبات ذو بنية غنية على نحو غير معتاد، وأربع عائلات من الإشارات تستحق التنبيه بشأنها.

• حجم وشكل استدعاءات الأدوات. الوكيل الذي يستدعي فجأة أداة قراءة ملفات أربعين مرة في مهمة واحدة، أو تتغير سلسلة أدواته من ثلاث خطوات إلى ثلاثين، يستحق نظرة — لا لأنه خبيث، بل لأن التوزيع تغيّر.

• مصدر المحتوى عند الحدود. أي نص في الموجّه جاء من المستخدم، وأي نص من الاسترجاع، وأي نص من نتيجة أداة، وأي نص من الذاكرة. معظم كشف حقن الموجّهات يختزل إلى «نص إرشادي ظهر في قناة ينبغي ألا تحمل سوى البيانات»، ولا يمكنك حساب ذلك ما لم تُوسم البوابة المصدر عند الدخول.

• حدود الخروج والنطاق.طلبات الوصول إلى وجهات خارج قائمة السماح، وقراءات لمسارات خارج النطاق، ومحاولات لاستخدام بيانات اعتماد خارج الخدمة المقصودة لها. هذه إشارات عالية الدقة وغير مكلفة، لأن البيئة تعرف مسبقًا ما كان مسموحًا به.

• الإنفاق وزمن الاستجابة كمؤشر بديل. كلٌّ من الحلقة الجامحة والاختراق يبدو كمنحنى تكلفة يتغيّر ميله. تنبيهات الميزانية هي أقل وسائل الكشف بريقًا في المنظومة، ومن أسرعها في تغطية تكلفتها.

ما هو غائب عمدًا من تلك القائمة هو مصنّف يُطلب منه الحكم على ما إذا كان الإكمال ضارًا. إنها فكرة الكشف التي تصل إليها الفرق أولًا والتي تَسوء مع الوقت أكثر من غيرها: فهي تنحرف مع النموذج، ولديها معدل إيجابيات كاذبة يدرّب محلليك على تجاهلها، ولا يمنحك شيئًا تضعه في دليل تشغيل.

الاحتواء: المقابض الثلاثة التي توقف تشغيلًا سيئًا

احتواء الوكيل أبسط مما يبدو، لأن ثلاثة مقابض ضبط تغطي تقريبًا كل شيء. الميزانية تحدّ مما يمكن أن ينفقه التشغيل، وهو ما يحدّ من الضرر المالي ومن نطاق انتشار الضرر لحلقة التكرار. النطاق يحدّ مما يمكن أن يلمسه التشغيل — الأدوات المُمكّنة لتلك المهمة، والمسارات، والمستأجرين. البيئة المعزولة تحدّ من مدة التشغيل وما يمكن الوصول إليه أثناء التشغيل. كل الثلاثة إعدادات بوابة أو بيئة، وهذا تعبير آخر عن أنها قابلة للفرض.

المبدأ التصميمي المهم هو النطاق المرتبط بكل مهمة بدلاً من النطاق المرتبط بكل وكيل. فالوكيل الذي يمتلك مجموعة أذونات دائمة هو وكيل ستتراكم أذوناته حتى يقوم شخص ما بتدقيقها؛ أما الوكيل الذي يتلقى بيانات اعتماد مقيدة بنطاق المهمة طوال مدة المهمة فلديه حدّ ينتهي من تلقاء نفسه. الثاني يتطلب جهداً أكبر في البناء وأقل تكلفة بكثير في الدفاع عنه.

وهي أيضًا المكان الذي تستحق فيه البوابة اسمها. فالضوابط التي تقف أمام كل استدعاء للنموذج — استدعاءات الأدوات و{{MCP}} التي تُقيَّم قبل تنفيذها، وسياسة المحتوى وإخفاء البيانات الشخصية اللذان يُطبَّقان قبل فوترة الطلب — هي الضوابط نفسها سواء كان النموذج وراءها هو الذي استخدمته الربع الماضي أو الذي أُطلق الأسبوع الماضي. هذا الاستمرار هو المنتج الفعلي: ليس مرشّحًا أفضل، بل مكانًا يعيش فيه المرشّح ولا ينتقل عندما ينتقل النموذج.

الاسترداد: إعادة التشغيل، تطبيق التصحيح، إعادة الاختبار

لاستعادة حوادث الذكاء الاصطناعي ميزة واحدة على استعادة حوادث الشبكات: فعادةً ما يكون التشغيل بأكمله مسجّلًا. الموجّه والسياق واستدعاءات الأدوات والإكمالات والتوقيتات — إذا كانت البوابة قد سجّلتها، فيمكن إعادة تشغيلها، وهو ما يشكّل نقطة انطلاق أقوى مما تحصل عليه معظم التحقيقات الجنائية الرقمية.

تؤدي إعادة التشغيل ثلاث وظائف متتابعة. فهي تحدد ما حدث فعلاً، لا ما يوحي به سجل المحادثة بأنه حدث بعد أن لخّصه عدة أشخاص. وتحدد الضابط الذي كان ينبغي أن ينشط، وهو الفرق بين معالجة عَرَض ومعالجة حدّ. وتُنتج حالة اختبار الانحدار: مدخل مسجّل يجب الآن حظره، يُشغَّل مقابل الإعداد الجديد لإثبات أنه محظور.

خطوة التصحيح هي حيث كثيرًا ما تخطئ الفرق الزرقاء في التصويب. إذا كان الاكتشاف متعلقًا بسلوك النموذج، فإن التخفيفات المتاحة كلها خارج النموذج — تقليص النطاق، أو مرشّح عند البوابة، أو إذن مُزال من البيئة. إذا كان الاكتشاف متعلقًا بسلوك النظام، فإن الإصلاح يكمن في الإعدادات واختبار الانحدار رخيص. في كلتا الحالتين، إعادة الاختبار ليست اختيارية، لأن الإصلاح وإصدار النموذج كلاهما يتغيران، وضابط جرى التحقق منه مقابل إصدار الشهر الماضي هو ادعاء عن الشهر الماضي.

التدرّب على يوم إطلاقه

إن دليل تشغيل لم يُقرأ قط تحت الضغط هو مجرد مستند، وليس قدرة. التمرين الذي يعود بالنفع هو تمرين ضيق ومحدد: خذ حادثًا واحدًا محتملًا لوكيل، وتتبعه من البداية إلى النهاية، وقس زمن كل خطوة. من الذي يلاحظ؟ كم من الوقت حتى ينظر إنسان إلى سطر السجل الصحيح؟ من يستطيع إيقاف التشغيل — شخص واحد محدد بالاسم، أم لجنة؟ من يستطيع إبطال بيانات الاعتماد، وكم يستغرق انتشار الإبطال؟ من يقرر ما إذا كان ينبغي إخطار أي جهة خارج الشركة؟

اثنان من تلك الأسئلة يوقِعان الفرق في الخطأ بانتظام. السؤال «مَن يمكنه إيقاف التشغيل» يفشل عندما يتطلب الإيقاف شخصًا نائمًا، لذا يجب أن تكون الإجابة آلية لا شخصًا — سقف ميزانية أو مفتاح إيقاف طارئ يستطيع مهندس المناوبة تفعيله بمفرده. والسؤال «كم يستغرق إبطال الصلاحية» يفشل لأن بيانات الاعتماد غالبًا ما تكون مخزنة مؤقتًا في مكوّنات لم تكن ضمن المخطط.

قراءة الأرشيف هي أرخص شكل متاح من التمرين، لأنها تتيح لك أن ترث بنية الحوادث لدى الآخرين بدلًا من اختراع بنيتك الخاصة. خذ حفنة من المدخلات التي تشبه عملية النشر لديك، واسأل بشأن كل واحد منها الأسئلة الثلاثة أعلاه. المدخلات التي لا تستطيع الإجابة عنها هي الثغرات في دليل التشغيل لديك، وقد اكتشفتها قبل الحادث لا بعده.

التباين الذي يجدر التصريح به

لا تُعدّ أنشطة الفريق الأحمر والفريق الأزرق أنشطة متماثلة، وينبغي ألا تُوضع ميزانياتها كما لو كانت كذلك. تحدد جولة الفريق الأحمر بجدول زمني، وتُنتج مجموعة من النتائج التي تتقادم مع تغيّر الهدف. أما ضوابط الفريق الأزرق فتبقى وتتعاظم، وهي الشيء الوحيد الذي يقف فعليًا بين مدخل سيئ ونتيجة سيئة. يمكن لعملية واحدة أن تكشف حدًا؛ ولا يستطيع سوى الفريق الآخر أن يحافظ عليه.

وهذا ما يجعل المعيار الصادق للفريق الأزرق غيرَ لامعٍ وقابلًا للتحقق. لكل ضابط تحكم تزعمه، ينبغي أن تكون قادرًا على تسمية الطبقة التي تفرضه، وسطر السجل الذي يثبت أنه انطلق، والتنبيه الذي يخبرك عندما لا ينطلق، والشخص الذي يستطيع إيقاف التشغيل. أربع جمل. إذا غاب أحدها، فإن ضابط التحكم وثيقة سياسة، ووثائق السياسات لا تقرأ أجسام الطلبات.