شرح الفريق الأحمر للذكاء الاصطناعي: ما الذي يختبره الفريق الأحمر، وما الذي يتركه خلفه

تُقيَّم معظم مهام اختبار الفريق الأحمر للذكاء الاصطناعي وفق المخرَج الخاطئ. ينتج أسبوع من العمل عرضًا تقديميًا، يقول العرض إنه يمكن إقناع المساعد بكتابة رسالة تصيّد احتيالي، ثم لا يستطيع أحد لاحقًا أن يقول ما إذا كان السلوك قابلًا للتكرار، أو مدى سوئه، أو أي ضابط كان سيمنعه. لهذا التخصص مخرَج حقيقي، وهو ليس عرضًا تقديميًا: بل مجموعة من النتائج التي تصمد عند إعادة التشغيل، وكل واحدة منها مرتبطة بحدّ جرى تجاوزه وبالدليل الذي تجاوزه. وهذا أيضًا هو شكل السجل الذي أرشيف حوادث الذكاء الاصطناعي يحتفظ به — 400 مدخل تغطي الفترة من ديسمبر 2024 إلى أكتوبر 2026، مستقاة من 743 مصدرًا متميزًا، مع حكم على كل واحد منها بشأن ما إذا كان قد لحق بأي شخص ضرر فعلي.

الالتباس مفهوم، لأن "الفريق الأحمر" يُستخدم في مهمّتين لا تشتركان إلا في المفردات ولا شيء غيرها تقريبًا. هذا دليل إلى كلتيهما، وإلى الأدلة التي ينبغي أن تُنتجها كل منهما، وإلى المواضع الأربعة التي ينفصل فيها الفريق الأحمر في الذكاء الاصطناعي انفصالًا حقيقيًا عن نسخته الشبكية التي يعرف معظم فرق الأمن أصلًا كيفية تشغيلها.

سؤال الإطار: مَن يملك الاختبار؟

قبل تحديد النطاق، ثمة سؤال حول من يدير التمرين وضد أي شيء. تنشر Microsoft أحد أكثر المواقف العامة اكتمالاً بشأن هذا، ويستحق قراءته كخريطة لا كصفحة منتج. ويفصل مركز AI Red Team التابع لها مفهوم الفريق الأحمر للذكاء الاصطناعي عن الكيفية، ثم يرتب الممارسة بترتيب هو نفسه حجة: نظرة عامة، ثم دليل لبناء فريق أحمر LLM، ثم المواد المرجعية — معيار أخطاء لفرز الهجمات على أنظمة تعلّم الآلة، وتصنيف لإخفاقات تعلّم الآلة، ونموذج مسؤولية مشتركة، وإرشادات لنمذجة تهديدات المطورين.

اقرأ التسلسل وستتضح المنهجية. تصنيف يحدد ما يُعدّ إخفاقًا. معيار الأخطاء يحدد أيّ من هذه الإخفاقات يستحق الإصلاح. نموذج المسؤولية المشتركة يحدد من يتحمّل المسؤولية عنه بمجرد اكتشافه. تحدد نمذجة التهديدات أين ننظر بعد ذلك. بدون هذه الأربعة، يكون الفريق الأحمر يولّد حكايات فردية مع عمود خطورة مُلحَق بها، وعمود الخطورة هو ما ارتآه المختبِر بعد ظهر ذلك اليوم.

يُصنَّف إطار الأتمتة المفتوح PyRIT من Microsoft على الرف نفسه، وهذا التصنيف هو الجزء المفيد. فمجموعة أدوات التنسيق ليست منهجية؛ بل هي ما توجّهه نحو هدف بمجرد أن يوجد التصنيف وعتبة الأخطاء. أما الفرق التي تبدأ بالإطار فغالبًا ما تنتهي بمجموعة كبيرة من المطالبات دون أي وسيلة لترتيب النتائج.

فريقان أحمران، سؤالان مختلفان

التمييز الأكثر فائدة على الإطلاق في هذا المجال هو التمييز الذي لا يكتبه أحد تقريبًا: فريق أحمر يختبر نموذجًا وفريق أحمر يختبر نظامًا يجيبان عن سؤالين مختلفين، بوحدات مختلفة قيد الاختبار، ومخرجات مختلفة، ومالكين مختلفين. خلط الاثنين هو كيف يُبلَّغ عن كسر حماية كأنه نتيجة أمنية، وكيف يُسجَّل خلل حقيقي في تصعيد الامتيازات كشكوى تتعلق بجودة النموذج.

تقييم السلامة على مستوى النموذج مشكلة قياس. أنت تسأل ما إذا كان النموذج سينتج فئة من المحتوى، والطريقة الصادقة للإجابة هي عينة كبيرة بما يكفي للقول بشيء عن معدل. الوحدة الخاضعة للاختبار هي النموذج خلف واجهة برمجة تطبيقات خفيفة، والطريقة هي الإثارة العدائية — كسر الحماية، وهجمات انتحال الشخصية، والضغط متعدد الجولات — وما يخرج هو نص مكتوب بالإضافة إلى حكم على الضرر. عندما تتغير الأوزان أو تتحرك طبقة السلامة لدى المورّد، تصبح النتيجة بأكملها قديمة. لهذا السبب يُجرى هذا النوع من الاختبار عادةً من قبل باني النموذج أو مقيّم مستقل، ولهذا نادرًا ما تتوافق نتائجه مع إصلاح محدد في تطبيقك.

محاكاة الخصم على مستوى النظام مسألة هندسية. أنت تسأل عمّا إذا كان بإمكان مهاجم أن يجعل النظام المنشور يتصرف — أن يقرأ ملفًا لا ينبغي له قراءته، أو يستدعي أداة لا ينبغي له استدعاؤها، أو ينفق مالًا لا ينبغي له إنفاقه. الوحدة قيد الاختبار هي الوكيل مع أدواته واسترجاعه وبيانات اعتماده الملحقة به. والأساليب هي الأساليب المألوفة نفسها، لكن معاد توجيهها: حقن عبر المحتوى المسترجع بدلًا من دور المستخدم، وإساءة استخدام الأدوات، وسلاسل امتيازات مجمّعة من أذونات معقولة فرديًا، ومسارات بيانات تتسرب عبر حدود المستأجر. والمخرَج هو اكتشاف مصحوب بإعادة إنتاج، وحدود تم تجاوزها، ومالك يستطيع تغيير التكوين غدًا.

ينتج الاثنان مخرجات غير متوافقة، وهذا التعارض تشخيصي لا مزعج. لا يمكن لفريقك أن "يصلح" نتيجة على مستوى النموذج إلا بتغيير النماذج. أما النتيجة على مستوى النظام فلا يمكن للمورّد إصلاحها على الإطلاق. وإذا لم يحدد التقرير أيّ النوعين هو، فلا يمكنك إسناد أي من بنوده.

ما الذي يتحوّل إليه سطح الهجوم بمجرد أن تصبح لدى النموذج أدوات

السطح الذي لا تزال معظم الفرق تختبره هو المطالبة. وهو أيضًا أقل الأسطح إثارة للاهتمام، لأنه السطح الذي بذل مورّد النموذج أكبر جهد في تحصينه، والذي يملك المهاجم أقل قدر من النفوذ عليه. أما الأسطح التي تعود بالفائدة فعليًا فهي التي أضافها التطبيق: الأدوات التي يمكن للوكيل استدعاؤها، وفهرس الاسترجاع الذي يقرأه، والذاكرة التي يحملها بين الأدوار، وقناة الإخراج نفسها.

الأدوات هي حيث يصبح نموذج اللغة فاعلًا، والسؤال المثير للاهتمام ليس أبدًا «هل يمكنه استدعاء الأداة» بل «ما أدنى امتياز كان يمكن أن تحصل عليه هذه الأداة». فعادةً يمكن إقناع أداة البحث عن التذاكر التي تقبل استعلامًا نصيًا حرًا بقبول معرّف عميل مختلف. الاسترجاع قناة محتوى إلى سياق النموذج، ما يعني أن أي شخص يستطيع الكتابة في مجموعة النصوص — قرص مشترك، أو ماكرو دعم، أو صفحة ويب يصل إليها الجالب — فهو يكتب في الموجّه. الذاكرة تحوّل دورًا واحدًا إلى استمرارية: فالتعليمة المزروعة في الدور الثاني تظل موجودة في الدور الأربعين. المخرجات هي حيث يستقر نص النموذج في مكان يفسّره، والعرض وmarkdown ومعاينات الروابط وخطوط الأنابيب المجاورة للصدفة كلها تفسّر النص.

إن أي مهمة تقتصر على اختبار المُوجِّه وحده ستُبلغ عن نتيجة نظيفة، وستكون على صواب بشأن الأمر الخطأ.

لماذا لا يُعدّ النص المكتوب نتيجة

يحتاج الاكتشاف إلى ثلاث خصائص لا تتوفر في لقطة شاشة لنافذة محادثة. الأولى هي قابلية التكرار: أعِد تشغيله من حالة نظيفة وسيحدث ثانية. النماذج غير حتمية، لذا فإن قابلية التكرار معدل لا قيمة منطقية — "تسع من عشر محاولات" اكتشاف، و"حدث مرة واحدة" إشاعة. الثانية هي تجاوز حدّ: سمِّ الأمر الذي ما كان ينبغي أن يحدث بمصطلحات التطبيق نفسه، لا بمصطلحات النموذج. ليس "كان النموذج وقحًا"، بل "أن الوكيل قرأ مستندًا يخص المستأجر B". الثالثة هي شدة تُعزى إلى التأثير لا إلى حدس المختبر، وهذا هو الغرض من حدّ قبول الأخطاء.

كل شيء آخر — سجل المحادثة، والموجّه، واستدلال النموذج — هو دليل يدعم تلك الثلاثة. وهو ليس النتيجة نفسها، ولهذا فإن مجموعة من ألفي موجّه لكسر الحماية أقل قيمة من خمس نتائج نظامية قابلة للتكرار مرتبطة بضوابط مسماة.

أربعة مواضع يختلف فيها الاختبار الأحمر للذكاء الاصطناعي عن الاختبار الأحمر للشبكات

تأتي الفرق القادمة من مجال أمن الشبكات أو أمن التطبيقات بحسّ سليم وأربعة افتراضات خاطئة.

• لا يوجد محيط يمكن الدفاع عنه. تتضمن مهمة الشبكة قائمة أهداف؛ بينما تتضمن مهمة الوكيل نافذة سياق تُجمَّع عند الطلب من مصادر قد لا تكون قد حصرتها. يجب التعبير عن النطاق في صورة مصادر البيانات وأذونات الأدوات، وليس أسماء المضيفين.

• الهدف غير حتميّ. قد ينجح المدخل نفسه يوم الثلاثاء ويفشل يوم الأربعاء. وهذا يخالف معيار الأدلة القائم على "إعادة إنتاج واحدة نظيفة" ويرغمك على الإبلاغ عن المعدلات.

• الاستغلال هو اللغة، واللغة لا تملك رقعة. يمكنك إصلاح فحص تفويض مفقود. لا يمكنك ترقيع "يمكن إقناع النموذج". التخفيف من ضعف على مستوى اللغة هو ضابط في مكان آخر — مرشح، أو حد نطاق، أو حدود صلاحية — ولهذا تحتاج النتائج إلى تسمية الضابط، لا السلوك فقط.

• المورّد ضمن حلقة التواصل. يتغيّر هدفك عندما يُطلق شخص آخر إصدارًا. النتيجة على مستوى النموذج صالحة فقط للبنية التي اختبرتها، وإن لم تسجّل الإصدار والتاريخ، فأنت لا تملك نتيجة.

كيفية تحديد نطاق أول مهمة

المهام التي تسير على نحو سيئ يُحدَّد نطاقها في الغالب بأنه «اختبار الذكاء الاصطناعي». أما النطاق الذي يصمد عند ملامسته لجدول زمني فيبدو أقرب إلى هذا: وكيل واحد، في بيئة تمهيدية، ببيانات على شكل بيانات الإنتاج وأذونات على شكل أذونات الإنتاج؛ وقائمة بالحدود الخمسة المهمة (عزل المستأجرين، الوصول إلى بيانات الاعتماد، الإنفاق، خروج البيانات، نطاق الأدوات)؛ وقواعد تنفيذ تحدد ما يقع خارج الحدود؛ وشروط توقف تبين من يمكنه إيقاف التشغيل؛ وتنسيق أدلة محدد يُتفق عليه قبل المحاولة الأولى، بحيث يُجمَّع التقرير من المخرجات بدلًا من إعادة بنائه من الذاكرة.

يستحق التفويض جملةً خاصة به، لأنه البند الذي تتخطاه الفرق عندما يكون الهدف منتجها الخاص والأدوات مملوكة لغيرها. إن اختبار نموذج لا تشغّله، على بنية تحتية لا تملكها، باستخدام توجيهات مصممة للتغلب على طبقة أمان، هو نشاط مختلف عن اختبار نشرك الخاص — والنطاق المكتوب هو ما يفصل بين الاثنين. وُجدت بوابة التحقق التي يعمل بها مستوى الأمن السيبراني لدينا للسبب نفسه: فالعمل الأمني المصرّح به على مستوى النموذج يحتاج إلى طرف مسمّى ومسؤول على الجانبين.

ما يضيفه سجل الحادث

تخبرك جولة فريق أحمر بما يفعله هدفك. لكنها لا تستطيع أن تخبرك بما يحدث في الميدان، والميدان هو حيث تُطرح فعليًا الحجة الداعمة لضابط أمني ما. تلك هي الفجوة التي يسدّها سجل الحوادث — والانضباط الذي يفرضه هو الجزء المفيد: فالقيد الذي لا يحتوي على مصدر واحد على الأقل لا وجود له، والقيد الذي لا يحتوي على حكم ضرر ليس حادثًا.

اقرأ المخرجين معًا وستُغلق الحلقة. يُنتج الفريق الأحمر اكتشافًا قابلًا لإعادة الإنتاج ويسمّي الضابط الذي كان سيمنعه. ويخبرك السجل ما إذا كان أحد في الميدان قد اصطدم بهذا الحد بالفعل، وما كان الضرر، وما إذا كان الضابط قد صمد في أي مكان آخر. الاكتشاف الذي لا سابقة ميدانية له فرضية تستحق المعالجة؛ والحادث الميداني الذي لا يقابله اكتشاف قابل لإعادة الإنتاج خلل لا يمكنك إغلاقه بعد. والفرق التي تفعل ذلك على نحو صحيح تتوقف عن اعتبار «أجرينا اختبار الفريق الأحمر على النموذج» مُخرَجًا تسليميًا، وتبدأ في اعتباره أحد المدخلات إلى سجل خاص بها.

وهذا يتركنا أمام الملاحظة الختامية الصادقة. لا يُنتج اختبار الفريق الأحمر للذكاء الاصطناعي ضمانًا أمنيًا، وأي خدمة تُباع على أنها كذلك إنما تبيع الشيء الخطأ. إنه ينتج مجموعة من الحدود التي تعرف الآن أنها قد تم تجاوزها، مع أدلة يمكنك إعادة تشغيلها، مرتبة حسب ما يحدث عند تجاوزها. وهذا كافٍ لاتخاذ القرارات — وأكثر بكثير من مجرد عرض تقديمي.