اختراقات LLM مشروحة: ما الذي يغيّره الاختراق، ولماذا لا يُعدّ Abliteration

في يوليو 2023، شغّل ثلاثة باحثين 32 مطالبة ضارة ضد GPT-4 وClaude 1.3 عبر 28 هجومًا مختلفًا. أقوى تقنية منفردة — ثلاث عائلات هجومية متراكمة فوق بعضها — نجحت في اختراق 94 في المائة من المجموعة ضد GPT-4 و81 في المائة ضد Claude 1.3. وما أغلق المجموعة لم يكن هجومًا أفضل بل خيارًا: خصمٌ سُمح له باختيار أيٍّ من الهجمات الـ28 كان الأنسب لكل مطالبة، نجح في تمرير الـ32 جميعها على كلا النموذجين، وهو ما يورده البحث بنتيجة 1.00 نظيفة. القراءة المقلقة هي أن كسر الحماية ليس عيبًا يزول عندما يصبح النموذج أذكى أو أفضل سلوكًا. إنه خاصية للمطالبة، والمطالبة تخص من يرسلها. ما يحدث بعد توقف الرفض — استدعاء الأداة، وقراءة الملف، والمخرجات التي تصل إلى مكان يتصرف بناءً عليها — هو الجزء أرشيف حوادث الذكاء الاصطناعي الذي بُني لتسجيله.

يستحق هذا التأطير أن نكون دقيقين بشأنه، لأن مصطلح «الجلبريك» يُستخدم لعدة أشياء مختلفة، والاختلافات بينها هي ما يحدّد ما يمكن لأي إجراء تخفيفي أن يفعله أصلاً. وتتناول هذه المقالة ما يعدّله الجلبريك، وما تقوله الأرقام المقيسة فعلاً، ولماذا لا توجد إجابة خاصة بكل نموذج على سؤال «هل هو قابل للجلبريك؟»، وأين يتوقف هذا الأسلوب عن كونه مسألة سلامة نموذج ليصبح مسألة أمن نظام.

كسر الحماية هو تعديل يُجرى على المُطالبة (البرومبت)، وليس على النموذج.

يبقى النموذج كما تم شحنه تمامًا. لا يُعاد تدريبه، ولا تُمس الأوزان، ولا يُطبَّق أي ضبط دقيق. يغيّر المهاجم الطلب بحيث يصبح الامتثال هو الاستمرار الصحيح محليًا، ويخسر سلوك السلامة الذي دُرّب عليه النموذج أمام تعليمات منافسة دُرّب أيضًا على اتباعها.

تلك الجملة الواحدة تستبعد فئة كبيرة من الإصلاحات المفترضة. لا يمكنك ترقيعها عند الأوزان — فلا شيء خطأ في الأوزان. ولا يمكنك تعدادها، لأن فضاء المطالبات مفتوح. ولا يمكنك التحقق منها مرة واحدة، لأن التقنية التي تفشل اليوم ليست هي التي ستُجرَّب غدًا. ما يمكنك فعله هو قياس معدل، على مجموعة مطالبات ثابتة، مقابل نسخة نموذج ثابتة، ثم مراقبة تحرُّك ذلك المعدل عندما يتغير أي من تلك الثلاثة.

ما الذي قاسته تجربة الـ32 مطالبةً فعليًا

الدراسة هي Jailbroken: كيف يفشل تدريب الأمان في النماذج اللغوية الكبيرة؟ بقلم Alexander Wei وNika Haghtalab وJacob Steinhardt، نُشرت على arXiv في يوليو 2023 بالمعرّف 2307.02483. كانت مجموعة اختبارها 32 مطالبة ضارة — نصفها مأخوذ من تقييم منشور لـGPT-4، ونصفها الآخر مقتبس من عمل منشور حول الاختبار الأحمر على Claude — ومقياس نتيجتها صريح: تُحتسب الحالة ناجحة عندما تكون الإجابة ضارة ومتعلقة بالطلب الأصلي في آنٍ واحد. وأي شيء يتلكأ أو ينحرف أو يجيب عن سؤال مختلف لا يُحتسب.

خاصيتان في النتائج أكثر فائدة من أي صف فردي. الأولى هي مدى تفاوت انتقال الهجمات بين النماذج. حصل AIM role-play على 0.75 مقابل GPT-4 و0.00 مقابل Claude 1.3. وحصل Few-shot JSON على 0.53 و0.00. وفي المقابل، كان ترميز Base64 من النوع المعاكس من التفاوت — 0.34 على GPT-4 و0.38 على Claude 1.3 — بينما جاءت المشتتات عند 0.44 و0.47. التقنية التي من الواضح أن أحد المورّدين درّب نموذجه ضدها تُقرأ كصفر على ذلك النموذج ولا تقول شيئًا عن النموذج المجاور له.

الثاني هو ما يحدث عندما تُجمَع العائلات. حقن البادئة plus كبت الرفض plus Base64 أسفر عن 0.56 مقابل GPT-4 و0.66 مقابل Claude 1.3. وأدى إضافة حقن الأسلوب إلى رفعهما إلى 0.69 و0.84. وأدى إضافة توليد محتوى المواقع وقيود التنسيق إلى رفعهما إلى 0.94 و0.81. التكديس هو الحيلة كلها: كل طبقة شيء دُرّب النموذج على فعله، والمزيج لا يترك أي موضع رمزي يكون فيه الرفض هو الاستمرار الأكثر طبيعية.

النماذج في ذلك الجدول عمرها ثلاث سنوات ولم تعد ما ينشره أي أحد. الأرقام ليست المقصود؛ بل الشكل هو المقصود. كل آلية في الجدول ما زالت فاعلة في كل نموذج منذ ذلك الحين، لأن أياً منها لم يكن يوماً خللاً في GPT-4 أو Claude 1.3 — بل هي نتائج لطريقة تفاعل اتباع التعليمات مع التدريب على السلامة.

طريقتان يفشل بهما التدريب على السلامة

شرح الورقة نظيف على نحو غير معتاد، وهو الجزء الذي يستحق أن تحمله معك: ثمة نمطان من أنماط الفشل، وكل هجوم في الجدول هو حالة من إحداهما.

الأهداف المتضاربة هي ما تحصل عليه عندما تشير قدرات النموذج وأهداف سلامته إلى اتجاهين مختلفين. اتباع التعليمات قدرة. وعندما يُغلَّف الطلب بحيث يؤدي الرفض إلى مخالفة تعليمة دُرِّب النموذج بقوة على إطاعتها، يحل النموذج التعارض لصالح التعليمة. حقن البادئة هو النسخة الدنيا: أخبر النموذج أن رده يجب أن يبدأ بـ "Absolutely! Here's"، فتكون الرموز الأولى بالفعل التزامًا يجعل الرفض غير متماسك. تهاجم أساليب كبح الرفض نفس الفجوة من الجهة الأخرى، بإضافة قواعد تنسيق تمنع الجملة التي كان سيتعين كتابة الرفض فيها.

التعميم غير المتطابق هو ما تحصل عليه عندما يغطي التدريب على السلامة توزيعًا ضيقًا للمدخلات لا تغطيه القدرة العامة للنموذج. فقد تعلّم النموذج Base64 أثناء التدريب المسبق ويستطيع اتباع تعليمة مشفّرة جيدًا. أما التدريب على السلامة، الذي رأى في معظمه طلبات باللغة الطبيعية، فلم يعلّمه أبدًا أن يدرك أن الطلب المشفّر ما زال طلبًا. ويظهر الفشل نفسه مع إزالة حروف العلة، وROT13، ولغة الليت، وتقسيم الحمولة، ومهام التشتيت: فكل منها تنسيق تتعمّم عليه القدرة ولا يتعمّم عليه سلوك السلامة.

بمجرد أن تكون لديك هاتان الفئتان، تتوقف الهجمات عن الظهور كمجموعة عشوائية من الحيل وتبدأ في الظهور كعائلتين لهما سبب جذري مشترك — وهذا أيضًا ما يفسر تكاملهما الجيد. فالمطالبة التي تكبت الرفض وتخفي نيتها في ترميز تستغل نمطي الفشل في آن واحد، و0.94 هو ما يبدو عليه ذلك.

لماذا لا توجد إجابة خاصة بكل نموذج على سؤال «هل يمكن كسر حمايته؟»

الشكل الأكثر شيوعًا للاستعلام في هذا المجال هو اسم نموذج تتبعه كلمة jailbreak. إنها وحدة التحليل الخاطئة، والسبب هو الجدول أعلاه. يعتمد النجاح على خمسة أشياء على الأقل في آنٍ واحد: قدرة النموذج الأساسي، ونوع التدريب على السلامة الذي تلقاه وعلى أي توزيع، وتنسيق المُوجِّه، وإعدادات أخذ العينات، وعدد المحاولات التي يرغب المهاجم في إنفاقها.

تستحق تلك النقطة الأخيرة جملة مستقلة. إن معدلًا يُقاس بمحاولة واحدة لكل مُطالبة ومعدلًا يُقاس بـ«أفضل نتيجة من 28 محاولة» ليسا القياس نفسه، والنتيجة التكيفية في الورقة — 1.00 على كلا النموذجين — هي من النوع الثاني. أي شخص يقتبس معدل كسر حماية دون أن يقول أي المعدلين يقصد لم يقتبس شيئًا قابلاً للاستخدام. السؤال الدفاعي الواقعي ليس «هل يمكن كسره؟» بل «كم عدد المحاولات التي يتطلبها، وهل يلاحظ أي عنصر في منظومتي التقنية هذه المحاولات؟».

تترتب على ذلك نتيجتان عمليتان. فالنموذج الذي يقاوم مجموعة المطالبات الخاصة بك اليوم قد يتوقف عن مقاومتها بعد ترقية إصدار، أو تغيير في طبقة الأمان، أو تغيير في إعدادات جانب الخدمة — فالنتيجة صالحة فقط لنسخة البناء التي اختبرتها، ولهذا فإن اختبارًا يخلو من إصدار وتاريخ ليس نتيجة. وإجراء مجموعة المطالبات نفسها على نموذجين يخبرك أيهما تكون منظومتك أكثر لينًا تجاهه، وليس أيهما آمن.

ما ليس كسر حماية: abliteration

يُخلَط باستمرار بين هذين الأمرين لأن كليهما ينتهي بأن ينتج النموذج مخرجات دُرِّب على ألا ينتجها. وهما ليسا التعديل نفسه، والفرق بينهما هو الفرق بين عنصر تحكم يمكنك إضافته وخاصية لا يمكنك إضافتها.

• كسر الحماية — تعديل على طبقة الموجّه. الأوزان دون تغيير. لا يزال اتجاه الرفض موجودًا في النموذج؛ فقد رُتّب الطلب ببساطة بحيث تتفوق عليه سلوكيات أخرى. أعِد الموجّه إلى ما كان عليه يعُد السلوك معه.

• Abliteration — تعديلٌ في طبقة الأوزان. يُحدَّد اتجاه الرفض — عادةً كاتجاهٍ في فضاء التنشيط — ثم يُسقَط من أوزان النموذج، بحيث لا يعود النموذج يُنتج أي رفض لهذه الفئة من الطلبات على الإطلاق. وهو تغيير دائم في المنتج، ولهذا تختلف نقطة تفتيش خضعت لعملية Abliteration عن النموذج الأساسي نفسه مع مُوجِّه ذكي. وتُبيَّن ميكانيكا ذلك التعديل في دليلنا إلى abliteration.

الفرق التشغيلي أهم من المصطلحات. فكسر الحماية (jailbreak) حدث يقع وقت التشغيل: يأتي مع الطلب ويمكن عدّه وتقييد معدله وتصفيته وتسجيله مثل أي طلب آخر. أما النموذج المُزال منه الرفض (abliterated model) فهو حدث في سلسلة التوريد: فقد أُزيل الضابط قبل أن تستلمه، ولا تُعيده أي كمية من المراقبة على طبقة الأوامر النصية. إذا كان نموذج التهديد لديك هو "أن شخصًا ما سيحاول إقناع النموذج"، فأنت في الفئة الأولى. وإذا كان "أن شخصًا ما سيسلّم لي نموذجًا أُزيل منه الرفض"، فأنت في الثانية، والضابط الحقيقي الوحيد هو المصدر — معرفة أي نقطة تحقق (checkpoint) تقدّمها نقطة النهاية فعليًا.

كسر القيود ليس حقنًا للمطالبات أيضًا

المصطلح الثالث الذي يختلط هنا هو حقن التعليمات (prompt injection)، والسؤال المميّز هو: مَن المهاجم؟ يأتي كسر الحماية (jailbreak) من المستخدم، الذي يحاول الحصول على محتوى دُرّب النموذج على حجبه. ويأتي حقن التعليمات من محتوى — مستند مسترجَع، أو صفحة ويب، أو نتيجة أداة — يحمل تعليمات لم يكتبها المطوّر، وهو يعمل سواء كان المستخدم عدائيًا أم لا. يمكن أن يكون النموذج نفسه محصّنًا ضد أحدهما ومنفتحًا تمامًا على الآخر، لأن كليهما يُبطَل في مواضع مختلفة: كسر الحماية عند إدخال النموذج وإخراجه، والحقن عند حد الثقة بين البيانات والتعليمات.

ما الذي يخفض المعدل فعليًا

لا شيء هنا يُعد ضمانًا، وأي ادعاء بخلاف ذلك ليس إلا خطابًا تسويقيًا. فيما يلي مجموعة الضوابط التي تغيّر الأرقام، مرتبة حسب مقدار ما تحققه مقابل الجهد.

• افترض أن طبقة التوجيه تسقط.كل ضابط يعتمد على رفض النموذج لا يفصله عن الصفر سوى مهاجم واحد قادر على التكيّف. صمّم وكأن الطلب سيمر في النهاية، وضع الضابط حيث سيقع الضرر.

• قيّد ما يمكن أن يصل إليه كسر حماية ناجح. نطاق تأثير المساعد المكسور حمايته هو كل ما تسمح به أدواته وبيانات اعتماده ونطاق الاسترجاع الخاص به. إن تطبيق أقل امتياز على الأدوات وتحديد النطاق لكل مستأجر على الاسترجاع يقللان من قيمة كسر حماية ناجح بشكل أكثر موثوقية بكثير من أي مرشّح أوامر.

• احكم على المخرجات، لا على الطلب. تلتقط المصنّفات على جانب المخرجات عائلات لم ترها من قبل قط، لأنها تنظر إلى ما أُنتج فعليًا بدلًا من كيفية طلبه. وهي أيضًا الطبقة الوحيدة التي تظل تعمل عندما يكون تنسيق الإدخال جديدًا — وهو، وفقًا لنمط الفشل المتمثل في التعميم غير المتطابق، معظم الوقت.

• تعامل مع موجّه النظام كقيمة إعدادات، لا كحدود أمنية. إنه نص في نافذة السياق نفسها التي يوجد فيها الهجوم. إنه يرفع كلفة المحاولة؛ لكنه لا يوقفها.

• اجعل المحاولات مرئية. الميزة الوحيدة التي يتمتع بها المدافع على المهاجم التكيفي هي أن الهجوم عادةً ما يتكرر. تحوّل حدود المعدل واكتشاف التكرار والتسجيل بحثًا من 28 محاولة إلى حدث يمكنك رؤيته بدلًا من 28 طلبًا بدا كل منها سليمًا بمفرده.

• أعد الاختبار عند كل تغيير في النموذج. إن تثبيت الإصدار مع مجموعة ثابتة من المطالبات هو ما يحوّل "اختبرناه مرة واحدة" إلى رقم يمكنك مقارنته به. ومن دون التثبيت، تصبح المقارنة بلا معنى.

كيفية قياس هدفك الخاص

إذا كان الهدف رقمًا يمكنك التصرف بناءً عليه، فثبّت المتغيرات الثلاثة التي ثبّتها الورقة: مجموعة المطالبات، وإصدار النموذج، وعدد المحاولات. استخدم مجموعة مطالبات تشمل كلا نمطي الفشل — تعليمات تجعل الرفض محرجًا، وترميزات تخفي الطلب — لأن مجموعة مكوّنة من أحدهما فقط ستُجامل نموذجًا ضعيفًا أمام الآخر. احسب الدرجة بتحفّظ: الضار والملائم للموضوع، وليس مجرد المنحرف عن النبرة. وأبلغ عن النتيجة كمعدل مقابل عدد محاولات معلن، لا كإجابة بنعم أو لا.

حين تكون عدة نماذج مرشحة قيد الاختبار، لا ينجح Comparison إلا إذا شُغّلت مجموعة المطالبات نفسها على كل منها، وهنا تحديدًا تصبح البنية التشغيلية أهم من المنهجية. إن إجراء تقييم واحد عبر النماذج التي نوجّه إليها يُخرج التعاقد مع كل مزوّد وأعمال العميل من المعادلة؛ فأسعار المزوّدين المعلنة تمرّ دون أي هامش ربح، لذا فإن تكلفة التشغيل تساوي ما يتقاضاه المزوّدون ولا شيء أكثر. ما يقيسه التقييم هو سلوك النموذج لا سلوكنا — فالتوجيه يغيّر أي نموذج يجيب، ولا يجعل أيًا منها يرفض أكثر.

من حيث يستأنف السجل

معدل النجاح المقاس يخبرك بمدى صعوبة الإطاحة بطبقة المطالبات. لكنه لا يخبرك بما حدث عندما أطاح بها أحدهم في بيئة الإنتاج، وهذا السؤال الثاني هو ما يحدد ما إذا كان المعدل مهمًا. هجوم كسر حماية ينتج فقرة وقحة هو مشكلة في الاعتدال المحتوى. أما هجوم كسر حماية ينتج استدعاء أداة فهو حادثة، والفرق يكمن بالكامل في ما سمح النظام للمخرجات بالوصول إليه.

ذلك الأرشيف هو السجل الميداني: ما فعله الوكلاء فعليًا، مع مصدر لكل مدخل وحكم بشأن ما إذا كان قد تضرر أي شخص. وعند قراءته في مقابل قياس كسر الحماية، فإنه يجيب عن السؤال الذي لا يستطيع القياس الإجابة عنه — ما إذا كانت الحدود التي تجاوزها الموجّه هي حدود يعتمد عليها أي شيء لاحق. إذا كان الأمر كذلك، فإن كسر الحماية يُعد نتيجة أمنية وينتمي الضابط إلى أذونات الأدوات. وإذا لم يكن كذلك، فإن كسر الحماية نتيجة محتوى، والتصرف الأمين هو تصنيفه على هذا النحو بدلًا من تضخيمه إلى ثغرة أمنية.

الملاحظة الختامية هي التي تدعمها الأدلة. لن يُحَلّ كسر الحماية بنموذج أفضل، لأن أنماط الفشل بنيوية: فاتباع التعليمات قدرة، وتدريب السلامة قدرة أضيق، والفجوة بينهما هي حيث يكمن كل هجوم في هذا المقال. أما ما يمكن حلّه فهو النتيجة — بضمان أن النموذج الذي يتوقف عن الرفض لا يزال غير قادر على فعل الكثير.