في عالم الذكاء الاصطناعي، تُشكل نماذج اللغة الكبيرة (LLMs) العمود الفقري للتفاعلات البشرية الآلية، ولكن لا تزال هذه التقنيات عرضة لمشكلات الأمان. فقد أظهرت الأبحاث الأخيرة أن هذه النماذج يمكن أن تتعرض لما يُعرف باسم "كسور الأمان"، والتي تعني أنها قد ترفض استجابة حتى الطلبات غير الضارة بسبب القيود المعقدة التي تم وضعها.

تتناول الدراسة الجديدة التي نشرت على منصة arXiv كيفية تمييز الاعتراف بالضرر عن عملية الرفض. وهذا يتطلب إعادة تفكير في كيفية القياس وفهم تأثيرات التحديثات على أداء النماذج. تستعرض الدراسة مدى فعالية التخلص من الأذى من خلال التحديثات الموجهة نحو محولات "Decoder-only".

عبر تحليل 18 مجموعة من التعليمات الأساسية المستخدمة في نماذج مثل Qwen وLlama وGemma، يبرز البحث أن المعلومات المتعلقة بالأذى يُكشف عنها بسهولة أكبر من خلال تحديثات الانتباه، وخاصة في الطبقات الأولى. في حين أن تحديثات MLP (Multilayer Perceptrons) تلعب دورًا أكبر في كتابة الرفض انتقائيًا في النماذج المتوافقة مع الأمان.

أحد الاكتشافات المثيرة هو أن عمليات ما بعد التدريب تعزز كتابة الرفض في جميع 18 مجموعة، دون تحسين ملحوظ في قدرة الكشف عن الأذى. وفي الوقت نفسه، تشير التجارب إلى أن إعادة تعيين تحديثات MLP إلى قيمها النظيفة تقلل بشكل كبير من تغيير الرفض الناتج عن تدخلات الانتباه.

لبناء على هذه النتائج، تم تقديم نظام Sentinel، الذي يجمع بين نقاط الإدراك المشتقة من الانتباه مع نقاط القرار المستمدة من MLP، مما يوفر طريقة جديدة لفهم ومحاربة مشكلات الأمان مثل "الكسور" و"الإفراط في الرفض".

إن النتائج المستخلصة من هذه الأبحاث تفتح آفاقاً جديدة في كيفية تأمين النماذج واستغلالها لتحسين الأمان، مما يعزز من قدرتها على التعامل مع التحديات المستقبلية. ما رأيكم في هذه التطورات؟ شاركونا في التعليقات.