ستيرينغ سيفتي: رصد معايير الأمان في نماذج اللغات الكبيرة وتعزيز الأداء

في عالم الذكاء الاصطناعي، يعتبر الأمان أحد المحاور الرئيسية التي يجب أخذها بعين الاعتبار عند تطوير نماذج اللغات الكبيرة (Large Language Models). لذا، أعلن فريق من الباحثين عن ابتكار معيار جديد يُدعى 'ستيرينغ سيفتي' (SteeringSafety)، وهو benchmark متكامل يهدف إلى تقييم طرق توجيه التمثيلات عبر تسعة معايير أمان مختلفة تشمل 18 مجموعة بيانات. بينما تبرز الأبحاث السابقة القدرات العامة لهذه الطرق، يركز 'ستيرينغ سيفتي' على وزن السلامة، بما يشمل الرفض، والتحيز، وهلاوس البيانات، والسلوكيات الاجتماعية، والتفكير، والنزاهة المعرفية، والحكم الأخلاقي.

يوفر 'ستيرينغ سيفتي' حجراً أساسياً لبناء طرق التوجيه المتطورة، مما يسمح بتطبيق موحد لعناصر مثل DIM وACE وCAA وPCA وLAT مع تحسينات حديثة مثل 'التوجيه الشرطي'. أشارت النتائج التي تم الحصول عليها من نماذج مثل Gemma-2-2B وLlama-3.1-8B وQwen-2.5-7B إلى أن الأداء الجيد في التوجيه يتوقف على اقتران الطريقة، النموذج، والمنظور المحدد.

على سبيل المثال، كان لبروتوكول DIM أداءً فعالاً وثابتاً، إلا أن جميع الطرق أظهرت ترابطًا كبيرًا، حيث أن تحسين فعالية أحد معايير الأمان غالبًا ما يؤثر بشكل كبير على الأداء في معايير أخرى. تمثل السلوكيات الاجتماعية النقطة الأكثر ضعفًا، حيث لوحظ تدهور بنسبة تصل إلى 76%، في حين أن التوجيه القائم على الرفض غالبًا ما يهدد الأحكام الأخلاقية، مع تأثيرات تصل إلى 26%. كما يُظهر توجيه الهلاوس تغيرات غير متوقعة في الميول السياسية، تتراوح بين 25% إلى اليمين و28% إلى اليسار.

تُظهر هذه النتائج أهمية فهم طرق التوجيه من خلال زوايا أمان متعددة بدلاً من التركيز على سلوك مستهدف واحد. إن إدراكنا لهذه المعايير سيمكننا من تحسين الأمان والموثوقية في نماذج الذكاء الاصطناعي.