في ظل التقدم المتسارع في تقنية الذكاء الاصطناعي، تتزايد المخاوف حول سلامة الأنظمة التي تعتمد على نماذج رؤية اللغة (VLMs) في بيئات حساسة. إذ يمثل التفاعل بين المستخدم والنموذج تحديًا، خاصة في الحالات التي قد تكون فيها الاستجابة آمنة بشكل عام لكن غير مناسبة لشخص معين نظرًا لعدم وضوح السياق الطبي أو العاطفي.
لحل هذه الإشكالية، قام الباحثون بتطوير معيار جديد يُعرف باسم MPS-Bench، الذي يتضمن 5,181 سيناريو من 584 صورة حقيقية، مُقسمة على 12 مجالًا عالي المخاطر. الهدف من هذا المعيار هو تقييم مدى قدرة هذه الأنظمة على تلبية احتياجات الأفراد بناءً على ملفهم الشخصي المخفي.
عند اختبار ثماني نماذج متقدمة من VLMs، وُجد أن معظمها يستجيب مباشرة (86-99%) بدلاً من البحث عن السياق المفقود، دون أن يكشف أي منها عن درجة أمان تتجاوز 2.6 من 5.
بحسب التحليلات، يعود سبب هذه الإخفاقات إلى هيمنة المعلومات المرئية، حيث تدخل المعلومات المرئية في التمثيلات النصية مبكرًا وتُخمد الإشارات النصية الخطرة خلال الاندماج متعدد الوسائط. وتظهر التدخلات السببية وجود آلية ذات مرحلتين؛ حيث تنتقل التأثيرات البصرية أولاً إلى نصوص النموذج، ثم تُشكل القرار النهائي من خلال هذه التمثيلات المتغيرة.
استنادًا إلى هذه النتائج، تم اقتراح PRISM، وهو مراقب إدخال خفيف الوزن يستخدم التعديل العابر للوسائط لإبلاغ النظام عندما يكون من المحتمل أن يتطلب الاستعلام تأجيلًا. وقد أظهر PRISM أداءً متفوقًا، محققًا 0.978 AUC، مما يُعزز سلامة المستخدمين عبر جميع النماذج المُختبرة.
هل يمكن للذكاء الاصطناعي ضمان سلامتنا؟ اكتشاف جديد في نماذج رؤية اللغة!
توصل الباحثون إلى حاجة ملحة لتحسين سلامة نماذج رؤية اللغة (VLMs) في البيئات عالية المخاطر. تم تطوير معيار MPS-Bench لرصد الأداء في 12 مجالًا حساسًا، مما أدى إلى نتائج مثيرة حول كيفية معالجة هذه النماذج للمعلومات.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
