في مجال الذكاء الاصطناعي، يواجه الباحثون تحديات كبيرة تتعلق بأمان النماذج متعددة الوسائط (Multimodal Large-Language Models - MLLMs). عندما يتم استغلال الاستجابات الضارة عبر تفاعلات وسائط مختلفة، تتعرض هذه النماذج لتدهور كبير في أمانها. والمثير للاهتمام، هو أن النماذج التي تستند فقط إلى النص تظهر معدل هجمات أعلى عندما تُطبق على وسائط متعددة. هنا تظهر تقنية CASA (تصنيف معزز بانتباه الأمان - Classification Augmented with Safety Attention) كمقترح مبتكر لحل هذه المشكلة.
تعمل CASA على تحسين أمان النماذج من خلال استخدام استراتيجية فك تشفير شرطية بسيطة. تعتمد هذه التقنية على الاستفادة من التمثيلات الداخلية للنماذج متعددة الوسائط لتوقع توكن أمان ثنائي قبل بدء عملية التوليد. يتم توجيه التصنيف بواسطة آلية انتباه الأمان، التي تحسب تركيز الانتباه بين استعلام محدد ومدخلات النموذج، مما يعزز قدرة النموذج على اكتشاف الاستفسارات الضارة.
ولكن، ما يميز CASA عن الطرق السابقة هو أنها لا تعتمد على مصنف خارجي أو رأس مساعد، ولا تحتاج إلى تدريب أمان محدد للوسائط. على عكس أساليب فك التشفير القديمة التي ترفق مصنف خارجي، تحل CASA المشكلة من خلال تحكم داخلي بسيط، مما يسمح لنماذج النص فقط بنقل الأمان إلى المدخلات من الصور والصوت.
التقييمات العملية للنموذج تظهر نتائج مذهلة، حيث انخفض معدل نجاح الهجمات بنسبة تزيد عن 90% عند تطبيقه مع استعلام أمان قياسي، وتحسن بنسبة 54-61% باستخدام آليته الداخلية فقط. كما أثبتت التقنية ثبات فعاليتها مع المدخلات السليمة، مما يجعلها تصلح للاستخدام العام.
تُظهر هذه النتائج أن CASA ليست مجرد تقنية جديدة، بل هي إطار بسيط وقابل للتطبيق لتحسين أمان النماذج متعددة الوسائط. ما رأيكم في هذه الابتكارات التي قد تغير مستقبل الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات.
CASA: كيف يمكن لتقنية جديدة أن تعزز أمان النماذج متعددة الوسائط بشكل ثوري؟
تقدم تقنية CASA استراتيجية جديدة تعزز أمان نماذج اللغة متعددة الوسائط (MLLMs) من خلال استخدام آلية انتباه مبتكرة. هذه التقنية تقلل من معدلات الهجمات الضارة بأكثر من 90%، مما يجعلها تحولاً جوهرياً في مجال أمان الذكاء الاصطناعي.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
