في عالم الذكاء الاصطناعي المتطور، تنطوي نماذج الرؤية-اللغة (Vision-Language Models أو VLMs) على أهمية متزايدة، خصوصاً في ظل استخدامها كطبقة احتياطية لتحسين دقة التنبؤ. ولكن، هل يضمن الغطاء الهام (Marginal Coverage) الأمان الشرطي الطبقي لتمثيلات البيانات هذه عند التعرض لتحولات بيانات؟

تسلط دراسة جديدة الضوء على ممارسة استخدام الغطاء الهام في النماذج، وخصوصاً تلك التي تعتمد على الأساليب الانفصالية. من خلال مراجعة شاملة لتأثير تحول البيانات على نماذج مثل CLIP وOpenCLIP وSigLIP، وُجد أن الغطاء الهام قد يبقى عالياً نسبياً، بينما يتراجع الأمان الشرطي الطبقي بشكل ملحوظ. فعلى سبيل المثال، في تجربة مُجراة على مجموعة بيانات ImageNet-Sketch، انخفضت تغطية أسوأ الطبقات إلى تقارب الصفر، على الرغم من بقاء معدلات الغطاء الهام عند حوالي 0.86.

لكن الأمر الأكثر إثارة للاهتمام هو أن النتائج تشير إلى وجود فجوة كبيرة في الدقة بين الطبقة المستهدفة وعمليات التشخيص المستخدمة في الطبقة المصدر، مما يعكس عدم جدوى الاعتماد الكلي على الغطاء الهام كضمان أمان. في اختبارات مختلفة، أثبتت أساليب مثل المعايرة الموندرانية (Mondrian Calibration) تحسناً في نطاق التوزيع، لكنها لم تثبت فعاليتها عند الانتقال بين النماذج.

الأبحاث توصي بمعاملة الغطاء الهام كمقياس موثوقية متوسط، وليس كضمان للأمان بالنسبة للطبقات الضعيفة. من هنا، يتبين أن تأثيرات التحول البياني تتجه نحو خفض الفعالية في نماذج الرؤية-اللغة، مما يتطلب إعادة النظر في كيفية تعاملنا مع هذه النماذج في التطبيقات العملية.

ما رأيكم في نتائج هذه الدراسة؟ هل تعتقدون أن هناك حلولاً يمكن تنفيذها لتحسين الأمان الطبقي لهذه النماذج؟ شاركونا آرائكم في التعليقات!