في عالم الذكاء الاصطناعي، تُعتبر نماذج الرؤية واللغة (Vision-Language Models - VLMs) من الأدوات القوية التي تُستخدم بشكل متزايد في التطبيقات الحساسة مثل القيادة الذاتية والروبوتات الداخلية. يمتاز هذا النوع من النماذج بقدرته على التفكير العميق والتعميم بعيدًا عن الهندسة التطبيقية الدقيقة. ومع ذلك، يكشف الواقع عن جانب مظلم: الإصابة بأخطاء كارثية في مواقف معينة في العالم الحقيقي.

في هذا السياق، تم تقديم إطار عمل جديد يُدعى REVELIO، الذي يهدف إلى كشف أنماط الفشل بشكل منهجي في VLMs. يُعرف نمط الفشل على أنه تركيبة من مفاهيم متعلقة بالواقع وقابلة للتفسير، مثل قرب المشاة أو ظروف الطقس السيئة، والتي تؤدي إلى تصرف غير صحيح من النموذج المستهدف.

يتطلب كشف هذه الأنماط مواجهة مساحة تعبيرية شديدة التعقيد. لذلك، يجمع REVELIO بين طريقتين للبحث: البحث الشامل المدرك للتنوع، الذي يحدد تضاريس الفشل بكفاءة، واستراتيجية أخذ عينات ثومبسون بواسطة العمليات الغاوسية، التي تتيح استكشاف أوسع للأنماط المعقدة.

تم تطبيق REVELIO على مجالات القيادة الذاتية والروبوتات، حيث كشف عن نقاط ضعف غير موثقة في VLMs الرائـدة. في بيئات القيادة، غالبًا ما يظهر النموذج ضعفًا في الأساس الهندسي المكاني ويفشل في مراعاة العوائق الرئيسية، مما يؤدي إلى توصيات قد تؤدي إلى حوادث افتراضية. بينما في مهام الروبوتات الداخلية، إما أن تفوت VLMs مخاطر السلامة أو تتصرف بحذر زائد، مما ينتج عنه إنذارات كاذبة ويقلل من كفاءة التشغيل.

يتيح اكتشاف أنماط الفشل المنظمة والقابلة للتفسير من قبل REVELIO تقديم رؤى عملية تدعم تحسين سلامة VLMs بصورة موجهة. هل تشعر أن هذا الإطار يمكن أن يحدث فرقًا في مجالات التطبيقات الحساسة؟ شاركونا آراءكم في التعليقات!