هل تعتبر محسنات الأسئلة عمياء؟ اكتشاف الملاحظات البصرية في تحسين الأسئلة التلقائي!

في عالم الذكاء الاصطناعي، حققت المحسنات التلقائية للأسئلة (Automatic Prompt Optimization) تقدمًا ملحوظًا في تعديل نماذج الرؤية واللغة (Vision-Language Models) لتناسب المهام المختلفة دون الحاجة إلى تحديث الأوزان. ومع ذلك، فإن فعالية هذا النوع من التحسين تواجه تحديًا خطيرًا في المهام متعددة الوسائط، حيث تعتمد على قناة تغذية راجعة عمياء.

في التفاصيل، يقوم المحسن بقراءة السؤال، والتوقع الناتج، والإجابة الذهبية، ولكنه لا يملك القدرة على رؤية الصورة المدخلة التي فشل النموذج في تفسيرها. لهذا السبب، لم يتمكن المحسن من تشخيص الأخطاء المرتبطة بالصورة بشكل بصري.

للتغلب على هذه المشكلة، قدم الباحثون مفهوم "التغذية الراجعة البصرية المتعددة الوسائط" (Cross-Modal Visual Feedback). ويتضمن ذلك مرحلتين رئيسيتين:

1. **مرحلة تشخيص بصري مشروطة على الفشل**، حيث يقوم محسن VLM أقوى بفحص كل صورة فاشلة بدون الوصول إلى التوقعات أو التسميات.
2. **مرحلة تجميع قائمة على الوعي بالأخطاء**، والتي تضغط هذه الملاحظات في أنماط عمياء بصرية مناسبة يمكن إعادة استخدامها في إعادة صياغة السؤال.

تجدر الإشارة إلى أن الصورة تُستهلك فقط خلال عملية التحسين، بينما يتم نشر المنتج النهائي كنص عادي مما يجعل تكاليف الاستدلال مماثلة لتلك الموجودة في النماذج التي تستخدم النص فقط.

أظهرت نتائج شاملة على 12 مجموعة بيانات VQA و4 نماذج VLM أن تقنية CMVF تحتل دائمًا المركز الأول، حيث تحسن الأداء بمعدل 2.4 نقطة على كل نموذج مستهدف، مع مكاسب تصل إلى 6.5 نقاط على معايير فردية معينة. علاوة على ذلك، يتمكن المحسن من تنظيم نفسه في قوائم مرئية مشابهة للخبراء التي يمكن نقلها عبر النماذج المختلفة دون الحاجة لإعادة تحسين.