في عالم مليء بنماذج الرؤية واللغة (Vision-Language Models - VLMs) المتنوعة، يواجه المستخدمون تحدياً كبيراً عند محاولتهم اختيار النموذج الأنسب من بين الآلاف المتاحة. تتفاوت هذه النماذج في الأداء ومتطلبات الموارد، مما يجعل عملية التحديد أمراً معقداً. وقد أظهرت الأبحاث السابقة وجود ظاهرة تناقض الأداء في نماذج اللغة، وركزت جهودها على أساليب التوجيه كحل لهذه المشكلة.

ومع ذلك، تبقى الحاجة إلى تطوير مُوجِّه خاص لاختيار نماذج الرؤية واللغة تحدياً حقيقياً، إذ يواجه بعض العقبات الرئيسية، مثل نقص البيانات المتخصصة، ضعف تمثيل الميزات، وفضاء النماذج الجامد والتكيف المكلف.

في ورقة بحثية جديدة، تم تصميم مجموعة بيانات متعددة الوسائط تسهم في اختيار أفضل نماذج VLMs، تحتوي هذه المجموعة على نتائج سبعة نماذج رئيسية في مجال VLM على 32,626 استفسار فريد من الصور والنصوص. كما قدم الباحثون أداة جديدة تعرف باسم ARMS، والتي تعد مُوجِّه فعالاً لاختيار نماذج VLM.

تعزز ARMS الإشارات المدخلة من خلال ملفات تعريف VLM، وتستخدم بنية بسيطة ولكن فعالة لتحسين تمثيل استفسارات النماذج وقدراتها. لتحسين تكيف ARMS مع نماذج VLM الجديدة، اقترح الباحثون استراتيجيتين للتدريب: التدريب المتزايد والتدريب المستقل.

أظهرت النتائج التجريبية على مجموعات اختبار داخل نطاق التوزيع وخارجه فعالية ARMS، حيث تمكنت من التكيف مع فضاء أوسع من النماذج وتفوقت على نماذج تجارية مثل GPT-4o التي تتجاوزها حجماً بمئات المرات. يمكن الوصول إلى التعليمات البرمجية والنماذج ومجموعات البيانات في المستودع المجهول الخاص بالباحثين.

كيف تجد فكرة تطوير مُوجِّه لاختيار نماذج الرؤية واللغة؟ شاركونا آرائكم في التعليقات!