تواجه نماذج اللغة البصرية (VLMs) تحديات عدة، خاصة في مجال تقدير الثقة أثناء التكيف في وقت الاختبار. حيث شهدنا أحيانًا تحسنًا في دقة الأداء عند استخدام توجيه الموجهات (prompt tuning) في حالات عدم المعرفة، لكن لم تخلُ هذه المشاريع من مشكلات تتعلق بالثقة العالية الناتجة عن دخول الحماسة في النتائج.

بالنظر إلى الحلول السابقة، كانت معظمها تعتمد على خصائص مستمدة من نماذج اللغات الكبيرة (Large Language Models) ومعالجة تقابلية، ولكنها كانت تتعامل مع الخصائص بشكل مستقل، مظهرة بذلك بعض القصور في فهم العلاقات المعقدة.

الإجابة تكمن في الطريقة الجديدة المسماة ARGTCA، التي تعتبر (الخصائص، الصفات) كعقد في رسم بياني رمزي، عبر استخدام شبكة الانتباه الرسومية (Graph Attention Network) لتدريب النظام على هياكل مترابطة تعكس التبعيات بين الصفات المختلفة.

تتضمن هذه التقنية استراتيجيتين لاختيار الصفات: ARGTCA-DIV التي تسعى إلى التنوع داخل الفئات وARGTCA-DISC التي تستهدف التمييز بين الفئات. أجريت التجارب عبر تسعة اختبارات، حيث أظهرت النتائج أن ARGTCA-DIV تقلل من متوسط خطأ التقدير المتوقع (Expected Calibration Error) بنحو 37% مقارنة بالأساليب السابقة، بينما ARGTCA-DISC حققت تحسنًا أيضًا، حيث انخفض متوسط الخطأ بحوالي 17%.

تشير هذه النتائج إلى أن نمذجة التفاعلات الرمزية بين الصفات تقدم منهجًا منهجيًا وموثوقًا للتكيف في وقت الاختبار في نماذج اللغة البصرية.

تعتبر هذه التطورات خطوة ملحوظة نحو تحقيق دقة أعلى في نماذج الذكاء الاصطناعي، مما يفتح آفاقًا جديدة للمستقبل في هذا المجال المتزايد.