في عالم الذكاء الاصطناعي، تعتبر نماذج الرؤية واللغة (Vision-Language Models - VLMs) من الأدوات الرائدة في دمج قدرات الرؤية الحاسوبية مع معالجة اللغة الطبيعية. ومع ذلك، أظهرت الأبحاث الجديدة أن هذه النماذج تعتبر حساسة جداً عند التعرض للصور المفسدة.
فقد تم اكتشاف أن صياغة السؤال قد تؤثر على أداء هذه النماذج بطريقتين متناقضتين. حينما تكون الأسئلة مطولة، مثل "يرجى النظر بعناية والإجابة: هل هناك قطة؟"، تزداد قدرة التحمل لدى النموذج بشكل ملحوظ. وهذا يعني أن إضافة بعض التفاصيل يمكن أن يُحسّن من دقة النموذج في تقديم إجابات صحيحة.
على النقيض، تتأثر النماذج بشكل سلبي عندما تكون الأسئلة معقدة أو تتطلب تفصيلات دقيقة، مثل السؤال "ما لون الكوب الموجود إلى يسار الكرسي؟" بدلاً من "هل هناك كوب؟". هذه الظاهرة تُعزى إلى تأثير تركيز الانتباه بين الصور والأسئلة، مما يُحدث فلتر ترددي على أجزاء الصورة. في حالة الأسئلة المطولة، يتم توسيع نطاق تردد الاستجابة، بينما في الأسئلة المعقدة، يتم تضييقه إلى مقاييس بصرية أقل.
إحدى الدراسات التي تم إجراؤها على نماذج Qwen3-VL وLLaVA-OneVision على مجموعات البيانات GQA وCLEVR أظهرت أن إعادة صياغة الأسئلة المطولة قد خفَّضت من تباين الانجراف بنسبة تتراوح بين 70% و81%، مما يعكس أهمية اختيار الكلمات بعناية عند العمل مع نماذج الرؤية واللغة.
ببساطة، حتى بسيطة التعديل على صياغة السؤال أو إضافة تفاصيل يمكن أن تُحقق مكاسب ملحوظة في الدقة، حتى في ظل وجود الفساد البصري. دعونا نتأمل في كيف يمكن للنماذج الجديدة تحسين تفاعلنا مع الذكاء الاصطناعي من خلال هذه الاكتشافات المثيرة.
اكتشف لماذا تدعم الأسئلة المطولة نماذج الرؤية واللغة: قوة التركيز عبر التردد!
تظهر الأبحاث الجديدة أن صيغة الأسئلة تلعب دوراً حاسماً في قوة نماذج الرؤية واللغة (VLMs). الأسئلة المطولة تعزز من استقرار هذه النماذج، بينما الأسئلة المعقدة تزيد من هشاشتها.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
