استراتيجية تدريب مبتكرة لنماذج الرؤية-اللغوية لمواجهة تحديات الادراك الزمني-المكاني

تسعى نماذج الرؤية-اللغوية (Vision-Language Models) إلى تحسين فهم الصور الثابتة، لكنها تواجه عوائق رئيسية في الاستدلال الزمني-المكاني. ومن بين هذه العوائق، تبرز مشكلة "هلوسة الاستدلال بين الصور المتعددة"، حيث يظهر فرق كبير في الأداء بين الاستعلامات الزمية الأمامية والخلفية، مما يكشف اعتمادها على حلول سطحية بدلاً من فهم يعتمد على السياق.

لتجاوز هذا التحدي، قام الباحثون بتطوير مجموعة بيانات جديدة تُعرف باسم مجموعة بيانات سلسلة الأفكار (Chain-of-Thought dataset)، والتي تقسم الاستدلال المعقد إلى خطوات زمنية-مكانية مفصلة وقرارات محددة. بناءً على هذا الأساس، تم تقديم إطار تدريب متقدم يبدأ بالتدريب المسبق تحت إشراف على مجموعة بيانات سلسلة الأفكار لضمان استيعاب البنى المنطقية، تليه مرحلة تحسين باستخدام بيانات موسعة ذات تصنيف ضعيف لتعزيز قدرة النموذج على التعميم.

أظهرت التجارب أن هذه الاستراتيجية لا تعزز الدقة الأساسية للنماذج فحسب، بل تقلل أيضاً الفجوة في الأداء بين الاستعلامات الأمامية والخلفية من أكثر من 70% إلى 6.53% فقط. مما يشير إلى أن الطريقة تقوي الاستدلال الديناميكي وتقلل التحيزات الزمنية الفطرية في النماذج الحالية.

كيف تعتقد أن هذه التطورات ستؤثر على مستقبل نماذج الرؤية-اللغوية؟ شاركونا آرائكم!