تُعتبر نماذج اللغات متعددة الوسائط (MLLMs) إحدى أحدث التطورات في مجال الذكاء الاصطناعي، حيث أظهرت قدرات رائعة في التفكير باستخدام الصور، مما أتاح لها معالجة المعلومات بطريقة أكثر تعقيدًا وسلاسة. ومع ذلك، لا تزال الطرق الحالية تواجه تحديات كبيرة في ضمان التوافق بين الإجابات المقدمة والأدلة المرئية الداعمة.

في هذا السياق، تم تقديم 'دي فاكTo'، وهو إطار عمل للتفكير العكسي يهدف إلى حل مشكلة التناسق بين الأدلة والإجابات. يعتمد هذا النظام على دمج ثلاثة نماذج تدريبية متكاملة: الإيجابية، العكسية، وإعداد القناع العشوائي. إذ يعمل هذا الإطار على محاذاة الأدلة المرئية بشكل صارم مع الإجابات النهائية.

أحد الابتكارات البارزة هو تطوير خط أنابيب لبناء الأدلة الموجهة باللغة، الذي يقوم تلقائيًا بتحديد المناطق المتعلقة بالأسئلة ويولد نسخًا عكسية. وقد أدى هذا النهج إلى إنشاء مجموعة بيانات جديدة تُعرف بـ 'دي فاكTo-100K'. من خلال هذه المجموعة، تم تدريب نماذج MLLMs باستخدام التعلم المعزز القائم على GRPO، وابتكار ثلاثة مكافآت لتعزيز دقة الإجابات، التفكير المنظم، واختيار الأدلة المتسقة.

علاوة على ذلك، تم تقديم 'دي فاكTo-1.5K' كمعيار مُعتمد من قبل الإنسان لتقييم التناسق القائم على الأدلة بشكل منهجي، بما يتجاوز دقة الإجابات. أظهرت التجارب على معايير متنوعة أن 'دي فاكTo' يُحسن بشكل كبير من دقة الإجابات وتوافقها مع الأدلة مقارنةً بأساليب سابقة قوية.

إذا كنت مهتمًا بتطورات الذكاء الاصطناعي وكيفية استخدام الصور لتعزيز التفكير العكسي المدعوم بالأدلة، لا تفوت فرصة استكشاف المزيد حول 'دي فاكTo' وكيف يمكن أن يؤثر على المستقبل.