هل يمكن لنماذج الاستدلال اللغوي تعزيز القدرة على الاستدلال المتعدد الوسائط؟

في عالم الذكاء الاصطناعي، تتنافس نماذج اللغة والرؤية المشتركة (VLMs) في تقديم أداء مثالي عبر الفهم البصري واللغوي. ومع ذلك، تُظهر الأبحاث أن دمج هذه النماذج غالباً ما يتسبب في تدهور القدرة على الاستدلال اللغوي التي كانت موجودة مسبقاً في نموذج اللغة الأساسي (LLM).

للمساعدة في معالجة هذه المشكلة، قدم فريق من الباحثين تقنية جديدة تُعرف بـ LIFT (Language-side reasonIng Facilitation and Transfer). هذه التقنية التي تتميز بخفة وزنها، تهدف إلى استعادة قدرات الاستدلال من نموذج اللغة الأساسي إلى نموذج الرؤية واللغة دون الحاجة إلى إعادة تدريب الهيكل الأساسي.

تعتمد هذه الطريقة على مفهوم "متجهات الاستدلال"، التي تمثل اختلافات في الحالة المخفية بين مسارات الاستدلال المختلفة. باستخدام LIFT، يمكن إدخال هذه المتجهات في تفاعلات اللغة في نموذج الرؤية واللغة، مما يوفر دعماً من طراز أكثر فعالية من دون التأثير على بنية النموذج.

من خلال تقييم هذه التقنية على مجموعة من النماذج وعبر ستة معايير استدلال مختلفة، أظهرت النتائج أن المتجهات المشتقة من نموذج اللغة الأساسي تتفوق على تلك المشتقة من النموذج المتعدد الوسائط.

هذه النتائج تشير بوضوح إلى أن النماذج الأساسية تمثل مصدراً أكثر فعالية لاستعادة القدرات الاستدلالية، مما يجعل LIFT خطوة مهمة نحو تحسين أداء النماذج المتعددة الوسائط. يعتزم الباحثون إصدار الكود المصدري قريباً، مما سيفتح المجال للمزيد من الابتكارات في هذا السياق.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!