في الآونة الأخيرة، شهدت نماذج اللغة متعددة الوسائط (Multimodal Large Language Models - MLLMs) تقدمًا كبيرًا في قدرتها على التفكير المنطقي المتعلق بالصور والنصوص. ومع ذلك، فإن أداء هذه النماذج غالبًا ما يتدهور مع زيادة طول النص الناتج. السبب الرئيسي وراء ذلك هو عدم قدرتها على تتبع الأدلة المرئية السابقة والمحددات الوسيطة ضمن سياق متنامٍ.

استُلهم الباحثون من طريقة استرجاع البشر لمعلومات ما يرونه وما يستنتجونه عند حل المهام المعقدة، وقدموا آلية جديدة تسمى ذاكرة التوجيه المضاعفة (Dual Latent Memory Routing - DLMR). تحتوي هذه الآلية على ذاكرتين: الأولى ذاكرتان بصرية compresses image evidence وتختص بتخزين الأدلة المرئية، والثانية هي ذاكرة استدلالية تت تتبع الاستنتاجات والمحددات الوسيطة.

تستخدم DLMR نظام توجيه ديناميكي يحدد أي الذاكرتين سيتم الاستفادة منها ومقدار استخدامها أثناء عملية الاستنتاج، مما يحافظ على التوافق البصري أثناء الحفاظ على التفكير المنطقي المستمر عبر الأفق الزمني الطويل. تم تدريب DLMR على ثلاث مراحل بدءًا من بناء الذاكرة الكامنة إلى تعلم التوجيه الانتقائي، مع الحفاظ على النموذج الأساسي ثابتًا، مما أسفر عن تحسينات كبيرة في كل من الاختبارات العامة واختبارات التفكير مع عدد قليل من المعلمات القابلة للتدريب.

تظهر التحليلات أيضًا توجيهًا قابلًا للتفسير يعتمد على الحالة، مع أدوار ذاكرة متخصصة وتقليل الرموز المستخدمة في الترميز على طول الأجيال. يمكن العثور على الشيفرة المصدرية لهذه الآلية المبتكرة على GitHub.

ما رأيكم في هذا الابتكار؟ هل تعتقدون أن زيادة قدرة الأنظمة الذكية على التفكير المنطقي ستحدث ثورة في كيفية تفاعلنا مع التكنولوجيا؟ شاركونا آراءكم في التعليقات!