عندما يتلاشى الانتباه: كيف تفقد نماذج اللغات الضخمة خيوط الحوار في التفاعلات متعددة الأدوار

لقد أحرزت نماذج اللغات الضخمة (Large Language Models) تقدمًا مذهلاً في التعامل مع التعليمات المعقدة في جولة واحدة. ومع ذلك، مع مرور الوقت وطول التفاعلات، غالبًا ما تفقد هذه النماذج الخيط الذي يربط التعليمات والشخصيات والقواعد. كيف يحدث هذا؟

في دراسة جديدة نُشرت، تم تقديم فكرة جديدة تُعرف بنموذج "قناة الانتقال" (Channel-Transition Account). يشير الباحثون إلى أن رموز تعريف الأهداف تصبح أقل وصولاً من خلال الانتباه، في حين أن المعلومات المرتبطة بالأهداف قد تستمر في المظاهر المتبقية. تم تقديم معامل وصول الهدف (Goal Accessibility Ratio - GAR) كأداة لقياس الانتباه من الرموز التي تم إنشاؤها إلى الرموز المحددة للهدف.

تشير النتائج إلى أن فقدان الانتباه يمكن أن يؤدي إلى أنماط فشل نوعية مختلفة حسب بنية النموذج المستخدمة؛ بعض النماذج تحافظ على سلوك الشرط القائم على الهدف بينما تفشل أخرى برغم توفر معلومات الهدف. تتراوح الطبقات التي تظهر فيها هذه الرموز من الثانية إلى السابعة والعشرين. في تجربة أجريت على نموذج Mistral، تم إغلاق قناة الانتباه ما أدى إلى انهيار الاسترجاع من نسبة قريبة من الكمال إلى 11% في مهمة الاحتفاظ بمعلومات مؤلفة من 20 حقيقة.

عند إغلاق قنوات الانتباه، تختلف النتائج بين النماذج، مما يكشف عن الفروق في الأداء. ومن خلال تحليل دقيق، استطاع الباحثون التنبؤ بالأوقات التي يفشل فيها النموذج في الحفاظ على سلوك شرط الهدف، مما يفتح آفاق جديدة لفهم كيفية عمل نماذج الذكاء الاصطناعي والنقاط التي تحتاج إلى تحسين.

هذه النتائج تعكس أيضًا أهمية استخدام أدوات جديدة مثل GAR كتشخيص لفهم تلك التحديات الأساسية، مما يعزز نطاق الأبحاث المستقبلية في هذا المجال.