في عالم الذكاء الاصطناعي، تعتبر القدرة على الاحتفاظ بالمعلومات الهامة ومعالجتها بشكل ديناميكي أمراً حيوياً لتكيف الأنظمة مع البيئات السريعة والمتغيرة. تسمى هذه القدرة "ذاكرة العمل" (Working Memory)، وهي أساسية في عملية التفكير البشري والذكاء. ولكن، وعلى الرغم من الاختلاف الكبير بين الأنظمة البيولوجية والاصطناعية، يمكن لكلا النوعين أن يُظهر قيوداً في هذه الذاكرة.

هذا يطرح سؤالاً مهماً: لماذا تُظهر نماذج اللغة العملاقة (Large Language Models) قيوداً على ذاكرة العمل على الرغم من إمكانية الوصول الكامل للسياق السابق من خلال ميزة الانتباه؟

أظهرت الأبحاث أن نموذجاً مكوناً من طبقتين يمكن تدريبه ليحل المهام بكفاءة، ولكن لمجموعة متنوعة من نماذج اللغة العملاقة المدربة مسبقاً لا تزال تواصل إظهار قيود تعتمد على الحمل. كما أن هذه النماذج تعيد إنتاج تواقيع التداخل التي لوحظت لدى البشر، حيث تتأثر عملية الاسترجاع بالعوامل الزمنية وإحصائيات التحفيز.

علاوة على ذلك، تم ربط أداء ذاكرة العمل الأقوى بقدرات أوسع للنموذج، مما يعكس العلاقة المعروفة بين ذاكرة العمل والذكاء لدى البشر. من الناحية الآلية، تمثل نماذج اللغة العملاقة عناصر الذاكرة القريبة في تمثيلات متداخلة، وهو ما نطلق عليه "التراكب داخل السياق" (In-context Superposition).

بينما تعيد النماذج تنظيم هذه التمثيلات عبر الطبقات لتقليل التداخل وعزل الهدف عند القراءة، فإنها تحقق استرجاعاً أفضل عند فصل الذاكرات المتنافسة بشكل أفضل. وقد يؤدي قمع المعلومات المتداخلة بشكل انتقائي إلى تحسين الأداء بشكل طفيف.

تشير هذه النتائج مجتمعة إلى أن قدرة ذاكرة العمل تعتمد على التحكم في التداخل بين التمثيلات المتداخلة، مما يُبرز تحديات حسابية مشتركة بين الأنظمة البيولوجية والاصطناعية، وهو اختيار المعلومات ذات الصلة من التمثيلات الداخلية المتنافسة.