فهم الجوانب الهندسية للنسيان: تغير المعرفة الزمنية كعنصر مستقل في نماذج اللغات الضخمة

في عالم الذكاء الاصطناعي، تعد نماذج اللغات الضخمة (Large Language Models) من أعظم إنجازات التكنولوجيا الحديثة. لكن، يبدو أن هذه النماذج تعاني من مشكلة كبيرة: الإنتاج المفرط للإجابات القديمة وغير الدقيقة. دراسة جديدة نُشرت على منصة arXiv تحمل عنوان "فهم الجوانب الهندسية للنسيان" تسلط الضوء على هذه الظاهرة، وتطرح تساؤلات مهمة حول كيفية تعامل هذه النماذج مع تغير المعرفة عبر الزمن.

الباحثون يكشفون أن المشكلة تكمن في بنية النموذج نفسه، وليس فقط في طريقة هندسته. فقد أظهروا أن هناك ما يسمى بـ "الانزياح الزمني" (Temporal Drift) الذي يؤثر على المعلومات المخزنة، حيث يتم تشفير هذا الانزياح كاتجاه في التدفق المتبقي الذي يتعاطى مع دقة الإجابة وعدم اليقين. نتيجة لذلك، فإن أي طريقة تعمل على دقة الإجابة أو عدم اليقين ستكون عمياء تجاه هذه الانزياحات.

الدراسة لا تكتفي بمجرد الافتراضات، بل تمتد إلى التأكيد من خلال ستة نماذج تم ضبطها للتعليم، حيث تم تدريب "probe" خطي (linear probe) مباشرة على تسميات الانزياح، محققاً نسبة دقة بلغت بين 0.83 و0.95. وعلى الجانب الآخر، ظلت الطرق الأخرى، مثل "token entropy" و"semantic entropy"، قريبة من حظوظ الصدفة (0.49–0.57).

مؤكدين على وجود الجانب الهندسي للمعضلة، تم إجراء خمس اختبارات لتأكيد الأبعاد الهندسية للانعكاسات. كما أظهر النتائج أن دائرة استرجاع MLP تنتج ديناميات مماثلة لكل من الذاكرة القديمة والكذب (confabulation).

مع إجراء اختبار مشترك سمح بتثبيت المدخلات مع تغيير النموذج، ثبت أن النموذج الذي تم تدريبه قبل تغير الحقائق كان لديه القدرة على استرجاع المعرفة بشكل فعال. هذه النتائج تشير إلى أن النموذج يقيس حالة المعرفة الداخلية بعيداً عن خصائص المدخلات.

سيتم نشر الأكواد ومجموعات البيانات المتعلقة بالدراسة للعامة، مما يوفر مجالاً جديداً للبحث والتطوير في هذا المجال.

ما رأيكم في هذه الاكتشافات الجديدة؟ هل تجدون أن هذه الانزياحات الزمنية مشكلة حقيقية في نماذج الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!