في عالم نماذج اللغة الكبيرة (LLMs)، تتجلى إمكانيات مذهلة في اكتساب المعرفة والتفكير، ولكن لا تزال قدراتها على الاحتفاظ بالمعرفة المكتسبة تحت التحديثات المتكررة غير مفهومة بشكل كافٍ. لذلك، تمثل ابتكارات ForgetBench خطوة نوعية نحو فهم أفضل لتلك الديناميكيات.

ForgetBench هو معيار جديد يهدف إلى دراسة سلوك النسيان في نماذج اللغة أثناء التعديلات المستمرة على المعرفة. يقدم هذا المعيار نموذجين تقييمين متميزين: الأول يعتمد على الأسئلة المتعلقة بالمفاهيم، والثاني يعتمد على الأسئلة المرتبطة بالسيناريوهات، مما يساعد الباحثين على التمييز بين الاحتفاظ بالحقائق المعزولة والحفاظ على المعرفة الهيكلية.

يستخدم ForgetBench إطار تعديل تسلسلي ينشئ مسارات معرفة مرتبة زمنياً، بحيث يتم تقييم سلوك النموذج عبر مراحل تعديل متعددة. ولتحليل ديناميكيات الاحتفاظ على المدى الطويل، تم تقديم إطار تقييم موحد يقيس تطور المعرفة مع الزمن، مما يتيح قياس تدهور المعرفة، وقوة الاحتفاظ، وثباتها عبر الحالات المختلفة.

تظهر التجارب الشاملة عبر نماذج وتقنيات تعديل متنوعة أن الأساليب الحالية لا توازن بشكل كافٍ بين الاحتفاظ على المدى الطويل وجودة التعميم. وهذه النتائج تسلط الضوء على الحاجة إلى آليات ذاكرة أكثر قوة، قادرة على اكتساب، تحديث، والحفاظ على المعرفة بفاعلية في المستقبل.

وتعهد الباحثون بإصدار الشيفرة البرمجية الخاصة بهذا المعيار عند قبول البحث.

هل أنتم مستعدون لاكتشاف كيف سيغير ForgetBench مستقبل نماذج اللغة؟ شاركونا آراءكم في التعليقات!