تشير الدراسات الحديثة إلى أن تحرير المعرفة بشكل متسلسل في نماذج اللغات الضخمة (Large Language Models) يمكن أن يؤدي إلى انهيار مدمر في قدرات هذه النماذج العامة، خاصة عند استخدام طرق تعديل المعاملات. بينما تسعى الأساليب التقليدية إلى تخفيف هذا الانهيار من خلال فرض قيود هيوريستية على تحديثات المعلمات، لا يزال فهم الآليات الأساسية التي تؤدي إلى هذا التدهور غير كاف.

في هذا السياق، تبرز دراسة جديدة تتناول التحليل الطيفي لتعديل المعرفة المتسلسل، موضحةً العلاقة الوثيقة بين قدرات النموذج العامة والاتجاهات الغالبة، أو ما يُعرف بالاتجاهات المفردة الرئيسية (dominant singular directions) لمصفوفات الأوزان المدربة مسبقاً. هذه الاتجاهات تظهر حساسية عالية للاختلالات وتتعرض للتعطيل بشكل تدريجي مع تكرار التعديلات، مما يتتبع بدقة الانهيار في فعالية التحرير والأداء العام.

استنادًا إلى هذه الرؤية، تم تقديم تقنية جديدة تُدعى REVIVE، وهي إطار عمل يمكن دمجه بسهولة ويعمل على استقرار عمليات التحرير المتسلسلة من خلال الحفاظ بشكل صريح على الفضاء الفرعي المفرد الغالب. تقوم REVIVE بتمثيل تحديثات المعلمات في الأساس الطيفي للأوزان الأصلية، وتصفية المكونات التي قد تتداخل مع المنطقة المحمية.

أظهرت تجارب مكثفة على أنماط ونماذج متعددة أن تقنية REVIVE تعمل بشكل متسق على تحسين فعالية التحرير مع الحفاظ بشكل ملحوظ على القدرات العامة تحت نطاق تحرير طويل الأمد، بما في ذلك إعدادات شديدة تصل إلى 20,000 تعديل.

إذا كنت من المهتمين بتطورات الذكاء الاصطناعي وتطبيقاته المثيرة، فإن هذه التقنية تمثل خطوة هامة نحو تحسين أداء النماذج الذكية. ما رأيكم في هذه التقنية الجديدة؟ شاركونا في التعليقات.