في عالم الذكاء الاصطناعي، يعد التكيف الفعّال للنماذج الأساسية (Foundation Models) مع المهام التخصصية نواة الابتكار. لكن تكمن المشكلة في أن هذا التكيف قد يؤدي في بعض الأحيان إلى تقليص القدرات غير المستهدفة التي تم اكتسابها أثناء عملية التدريب المسبق. إذًا، كيف يمكن الحفاظ على هذه القدرات بينما نوفر أداءً متفوقًا في مهام معينة؟

هنا تظهر تقنية جديدة تهدف إلى حل هذه التحديات، تُعرف باسم "FoLoRA"، أو Foundation Preserving LoRA. تعتمد هذه التقنية على إطار عمل تحسين يدرك ظاهرة النسيان (Forgetting) ويقدم وسيلة لتحسين الأداء دون المساس بالقدرات القائمة.

FoLoRA يعتمد على شرط الحفاظ على الأداء من الدرجة الأولى، حيث يُعرِّف عقوبة نسيان على التنشيطات (Activations) المرتبطة بالتدريب المسبق، ويحدد فائدة المهام بناءً على تنشيطات المهام التخصصية. تتضمن هذه العملية تقييم اتجاهات التحديث عبر نسبة فائدة المهمة إلى عقوبة النسيان باستخدام ما يُعرف بـ "نسبة رايلي العامة" (Generalized Rayleigh Quotient).

ما يميز FoLoRA هو استخدامه لنظام إحداثيات طيفية (Spectral Coordinate System)، مما يسمح بتحديثات جادة عبر تقنية Adam، حيث يتم تقليل التأثيرات السلبية على الأداء بسبب قيود النسيان. وفي سياق التجارب التي تشمل مهام رياضية، تعليمات برمجية، ومتطلبات التعلم، تم إثبات أن FoLoRA يحقق التوازن الأفضل بين الحفاظ على الأداء والتكيف، مما يعزز الأداء المستهدف بينما يحافظ على قدرة النماذج السابقة.

وكونه خطوة مهمة نحو تحسين الذكاء الاصطناعي والتعلم الآلي بطريقة متوازنة ومستدامة، يُبشر FoLoRA بمستقبل تتألق فيه النماذج الذكية دون انتقاص من قدراتها أو أدائها.