في عالم الذكاء الاصطناعي، يُعتبر الحفاظ على قدرات التفكير في نماذج اللغة الكبيرة (Large Language Models) تحديًا مركزيًا. يواجه الباحثون صعوبة في تحديث هذه النماذج بمعرفة جديدة أو متطورة، إذ أن حتى التعديلات الاقتصادية قد تؤدي إلى تآكل القدرات المنطقية السابقة. تعكس هذه التحديات معضلة الجمع بين المرونة والاستقرار (Plasticity-Stability Dilemma): يجب على النماذج دمج المعرفة الجديدة مع الحفاظ على تمثيلات المهارات الحرجة.

تعالج دراسة جديدة مؤخراً هذه المعادلة المعقدة من خلال تسليط الضوء على هيكل الطيف لمصفوفات الأوزان في البيرسيبترون متعدد الطبقات. أظهرت الأبحاث أن المعلومات الأساسية للتفكير ليست مركزة فقط في الاتجاهات المهيمنة، بل موزعة عبر الطيف الوحيد (Singular Spectrum).

استناداً إلى هذا الكشف، تم تقديم إطار PALoRA، الذي يعتمد على مرحلتين لإدخال المعرفة مع تقليل التداخل. في المرحلة الأولى، يتم تدريب خبير تهيئة القيم المفردة (Singular Value Fine-Tuning) على مجموعة بيانات تفكير، حيث يُستخدم المتجه المقيس المستخرج كأداة جيو-هندسية مجمدة لتحديد المكونات الحرجة للمهارة المستهدفة. بعد ذلك، يتم إدخال المعرفة الواقعية باستخدام تكييف منخفض الرتبة (Low-Rank Adaptation) تحت قيود هيكلية، مما يضمن أن التحديثات تتجنب الفضاء الفرعي المعني بالمهارات.

أثبتت التجارب عبر نماذج Llama 3.1 8B وMistral 7B، أن PALoRA يحتفظ بمتوسط 95% من أداء خبير تهيئة القيم المفردة فيما يتعلق بالتفكير، مع الحفاظ على دقة تنافسية في استرجاع المعلومات الواقعية. بل ويتفوق بشكل مستمر في حفظ المهارات مقارنةً بطرق التهيئة الفعالة السابقة، مع إضافة أقل من 0.006% من إجمالي الأبعاد.

هل أنتم متحمسون لهذا التطور الجديد في تعزيز نماذج اللغة؟ شاركونا آراءكم في التعليقات.