في عالم الذكاء الاصطناعي، تطور نماذج اللغة الكبيرة (Large Language Models) أدى إلى الحاجة لتحسين أدائها في مهام محددة دون فقدان القدرات العامة المكتسبة خلال فترة التدريب. تمثل ورقة جديدة نشرت على arXiv خطوة متقدمة في هذا السياق، حيث تتناول مفهوم "تحسين الطبقات الانتقائية".

ابتكر الباحثون استراتيجيات لتحسين فعالية تدريب النماذج من خلال تحديد الطبقات الأكثر ملاءمة لتطبيق التعديلات، مما يظهر أن ليس كل الطبقات تحمل نفس الأهمية لتلك التحسينات.

وترتكز الطريقة على فكرة مبدئية تتمثل في قياس حساسية الطبقات المختلفة من خلال استخدام معلومات فيشر التجريبية، ولكن هذه العملية معقدة ومكلفة. لذلك، اقترح الفريق استخدام تشابه الزوايا بين المدخلات والمخرجات كبديل خفيف التكلفة وذا كفاءة أعلى لتصنيف حساسية الطبقات.

أثبتت التجارب التي أجريت على مهمتي الاستدلال الرياضي وتوليد الأكواد أن الطريقة الجديدة – المعروفة باسم LoRA الانتقائية للطبقات (Layer-Selective LoRA) – تحسن من أداء المهام المحددة بينما تحتفظ بقدر أكبر من القدرة على اتخاذ القرارات السليمة.

هذه الاكتشافات تشير إلى أن تحسين موقع التطبيق، وليس مجرد تحسين النموذج بشكل شامل، يمكن أن يكون له تأثير كبير في موازنة الأداء بين التخصص والقدرات العامة.

كيف ترى تأثير هذه التقنيات على مستقبل الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات.