في عالم الذكاء الاصطناعي، يعد ضبط النماذج من أهم العوامل التي تؤثر على الأداء النهائي لنماذج اللغة الكبيرة (LLM). ومن المثير أن دراسة حديثة تناولت استخدام تقنية التكيف منخفض الرتبة (Low-Rank Adaptation - LoRA) كاستراتيجية رئيسية لتحقيق كفاءة عالية في ضبط هذه النماذج.

بالاستناد إلى هذه التقنية، اقترحت بعض الدراسات السابقة استراتيجيات جديدة لتهيئة النماذج، مما أدى إلى تحسينات ملحوظة مقارنة باستخدام Vanilla LoRA. ولكن، تبين أن هذه التحسينات غالباً ما تم تنفيذها ضمن إعدادات ثابتة أو معدلة بشكل ضيق لمتغيرات التحكم، على الرغم من حساسية الشبكات العصبية للإعدادات التدريبية.

تناولت هذه الدراسة إعادة تقييم منهجية لتسعة متغيرات تمثل LoRA، بما في ذلك Vanillia LoRA، من خلال إجراء بحث شامل حول معلمات التعلم، حجم الدفعة، الرتبة، ومدى فترة التدريب. وقد شمل البحث مهاماً متعددة مثل التفكير الرياضي، والتحليل المنطقي، وتوليد الأكواد، واتباع التعليمات عبر نماذج مختلفة الأحجام.

لقد وجد الباحثون أن الطرق المختلفة لـ LoRA تفضل نطاقات معدلات تعلم محددة، وبتعديل مناسب لمعدلات التعلم، يمكن تحقيق أداء قريب جداً من قمم الأداء (ضمن 1-2%) على جميع الأساليب. وهذا يشير إلى أن Vanilla LoRA لا يزال يعتبر نقطة انطلاق فعالة، وأن التحسينات المبلغ عنها في ظل إعدادات تدريب معينة قد لا تعكس مزايا منهجية ثابتة.

وتعكس التحليلات اللاحقة عن العوامل الثانية اختلاف نطاقات معدلات التعلم المثلى بفضل التباينات في أكبر خاصية لهيسيان، مما يتماشى مع النظريات التعليمية التقليدية.

في النهاية، تفتح هذه النتائج باب النقاش حول أهمية تحسين ميزات التعلم وتأثيرها على أداء نماذج الذكاء الاصطناعي. هل تعتقدون أن Vanilla LoRA تكفي لضبط النماذج؟ شاركونا آراءكم!