تعد عملية تحسين معلمات LoRA (Low-Rank Adaptation) من أبرز التحديات التي تواجه الباحثين عند تخصيص نماذج اللغة الكبيرة (Large Language Models) لأغراض محددة. فعلى الرغم من أن LoRA يقدم وسيلة فعّالة من حيث الموارد للتخصيص، إلا أن حساسيته العالية تجاه اختيار المعلمات تجعل البحث الشامل عنها مهمة مكلفة جداً من الناحية الحسابية.

للتغلب على ذلك، نطرح إطار عمل يعتمد على تحسين بايزي (Bayesian Optimization) الذي يستفيد من المعرفة المسبقة للنماذج المدربة مسبقًا. من خلال إعادة استخدام النموذج المسبق كموديل ربط من متقطع إلى مستمر، نستطيع ربط المعلمات بمعرفتها تحت فضاء عددي مستمر حيث يتم إجراء عملية تحسين بايزي.

قمنا بتصميم عملية الربط هذه عن طريق توجيه نصي يتضمن توضيح العلاقات بين المعلمات وأدوارها. وهذا يسمح بإدخال المعرفة الاختصاصية عن LoRA إلى الموديل بلغة طبيعية، مما يعزز دقة النتائج المستخلصة. إضافةً إلى ذلك، قدمنا رمزًا قابلًا للتعلم لالتقاط المعلومات المتبقية التي يصعب شرحها لغويًا، مما يساعد في تحسين أداء عملية الاكتشاف.

بفضل استغلال العلاقة القوية بين الأداء الناتج عن مجموعات البيانات الكاملة والفرعية، طورنا طريقة تدريب وتقييم بديلة باستخدام مجموعة بيانات صغيرة، مما زاد من فعالية آلية العمل.

لقد أظهرنا أن المعلمات التي تم اكتشافها بعد حوالي 30 دورة تحقق تحسينًا يزيد عن 20% مقارنةً بالمعلمات التقليدية التي تم الحصول عليها من حوالي 45000 مجموعة.