في عالم الذكاء الاصطناعي، تتصاعد الحاجة إلى تحسين كفاءة النماذج وتقليل الحمل المعالجات. ولتلبية هذه الحاجة، تم تقديم BoostLoRA، وهو إطار عمل جديد يهتم بتحسين كفاءة التدريب ضمن نماذج النقل.

تواجه الأساليب التقليدية في ضبط المعلمات (Parameter-efficient fine-tuning - PEFT) تحديات ملحوظة، فتقتصر المحولات ذات المعلمات المنخفضة للغاية على فضاءات منخفضة الثابت، مما يقيد الأداء حتى مع التدريب المكثف. لكن BoostLoRA يهدف إلى تجاوز هذه العقبة من خلال إطار عمل يعتمد على تعزيز التدرجات.

كيف يعمل BoostLoRA؟

يعتمد النظام على تدريب ودمج محولات منخفضة الحجم بشكل تكراري على البيانات التي يخطئ فيها النموذج الحالي، مما يؤدي إلى زيادة فعالة في الأداء مع كل جولة تدريب. تستخدم استراتيجية ROTATE SVD لتخصيص كل جولة إلى فضاء متعامد، بحيث ينمو الترتيب الفعّال بشكل خطي مع عدد الجولات، في حين تبقى كل محولات منخفضة الحجم.

بعد اكتمال عملية الدمج، يتم التخلص من المحولات دون أي تأثير على أداء الاستنتاج، مما يعني عدم وجود عبء إضافي في المراحل اللاحقة. اختبارات BoostLoRA على Qwen2.5-3B أظهرت نتائج مثيرة، حيث حققت 89.1% على بيانات GSM8K و68.8% على MATH-500، متفوقة على أفضل المحولات التقليدية مثل TinyLoRA.

علاوة على ذلك، تم إثبات فعاليته في تصنيف البروتينات باستخدام ESM2-650M، حيث يعد BoostLoRA نموذجا فريدا من نوعه الذي ينمو فيه الترتيب الفعّال مع التدريب، مما يفصل تكلفة المعلمات لكل جولة عن القدرة التمثيلية الإجمالية.

بهذا، يظهر BoostLoRA كأحد الحلول الواعدة في مجال الذكاء الاصطناعي، ليمهد الطريق لتحسين الأداء في نماذج النقل مع الحفاظ على الكفاءة.