مع الارتفاع الكبير في حجم نماذج التعلم العميق التي تتضمن مليارات المعلمات، يصبح تكاليف ضبط الأداء عائقاً مهماً أمام الاستخدام الفعلي. وعلى الرغم من أن تكييف الرتبة المنخفضة (Low-Rank Adaptation - LoRA) قد أصبح معياراً لتصبير الذاكرة، إلا أن الحاجة لتحديد رتبة ثابتة مسبقًا $r$ تتطلب عمليات بحث شاملة للتوازن بين الكفاءة والأداء.

تمثل الحلول الحالية المتناسبة مع الرتبة مثل DyLoRA خطوة إيجابية، حيث تقوم بتقييم الرتب خلال التدريب من توزيع محدد مسبقًا، لكنها تعاني غالباً من نتائج غير مثالية عند استخدام رتب أعلى، بسبب عدم توفر إشارات تدرج ثابتة عبر جميع الرتب.

تدعم الدراسة الجديدة التي نقدمها MatryoshkaLoRA، وهو إطار تدريبي مستوحى من مفهوم الماتريوشكا، حيث يقوم بتعلم تمثيلات هرمية دقيقة من خلال إدخال مصفوفة قطرية مصممة بدقة $P$ بين موزعات LoRA الحالية لتعديل رتبها الفرعية بشكل مناسب. من خلال هذا التعديل البسيط، يستعيد إطارنا العام LoRA وDyLoRA ببساطة عبر تغيير $P$، مما يضمن تضمين جميع الرتب الفرعية لمعلومات التدرج المتاحة بكفاءة.

يدعم نظام MatryoshkaLoRA أيضًا اختيار الرتبة الديناميكية مع الحد الأدنى من انخفاض الدقة. وقد اقترحنا أيضًا (AURAC) كمعيار لتقييم أداء موزعات الرتبة المنخفضة الهرمية بشكل مستمر. وتظهر نتائجنا أن MatryoshkaLoRA يتعلم تمثيلات هرمية دقيقة بشكل أكبر مقارنةً بالأساليب السابقة، ويحقق توازنًا متفوقًا بين الدقة والأداء عبر الرتب في مجموعات البيانات المدروسة.

للحصول على الكود الخاص بنا، يمكنكم زيارة [https://github.com/IST-DASLab/MatryoshkaLoRA].