مع تزايد حجم النماذج المدربة مسبقًا (Pre-trained Models)، أصبحت عملية التحسين (Fine-tuning) تحت ظروف الذاكرة المحدودة تحديًا كبيرًا. في هذا السياق، تظهر تقنية التكيف منخفض الرتبة (Low-Rank Adaptation - LoRA) كواحدة من أكثر الطرق كفاءةً لتعديل المعلمات (PEFT) الاستخدام في الوقت الراهن، حيث تساهم في تقليل الحاجة إلى عدد كبير من المعلمات القابلة للتدريب. ومع تقليل الحاجة إلى المعلمات، فإن مشكلة تكدّس الذاكرة لا تزال تتواجد بسبب الاحتفاظ بالتفاعلات الخاصة عبر عمليات التغذية العكسية (Backpropagation).

لمعالجة هذه المشكلة، تم طرح نظام CARE-LoRA، وهو إطار عمل قائم على إعادة بناء التفاعلات المضغوطة بذكاء. من خلال الاستفادة من هيكلية LoRA، يقوم CARE-LoRA باستبدال التفاعل الكامل بتفاعل مضغوط منخفض الرتبة يتم إنتاجه بشكل طبيعي من فرع LoRA. إضافةً إلى ذلك، يتم حساب مصفوفة إعادة بناء خفيفة أثناء عملية التمرير الأمامي (Forward Pass)، بتكلفة حسابية بسيطة جدًا، حيث تستخدم هذه المصفوفة خلال عملية التغذية العكسية لإعادة بناء إشارات التدرج، مما يحافظ على إمكانية تدريب مصفوفات LoRA بالكامل.

تظهر التجارب الواسعة النطاق عبر نماذج متنوعة ومهام متقدمة أن CARE-LoRA لا يحقق فقط تقليلًا كبيرًا في حجم الذاكرة، بل يقدم أيضًا أداءً تنافسياً أو حتى متفوقًا مقارنةً بتقنيات LoRA القياسية وغيرها من النسخ الممثلة لـ LoRA. لمزيد من التفاصيل، يمكنكم الاطلاع على الكود المصدري المتاح على GitHub. هذا الابتكار يعد خطوة هامة نحو تحسين نماذج الذكاء الاصطناعي وتوفير الموارد.