في عالم الذكاء الاصطناعي، تعد كفاءة تكيف نماذج اللغة الكبيرة (Large Language Models) موضوعًا ساخنًا وأحد المحاور الأساسية في البحث الحديث. وقد باتت تقنيات تكيف المعلمات الكفؤة (Parameter-Efficient Fine-Tuning - PEFT) سمة أساسية في تكيف هذه النماذج. لكن الدراسة الجديدة تدق ناقوس الخطر وتعيد تقييم الافتراض الشائع بأن كفاءة المعلمات تعني كفاءة الذاكرة وقابلية التكيف على الأجهزة.

تظهر الأبحاث أن هذا الافتراض غير صحيح. فعلى الرغم من أن تقنيات مثل LoRA وIA3 تقلل بشكل كبير من المتغيرات القابلة للتدريب، إلا أنها تظل مرتبطة بمعطيات وسيطة تزيد بشكل خطي مع طول التسلسل، مما يؤدي في كثير من الأحيان إلى أخطاء نفاد الذاكرة على الأجهزة.

لذا، تقدم الدراسة الإطار الجديد المعروف باسم LARS (Low-memory Activation-Rank Subspace)، الذي يفصل استهلاك الذاكرة عن طول التسلسل. حيث تركز LARS على تقييد الفضاء التنشيطي المستخدم أثناء التدريب، مما يستهدف مباشرة المصدر الرئيسي لاستهلاك الذاكرة ويعمل على تسطيح معدل نمو الذاكرة.

تظهر النتائج أن LARS يقلل من بصمة الذاكرة بمعدل متوسط قدره 33.54% على وحدات معالجة الرسوميات (GPUs) و51.95% على المعالجات المركزية (CPUs) مقارنةً بـ LoRA، وذلك عبر مجموعات بيانات متنوعة تتعلق بالتفكير والفهم والسياقات الطويلة، مع الحفاظ على دقة ومرور تنافسي.

إلى جانب وحدات معالجة الرسوميات، تم نشر LARS على Raspberry Pi والمعالجات المركزية العادية، مما يبرز أنه يوفر مسارًا قابلًا للتطوير لتخصيص LLMs المتقدمة على الأجهزة ذات الموارد المحدودة.

باختصار، تمثل LARS إحدى الخطوات الرائدة التي تعيد تشكيل كيفية تعاملنا مع نماذج اللغة الكبيرة، مما يتيح إمكانية الوصول والتكيف لكثير من المستخدمين في جميع أنحاء العالم.