في العالم المتنامي للذكاء الاصطناعي، تعتبر تقنيات التخصيص الفعالة للمعلمات محورية لتحقيق أداء عالٍ. ومن بين الابتكارات الجديدة، تظهر تقنية LAARA (Layer Aware Adaptive Rank Allocation) كحل مثير للاهتمام في مجال التكيف الفعال للمعلمات.

عادةً ما تستخدم طرق التكيف منخفض الرتبة (Low-Rank Adaptation) لتخصيص المعلمات بكفاءة، إلا أن الطرق الحالية تميل إلى تخصيص نفس رتبة الموصل (adapter rank) لكل طبقة من طبقات تحول النموذج، مما يتجاهل احتياجات التكيف المتنوعة بين الطبقات المختلفة. ومن هنا تأتي أهمية LAARA، حيث تثبت دراسات نظرية وتجريبية أن تخصيص الرتبة الموحد ليس الأمثل.

تعتمد LAARA على إطار عمل غير متعلق بالبحث يخصص الرتب بشكل ديناميكي عبر استخدام تقديرات فاخر (Fisher estimates) خفيفة الوزن تكون محسوبة أثناء التدريب. يجمع هذا الإطار بين المعايير المتعددة مثل التطبيع حسب الإسقاط (projection-wise normalization)، ضغط لوغاريتمي، تقدير أهمية الموصل المختلط، وآلية تخفيف التصويت للتغيير.

تظهر التجارب على معايير GLUE وMathInstruct أن LAARA متفوقة أو تتساوى مع بعض التقنيات الرائدة مثل LoRA وAdaLoRA وDyLoRA وBitfit، بينما تستخدم عددًا أقل بكثير من المعلمات القابلة للتدريب. هذه النتائج تثبت أن تخصيص الرتبة المستند إلى فاخر يوفر أساسًا منطقيًا وفعالًا لتحسين التخصيص الديناميكي للمعلمات.

لمزيد من التفاصيل، يمكنكم مراجعة الكود المصدري المتاح للجمهور عبر الرابط التالي:
https://anonymous.4open.science/r/LAARA-D305/LAARA.py.

ما رأيكم في هذه التقنية الجديدة؟ هل تعتقدون أنها ستحدث تغييرًا في أساليب تخصيص المعلمات في الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!