في عالم الذكاء الاصطناعي المتغير بسرعة، تظهر تقنية جديدة تُعرف بـ AR1-ZO، والتي تعدّ بمثابة نقطة تحوّل في تحسين نماذج اللغة الكبيرة. تعتمد هذه التقنية على تحسين الوصول إلى متواليات من الطبقات المقيدة بالرتبة (Rank-1) باستخدام تقنيات تسليم للبيانات تعرف بـ Zeroth-order optimization (ZO).

تتيح ZO تحسين نماذج اللغة بشكل فعال دون الحاجة لتخزين تنشيط البيئة الخلفية، مما يقلل من الحاجة للموارد. لكن ما هو سر هذه التقنية؟ يأتي استبدال المعلمات باستخدام LoRA، وهو نظام يوفر موصلات قابلة للتدريب بشكل مضغوط.

ومع ذلك، تواجه هذه التقنيات ما يعرف ببارادوكس الرتبة - حيث أن زيادة رتبة LoRA تعزز من قدرة الموصل، ولكنها تؤدي أيضاً إلى إرباكات في قياسات البعد المرتبطة بالاعتبارات الفنية الخاصة بها.

تكشف الأبحاث أن المشكلة تكمن في قياس topology بدلاً من الحاجة لوجود فضاء فرعي خارجي. يقوم LoRA بتحطيمه إلى ذرات ذات رتبة متطابقة $1$، مما يوفر مدخلات عميقة لآلية السيطرة على الأداء.

تستعرض دراسة حديثة كيفية استخدام AR1-ZO من خلال جمع استفسارات ذرات الرتبة-1 وتقنيات قياس واعية بالتtopology، مما يستعيد إشارة نشطة غير معتمدة على الرتبة دون الحاجة لأسس مساعدة أو تقديرات انحناء.

نتائج التجارب على نماذج OPT وQwen3 تظهر أن AR1-ZO فعالة جداً ضمن ميزانيات استفسار ZO التي تعتمد على جولتتين أماميتين، مما يحقق نتائج مثمرة في الوصول للأداء المثالي.

هذا التحول في استراتيجيات تحسين نماذج اللغة الكبيرة يفتح أمامنا آفاق جديدة، هل أنتم مستعدون لاستكشاف المزيد حول عالم الذكاء الاصطناعي؟