في إطار سعي التكنولوجيا لتحسين أساليب التعلم والتفاعل، تظهر تقنيات التعلم الفيدرالي (Federated Learning) كحل مذهل لتحسين نماذج اللغة الذكية (Large Language Models) عبر مصادر بيانات متعددة، مع ضمان الحفاظ على خصوصية البيانات. لكن يظل التحسين لهذه النماذج الكبيرة تحديًا كبيرًا، خصوصًا على الأجهزة ذات الموارد المحدودة.

تتركز عمليات تحسين النماذج الكبيرة حول الحاجة إلى تقدير الانحدارات باستخدام تقنيات تحسين من الرتبة الصفرية (Zeroth-order Optimization - ZO)، والتي تعتمد على تقديرات الانحدار عبر تقنيات التقريب. هذه العملية تستفيد من تغييرات عشوائية في معلمات النموذج، مما يوفر وسيلة للمضي قدمًا.

في مقال حديث، تم اقتراح طريقة جديدة تعتمد على تحسينات فعّالة تقلل من الطلبات الحسابية الضرورية، من خلال تقسيم النموذج إلى كتل متتالية وزيادة عدد التغييرات في الكتلة الثانية. بفضل هذه التقنية المبتكرة، يمكن استخدام تفعيل الوسيط بشكل فعّال لتحديث الشبكة بشكل كامل مع الحد الأدنى من التقييمات للأمام.

تظهر نتائج الاختبارات على نماذج مثل RoBERTa-large وOPT1.3B وLLaMa-3-3.2B تقليلاً في متطلبات الحوسبة يصل إلى ثلاث مرات مقارنةً بأساليب ZO الأخرى، مع الحفاظ على مزايا الذاكرة والاتصال مقابل تقنيات التعلم الفيدرالي من الرتبة الأولى. هذه التطورات تمثل خطوة مهمة نحو تحسين استخدام الذكاء الاصطناعي على الأجهزة البسيطة، مما يفتح آفاقًا جديدة في مجال التعلم الذكي.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.