في عالم الذكاء الاصطناعي، تواصل الأبحاث السعي نحو تحسين أداء نماذج التعلم الآلي. إحدى التحديات الرئيسية التي تواجه نماذج اللغات الضخمة (Large Language Models) أثناء عملية التعديل الفيدرالي (Federated Fine-Tuning) هي العبء الحوسبي الكبير. في هذا السياق، برز مفهوم "التعلم المنقسم" (Split Learning) كحل واعد، حيث يقوم بنقل عبء التدريب الأساسي إلى خادم قوي.

ومع ذلك، فإن التعلم المنقسم يتطلب تبادل تفاعلات ودرجات عالية الأبعاد بين العملاء والخوادم، مما يؤدي إلى التكاليف الباهظة للاتصالات. هنا تأتي أهمية "SplitLite" التي تمثل أسلوبًا جديدًا ومبتكرًا لتقليل هذه التكاليف.

تستفيد SplitLite من الترتيب الفعال المنخفض (Low-Rank Structure) للحدود المتبقية للنشاطات والدرجات عبر فترات متتالية. تشير النتائج الأساسية إلى أنه عند استخدام LoRA لالتحديثات ذات الرتبة $r$ في فضاء المعلمات، فإن الحدود المتبقية للنشاطات والدرجات لنفس عينة البيانات بين الفترات المجاورة تظهر أيضًا هياكل ذات رتبة فعالة تساوي $2r$ و$4r$ على التوالي.

من خلال الاستفادة من هذه الخاصية، تقوم SplitLite بنقل عوامل تحليل القيم الفردية (SVD) المختزلة المكممة فقط، مما يؤدي إلى تقليل كبير في حركة البيانات لتفاعلات النشاط والتحميل للدرجات. التجارب التي تم إجراؤها على معيار GLUE عبر مجموعة من نماذج اللغات الكبيرة متعددة الاستخدامات أثبتت أن هذه الطريقة تستطيع تقليل تكاليف التواصل للتحميل بنسبة تصل إلى 93.5% وتكاليف التواصل الإجمالية بنسبة تصل إلى 83.7%، مع المحافظة على الأداء.

هذا الإنجاز يعزز من إمكانية تطوير نماذج الذكاء الاصطناعي بشكل أكثر كفاءة، ويعطي أملًا كبيرًا في تقليل التكلفة المرتبطة بتدريب النماذج الكبيرة على الأجهزة الذكية. كيف يمكن أن يؤثر ذلك على مستقبل الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات.