في عالم الذكاء الاصطناعي، تبرز الحاجة الملحة للتكيف الآمن والفعّال لنماذج اللغات الكبيرة (Large Language Models). من هنا، قد تم طرح نموذج PreLort كحل واعد لتحديات التكيف الفيدرالي (Federated Fine-Tuning) عبر اعتماد أسلوب مبتكر يعتمد على المُعَدّلات ذات الرتبة المنخفضة (Low-Rank Adaptation).

تقدم هذه التقنية نموذجًا تم تصميمه ليفي بجميع احتياجات تكيف نماذج اللغات مع الحفاظ على الخصوصية، خاصةً في ظل تنوع الموارد الحاسوبية بين العملاء. فالنماذج الحالية قد تعاني من صعوبة التوافق عند محاولتها دمج معلومات من عملاء باستخدام معايرات بعدد رتب مختلفة، مما يؤدي إلى خسائر في جودة المعلومات.

ولكن ماذا يميز PreLort عن غيره؟ يتمتع هذا النموذج بأنه يقوم بتنظيم أبعاد المُعَدّلات ضمن هيكل هرمى. الأبعاد ذات الرتبة المنخفضة مصممة لتخزين المعلومات الأكثر صلة بالمهام، بينما الأبعاد ذات الرتبة الأعلى تعمل على الاحتفاظ بمساحة إضافية وقدرة أكبر. هذه الاستراتيجية تعمل على تحسين كيفية توزيع المعلومات، مما يسهم في زيادة الأداء العام.

تعمل الطريقة على تطبيق قاعدتي تجميع_segment-wise aggregation التي تضمن متوسط فقط بين العملاء الذين يساهمون في كل قسم من أقسام الرتبة، مما يضمن عدم تمييع البيانات من العملاء ذوي الرتبة المنخفضة. كما تم إدخال استراتيجية تدريب جديدة تركز على تحسين كل مُعَدّل تحت تعديلات متعددة على الرتبة.

تجاربنا أظهرت أن نموذج PreLort يتفوق على المنهجيات السابقة في دقة الأداء مع تقليل معدل التعقيد، مما يساهم في استخدام المعلومات بشكل أكثر كفاءة.

بمجمل هذا الابتكار، يمكن للعملاء ذوي الرتبة المنخفضة الاستفادة من المعلومات الغنية التي تقدمها الأنظمة ذات الرتبة الأعلى، مما يرفع من مستوى تفاعلهم ويعزز من النتائج النهائية.

فهل أنتم مستعدون لاستكشاف المزيد عن مثل هذه الابتكارات التي تعيد تعريف عالم الذكاء الاصطناعي؟