مع تزايد الاعتماد على نماذج اللغة الكبيرة (Large Language Models) في التطبيقات الذكية، تطلقت الحاجة إلى كفاءة أعلى وعملية تحسين تتناسب مع التحديات الجديدة. تقدم النظرية الحديثة، المسمّاة "Sparsity Evolution Fine-Tuning (SEFT)", صيغة ثورية لضبط هذه النماذج بكفاءة أكبر.

إن نماذج اللغة الكبيرة ذات الطيف الضئيل تأتي كمفهوم جاذب في سياق نشر التطبيقات بكفاءة، ولكنها غالباً ما تواجه صعوبات في التكيف مع المهام المتنوعة. تكمن المشكلة الرئيسية في كيف يمكن تكيف هذه النماذج دون التضحية بمزايا الكفاءة الناتجة عن قلة الكثافة. تقنيات الضبط السابقة لم تكن مثالية في هذا المجال، حيث كانت إما تضيف معلمات كثيفة إضافية أو تفترض تخطيطاً ثابتاً للهيكل النادر، مما يقلل من توافقها مع نماذج اللغة الكبيرة ذات الطيف الضئيل.

يسعى SEFT لتغيير هذا السيناريو من خلال السماح بتطور الهيكل النادر أثناء عملية الضبط، حيث يقوم بإعادة تخصيص التحديثات الخاصة بالمهام نادرة التركيب بشكل دوري. كما يُعيد تفعيل الأوزان التي تم إبعادها سابقاً عند الحاجة، مما يعزز الأداء في المهام المستهدفة.

تظهر التجارب التي أُجريت على نماذج LLaMA وDeepSeek وMistral عبر العديد من المعايير، أن SEFT يعزز الأداء بشكل ملحوظ، موفراً كفاءة من حيث الذاكرة والوقت مقارنةً بالنماذج السابقة.

للتعمق أكثر، يمكنكم زيارة كود المشروع المتاح للجمهور عبر [https://github.com/QiaoXiao7282/SEFT]. انضموا إلى النقاش حول كيف يمكن أن تغير هذه التقنية مستقبل نماذج اللغة الكبيرة!