في عالم الذكاء الاصطناعي، يعد تحسين نموذج اللغة الكبيرة (LLM) أمراً حيوياً للحصول على أداء مرتفع وكفاءة في التدريب. وقد أثبتت تقنية عدم إسقاط الطبقات (Layer Dropout) أو ما يُعرف باسم (Stochastic Depth) فعاليتها في تعزيز سرعة التدريب ودقة النماذج، فضلاً عن مواجهتها لتحديات تقليم الطبقات دون عبء كبير على الأداء.

عبر مرور الوقت وتزايد أهمية البيانات ونماذج الذكاء الاصطناعي، بدأنا نراهن على تقنيات جديدة لتحسين أداء هذه النماذج. في السنوات الأخيرة، تم إهمال تقنية عدم إسقاط الطبقات في الوصفات الأساسية لتدريب نماذج اللغة الكبيرة، وهو ما يمثل خسارة كبيرة.

وفقاً لدراسة حديثة، تم تحديد أن عدم إسقاط الطبقات يجب أن يكون جزءاً أساسياً من تدريب تلك النماذج المتطورة. حيث إن استخدام توزيع طبقات مثالي، وجدول زمني ملائم، وكذلك ضبط معلمات المحسّن، يساعد في تقليل الخسارة بقدر كبير. في تجارب التدريب، لاحظ الباحثون أن هذا النهج يمكن أن يوفر وفورات تصل إلى 25% في FLOPs (عدد العمليات العائمة في الثانية)، مما يتيح للنماذج تحقيق أو الحفاظ على انخفاض مماثل في الخسارة أثناء التحقق، في عدد محدد من خطوات التدريب.

الأكثر إثارة للإعجاب، أن تقنية عدم إسقاط الطبقات تسهم في تحسينات ما بعد التدريب، مثل السماح بالخروج المبكر (Early Exit) وتخطي الطبقات الوسيطة، مما يؤدي إلى تسريع عمليات الاستنتاج (Inference) بنسبة تصل إلى 1.5 مرة مع فقدان دقة ضئيل.

نُفذت جميع التجارب قبل التدريب على أنظمة Cerebras CS-3، حيث تم فحص أكثر من 2400 تجربة تدريب، شملت نماذج تتراوح من 271 مليون إلى 8.2 مليار معلمة، وبيانات تصل إلى 160 مليار توكن.

هذا التوجه الجديد في الاستفادة من عدم إسقاط الطبقات يوفر فرصة عظيمة للباحثين والمطورين لتحسين أنظمة الذكاء الاصطناعي في المستقبل. هل سيكون هذا الاتجاه هو مفتاح النجاح في تطوير نماذج قادرة على التعامل مع التحديات الكبرى؟ شاركونا بآرائكم في التعليقات!