تحديات قص الطبقات في نماذج اللغات الضخمة: كيف يؤثر على قدرات التفكير الإبداعي؟

في عالم الذكاء الاصطناعي، خاصةً مع تزايد الاعتماد على نماذج اللغات الضخمة (Large Language Models)، يأتي البحث في تقنيات جديدة لتقليل حجم تلك النماذج من دون التأثير الكبير على الأداء. إحدى هذه التقنيات هي "قص الطبقات" (Layer Pruning) التي أظهرت قدرة مدهشة على تقليص حجم النماذج مع الحفاظ على مستوى عالٍ من التأدي performance. لكن، ماذا عن المهام الإبداعية التي تتطلب تفكيراً أكثر تعقيداً؟

أظهر بحث حديث أنه رغم أن قص الطبقات يمكن أن يحسن من أداء نماذج اللغات في مهام التصنيف، إلا أن هناك تراجعًا ملحوظًا في الأداء عند تنفيذ مهام التفكير الإبداعي مثل GSM8K وHumanEval+. ويعزى ذلك إلى فقدان نماذج القُص (pruned models) للقدرات الأساسية التي تمكنها من إجراء عمليات حسابية معقدة أو توليد أقواس متوازنة.

استخدم الباحثون GPU بسعة 80 جيجابايت، مع قيود ما بعد التدريب، لتقييم استراتيجيات الاستعادة، حيث توصّلوا إلى أن عملية تعديل بسيطة على نماذجهم قادرة على استعادة ما يصل إلى 90% من الأداء الأساسي في مهام التصنيف. لكن في الجانب الآخر، كان الاستعادة في مهام التفكير الإبداعي محدودة.

كما خلُص الباحثون إلى أن هذه الفجوة الأداوية لا تختفي حتى في بيئات الاسترجاع المثلى، ما يوضح أن الانخفاض ليس نتيجة بيانات تعليمية عامة أو تعديل جزيء بالكفاءة. وعند تحليل نموذج قُص بعمق مُدرب بتكامل مقارب لـ 100 مليار توكن، وُجدت العيوب مستمرة حتى في المهام الحسابية البسيطة.

يقدم هذا البحث تحليلاً مفصلًا لحدود فعالية قص الطبقات في سياق التفكير الإبداعي ويقدم إرشادات حول متى يمكن أن يكون تقليل العمق فعالاً تحت قيود ما بعد التدريب.