تسعى باستمرار تقنيات الذكاء الاصطناعي إلى تحسين كفاءتها وتقليل حجمها، خصوصاً في إطار نماذج اللغات الكبيرة (Large Language Models). وفي هذا السياق، تم تقديم تقنية جديدة تُعرف باسم CoCurve، التي تتيح تقليص حجم هذه النماذج عبر عملية يُطلق عليها اسم التجفيف الهيكلي (Structured Pruning).

تقنية CoCurve تعتمد على إزالة وحدات حسابية كاملة، مثل رؤوس الانتباه (Attention Heads) ومجموعات قنوات التغذية الأمامية (Feed-Forward Networks). ومع ذلك، فإن معظم الطرق الحالية التي لا تعتمد على التدريب تعالج الوحدات بشكل مستقل، مما يؤدي إلى فقدان بعض العلاقات المهمة بين هذه الوحدات.

تعتبر وحدات Transformer، على سبيل المثال، مُترابطة بحيث أن وحدة ضعيفة بمفردها قد تكون ضرورية عندما تعمل مع وحدة أخرى. هذه الهيكلية تبرز أهمية تقييم التأثير المشترك لوحدتين بدلاً من التعامل مع كل منهما بمفردها.

مع دخول CoCurve، يتم استخدام نهج مبتكر يتمثل في توسيع تايلور من الدرجة الثانية لتقييم العلاقة بين النموذج المجمد ونسخته المقنعة. يُنتج هذا نهجاً مميزاً يُعرف بمصفوفة فيشر، حيث توفر العناصر غير القطرية معلومات حول منحنيات التأثير المشترك بين وحدات معينة، مما يمكن الباحثين من تطبيق تقنيات تخفيض أكثر دقة وكفاءة.

تتميز هذه التقنية بأنها تتطلب فقط عملية تحقق بسيطة للغاية، مما يعني أن كفاءة النموذج يمكن أن تُحسن دون الحاجة إلى تعديلات معقدة أو بيانات إضافية. تمثل هذه التطورات خطوات كبيرة نحو جعل نماذج الذكاء الاصطناعي أكثر فعالية وسرعة في الأداء، وبالتالي تسهّل تطبيقها في شتى المجالات.

ما رأيكم في تلك التقنية؟ هل تعتقدون بأنها ستغير مجرى تطوير نماذج الذكاء الاصطناعي الكبيرة؟ شاركونا في التعليقات!