في الأونة الأخيرة، زادت الحاجة إلى تحسين كفاءة نشر النماذج اللغوية الكبيرة (Large Language Models) نظرًا لاستخدامها الواسع في التطبيقات الحديثة. وفي هذا السياق، تم تقديم تقنية جديدة تُدعى SimDiff، التي تهدف إلى تحسين كفاءة نشر هذه النماذج من خلال تقليم الطبقات الزائدة.

تعتبر عملية تقليم العمق (Depth Pruning) واحدة من الأدوات الأساسية لتحقيق ذلك، إذ تعتمد على قياس التشابه بين الطبقات باستخدام مسافة جيب التمام (Cosine Distance). ومع ذلك، فقد أظهرت الدراسات أن الاعتماد فقط على هذا الأسلوب الأحادي الأبعاد قد يؤدي إلى نتائج غير متوقعة وأحيانًا انهيار كارثي في أداء النماذج عبر مختلف الهياكل المعمارية.

هنا يأتي دور SimDiff، مع معيار جديد لتقييم أهمية الطبقات، يعتمد على دائرتين مختلفتين: التشابه التمثيلي والفرق التحويلي. حيث يقوم SimDiff بتحديد الفرق باستخدام مقياسين متميزين: MSSD، الذي يكون حساسًا للقيم الشاذة ويحدد الطبقات التي تجري تصحيحات هامة، وMASD، الذي يقيس بشكل قوي متوسط مساهمة الطبقة.

أظهرت التجارب الواسعة على عدة نماذج تتراوح من 0.5 مليار إلى 13 مليار معلمة أن SimDiff يتفوق بشكل كبير على الأساليب التقليدية، حيث يحتفظ بأكثر من 91% من أداء نموذج LLaMA2-7B عند نسبة تقليم 25%، ويحقق زيادة تصل إلى 1.49 ضعف في سرعة الاستدلال عند تقليم 12 طبقة من LLaMA3.1-8B. كما أن النماذج التي تم تقليمها يمكن استعادة أدائها الفعّال بسهولة مع الحد الأدنى من التعديل.

إن هذه التقنية توعد بتحقيق خطوة كبيرة في تحسين كفاءة النماذج اللغوية، مما يمهد الطريق لمزيد من الابتكارات في الذكاء الاصطناعي. ما رأيكم في هذا التطور؟ شاركونا في التعليقات!