في عالم الذكاء الاصطناعي، تواصل نماذج اللغات الضخمة (Large Language Models) إثارة الإعجاب بأدائها القوي والمرن عبر مجموعة متنوعة من المهام. ولكن يبقى تحدي التكلفة العالية للذاكرة والحوسبة عائقًا أمام نشر هذه النماذج. وهنا تأتي تقنية TriSP (Tri-Signal Structured Pruning) لتغيير قواعد اللعبة.

تعتمد TriSP على مبدأ إزالة الهياكل الكاملة، مثل رؤوس الانتباه (attention heads) وعصبونات الشبكات المتعددة الطبقات (Multi-Layer Perceptron - MLP)، مما يؤدي إلى إنشاء نماذج أصغر وأكثر كفاءة. هذه التقنية لا تهدف فقط إلى تقليل حجم النموذج، ولكن أيضًا لتحقيق أداء عالٍ.

تقنيات الازالة التقليدية إما تعتمد على تقديرات أهمية تستند إلى التدرجات، والتي تتطلب ذاكرة كبيرة، أو على مؤشرات إحصائية متعلقة بالتفعيل، والتي لا تقيس التأثير المباشر للإزالة على الخسارة (loss). ولم يتم حتى الآن دراسة التفاعل بين معايير الأهمية واستراتيجيات التعافي ما بعد الإزالة بشكل شامل.

تقدم TriSP مقياس أهمية يجمع بين مقدار الوزن (weight magnitude) مع معيار النشاط (activation norm) باستخدام الوسط الهندسي، مما ينتج عنه نقاط على مستوى القنوات تعكس كل من التأثير الهيكلي والحساسية للخسارة.

مع إدخال خصائص مثل تخصيص الميزانية التكيفية لكل طبقة (adaptive per-layer budget allocation) واعتماد التكيف منخفض الرتبة (Low-Rank Adaptation - LoRA)، تحقق TriSP أدنى مستوى من perplexity ودقة صفرية عالية عبر جميع التكوينات التي تم اختبارها، وصَلَت إلى مستوى perplexity يبلغ 6.80 عند نسبة إزالة 20% على نموذج LLaMA-7B. كما تحسن إنتاجية الاستدلال بنسبة 82% مع نسبة إزالة 50%، مع الحفاظ على أداء تنافسي.

هل ستمثل TriSP ثورة في تحسين نماذج الذكاء الاصطناعي؟ شاركونا آراءكم واستفساراتكم في التعليقات.