في عالم نماذج الذكاء الاصطناعي، تبدو التكلفة المرتبطة بالمعلمات والذاكرة والحساب تحدياً كبيراً. لكن مع ظهور تقنية GRASPrune، تبدو الأمور واعدة أكثر!

تعتبر GRASPrune إطار عمل لصيانة ومعالجة النماذج اللغوية الضخمة (Large Language Models) يتم تطبيقها بعد مرحلة التدريب المبدئي. حيث تأخذ آلية هذه التقنية بعين الاعتبار تقليم قنوات الوحدات (FFN channels) ومجموعات الرؤوس (KV head groups) تحت ميزانية عالمية واحدة. بدلاً من الانتظار حتى نهاية التدريب لتقدير مدى أهمية كل عنصر، تدرب GRASPrune نقاط قوة خفيفة الوزن من خلال مصفوفة تحويل مباشرة، مما يضمن تطبيق القيد الميزاني في كل خطوة.

بعد تثبيت القناع (mask)، يتم تعديل عوامل التعديل على الوحدات المحفوظة لمواجهة أي اختلال في المقياس ناتج عن عملية التقليم، ليتم دمج هذه العوامل في الوزن المقلص للحصول على نقاط تحقق أقل كثافة وبلا أي معلمات إضافية عند الاستدلال.

عينّ خبراء التقنية نموذج LLaMA-2-7B لإجراء اختبارات على GRASPrune، حيث بينت النتائج إزالة 50% من المعلمات، محققة درجة 12.18 في مجموعة WikiText-2، وهذا بينما تحافظ على دقة متنافسة في خمسة معايير، كل ذلك باستخدام أربعة أحقاب على 512 تسلسلاً غير مؤرخ على وحدة معالجة الرسومات NVIDIA A100 بذاكرة 80 جيجابايت، ودون الحاجة إلى معايرة شاملة للنموذج.

باختصار، تمثل GRASPrune خطوة نوعية نحو تحقيق نموذج ذكاء اصطناعي أفضل من حيث الكفاءة والتكلفة، مما يمهد الطريق لاستخدام أوسع وأسهل لهذه التقنيات المبتكرة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.