في خضم التحولات التكنولوجية السريعة، أصبحت كفاءة نماذج اللغات الكبيرة (Large Language Models) محط اهتمام بالغ، وذلك نظراً لزيادة الحاجة إلى تطبيقاتها في المجالات العملية. ومع الأساليب المتاحة مثل تقنيات تقليل التعقيد البنيوي (Structural Pruning) والتكميم بعد التدريب (Post-Training Quantization) التي أثبتت فعاليتها في تقليل استهلاك الذاكرة وتقصير وقت الاستدلال، هناك حاجة ماسة لتجاوز بعض القيود الحالية.

تاتي التقنيات التقليدية لتقليل التعقيد مع العديد من العيوب، حيث تعتمد معظم أساليب التكميم على تحسين الأخطاء على أساس كل طبقة على حدة، مما يؤدي إلى إغفال كيفية تراكم الأخطاء وانتشارها عبر الشبكة، غالبًا ما ينتج عن ذلك حلول دون المستوى المطلوب. بالإضافة إلى ذلك، تميل نقاط المعالجة التقليدية إلى تنفيذ تقنيات التقطيع والتكميم بشكل منفصل أو متسلسل، مما يزيد من تضخيم العيوب.

ردًا على هذه التحديات، تم تقديم إطار عمل حديث شامل يعمل على تحسين هذه الجوانب من خلال طريقتين رئيسيتين. أولاً، تم اقتراح استراتيجية تكميم مختلط الأداء بحيث تقلل من انتشار الأخطاء بشكل عالمي عبر النموذج بأكمله. بناءً على ذلك، تم تطوير نهج تحسين مشترك يتعلم في الوقت ذاته قرارات التقطيع البنيوي وسياسات التكميم المختلط ضمن مساحة بحث موحدة.

أظهرت التجارب المكثفة أن هذه الطريقة الجديدة، عند استخدامها دقة منخفضة للغاية تتراوح بين 1-3 بت، تقلل من تعقيد البيانات في WikiText بنسبة تصل إلى 21% مقارنة بالأساليب المتقدمة المستخدمة في وزني التفعيل. أما عند مقارنتها بأفضل طرق التكميم التي تركز فقط على الأوزان، فقد حققت انخفاضًا يصل إلى 59% و85% في تعقيد البيانات بالنسبة لـ WikiText وC4 على التوالي. وبالمقارنة مع تقنيات التقطيع والتكميم المتطورة، تقدم طريقتنا أداءً رائعًا في تعقيد البيانات والأداء التحليلي عند استخدام تقنيات بت منخفضة للغاية.

إذا كنت مهتمًا بالمستقبل المشرق لتقنيات الذكاء الاصطناعي، فلا تتردد في طرح آرائك. ما رأيكم في هذه الابتكارات؟ شاركونا في التعليقات!