ثورة في تقنيات ضغط نماذج اللغة الكبيرة: إزالة الكتل بطريقة مبتكرة

في عالم الذكاء الاصطناعي، تعد نماذج اللغة الكبيرة (Large Language Models) من أهم الابتكارات التي شهدتها التكنولوجيا الحديثة. ومع تزايد الحاجة إلى تحسين كفاءة هذه النماذج، قدم الباحثون طريقة جديدة ومثيرة للاهتمام لضغط تلك النماذج عبر حذف الكتل (Block Removal).

تتضمن هذه الطريقة تحويل عملية ضغط النماذج إلى مشكلة تحسين ثنائي مقيد (Constrained Binary Optimization - CBO) يمكن تحليلها باستخدام نظام فيزيائي معروف يسمى Ising glass. يعتمد هذا النظام على طاقة المعلومات التي يمكن أن تعكس أداء النموذج في المهام المستقبلية بشكل قوي.

من خلال هذا الأسلوب، تمكن الباحثون من تصنيف عدد كبير من تكوينات حذف الكتل بشكل فعال، مما أدى إلى إيجاد العديد من الحلول الجيدة وغير التقليدية، بعيدة المنال بالنسبة للأساليب التقليدية التي تركز على حذف مناطق متتالية فقط.

في مجال ضغط النماذج، أظهرت هذه التقنية فعالية كبيرة، مثل تحقيق ضغط بنسبة 50% لنموذج Llama-3.3-70B-Instruct، مما أدى إلى زيادة تصل إلى 23 نقطة مئوية في اختبار MMLU مقارنةً بأساليب الضغط الحديثة الأخرى. كما أثبتت فعالية متوازنة في عمليات الضغط الخفيفة لنماذج أخرى مثل Llama-3.1-8B-Instruct وQwen3-14B.

هذه المقاربة ليست فقط فعالة من الناحية الحاسوبية، بل تتطلب أيضاً تمريرات أمامية وخلفية على مجموعة بيانات للمعايرة مع القليل من المعلمات النشطة. كما أظهر الباحثون أن استخدام حلول تجريبية جيدة لمشكلة CBO يوفر أداءً جيداً في المهام المستقبلية مع وقت تشغيل ضئيل في حال كانت الحلول الدقيقة غير ممكنة.

من المثير للاهتمام أن هذه الطريقة يمكن تطبيقها بسهولة على أي بنية معمارية، حيث تم اختبارها بنجاح على نموذج NVIDIA-Nemotron-3-Nano-30B-A3B-FP8، الذي يتمتع بهيكل كتل صعب وغير متجانس، حيث تفوقت الطريقة على أحدث تقنيات الضغط في اختبارات AIME25 وGPQA عند حذف طبقتين من الانتباه أو ثلاث طبقات من مزيج الخبراء.

نتطلع إلى مستقبل مشرق في مجال ضغط نماذج اللغة الكبيرة، فهل ستكون هذه الطريقة هي المفتاح لكفاءة أعلى في تطبيقات الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات.