تعتبر نماذج اللغات الكبيرة (LLMs) من أبرز الابتكارات في مجال الذكاء الاصطناعي، حيث تتطلب معالجة كبيرة للبيانات. ومع تزايد الحاجة إلى تحقيق كفاءة أعلى، أصبح ضغط هذه النماذج ضرورة ملحة. ومع ذلك، فإن الضغط الأحادي التقليدي عبر تقنيات مثل تقليم المعلمات الثابت (static parameter pruning) أو حساب مستوى الرمز الديناميكي (dynamic token-level computation) قد يؤديان إلى تدهور سريع في الأداء بعد تجاوز حدود معينة من الفراغ.

في هذا السياق، طرح الباحثون سؤالًا مهمًا: هل يمكن أن يؤدي دمج هذين الآليتين إلى التأخير في تدهور الأداء من خلال توزيع عبء الضغط؟

هذا البحث يستكشف إطار عمل مبتكر للفراغ المركب يتضمن تطبيق تقنيات مثل تقريب الرتبة المنخفضة (low-rank approximation) وتقليم القنوات (channel pruning) من أجل الحصول على هيكل خلفي مضغوط بشكل ثابت، حيث تُدخل بعد ذلك أجهزة توجيه خفيفة الوزن (lightweight routers) لتمكين تخطي الطبقات الديناميكي لكل رمز بشكل فردي. تتيح هذه التصميمات التحكم المستقل في فراغ المعلمات ودرجة حساب الرموز.

أظهرت التجارب عبر مجموعة من اختبارات فهم اللغة ونمذجتها أن الفراغ المركب يتفوق بشكل مستمر على طرق الضغط الأحادية تحت نفس مستوى الفراغ الكلي، مما يؤخر نقطة الانهيار في مهام الفهم ويحافظ على أداء النمذجة. كما يكشف التحليل الإضافي عن تدخل عبر الأبعاد بين تقليم المعلمات وتخطي الرموز، مما يوضح أن التوزيع المتوازن تقريبًا هو الأكثر فاعلية ضمن ميزانية فراغ ثابتة.

تؤكد هذه النتائج أن الضغط المركب يوفر وسيلة عملية لتحسين ضغط نماذج اللغات الكبيرة، بينما تكشف عن حدود أوسع للفراغ عبر الأبعاد التي تحد من مزيد من الضغط. سيتم توفر الكود المعني على GitHub.
ما رأيكم في هذا التطور في تقنيات ضغط البيانات؟ شاركونا آراءكم في التعليقات!