في عالم الذكاء الاصطناعي المتسارع، يسعى الباحثون دائمًا لتحسين كفاءة نماذج اللغة الكبيرة (Large Language Models) دون تقليل فعاليتها. في هذا السياق، تناولت دراسة جديدة موضوع ضغط النماذج من خلال تقديم نظام تحسين ثلاثي المستويات.

تستخدم هذه الدراسة طريقة تقسيم القيم الفردية لمصفوفات (SVD) بالشكل الذي يمنح أداءً مثالياً في معيار فروبينيوس المُبيض، لكن التحدي الحقيقي يظهر عند ضغط المصفوفات بشكل مستقل، مما يؤدي إلى تراكم الأخطاء في برامج التحويل.

استلهم الباحثون من أساليب تحسين متدرجة Hierarchical Variational Optimization المستخدمة في النماذج الكمومية، ليقوموا بتطوير سلسلة ثلاثية المستويات تتسع لتشمل تحسين المصفوفات الفردية، ثم الكتل، وأخيرًا النموذج الكامل. هذا ينطوي على مراحل تشمل تقنيات SVD المُبيض، تحسين مشترك للكتل، وتحسين فقدان نموذج اللغة من النهاية للنهاية.

عند تطبيق هذه الطريقة على نموذج LLaMA-7B بمعدل ضغط يصل إلى 60%، لوحظت تحسينات ملحوظة في أداء دقة الأداء حيث انخفضت درجة التعقيد (Perplexity) لنموذج WikiText-2 من 42.1 إلى 19.1، ثم إلى 11.4. ومن الجدير بالذكر أن مرحلة تحسين الكتل تعمل كمنظم؛ حيث skipping هذه المرحلة يؤدي إلى زيادة تعقيد Penn Treebank بشكل كبير.

تستمر هذه التحسينات عبر مدى ضغط من 20% إلى 80%، مع إمكانية تطبيقها على خمسة معماريات حتى 13B من المعلمات، مع ضمان الحفاظ على التوازن بين الدقة والتعقيد.

إذا تمكن المزيد من البيانات من تحسين دقة مرحلة الكتل، قد نشهد تقدماً أكبر في التطبيقات المستقبلية. وبالرغم من هذه التحسينات، تبقى دقة أسفل النماذج الكثيفة عند مستويات أقل، مما يسجل تحديات لا بد من التغلب عليها في المستقبل.