في عالم الذكاء الاصطناعي، تبرز نماذج OpenPangu كأداة قوية لنشر نماذج لغوية ضخمة في البيئات الخاصة والمحلية. ومع ذلك، لم يُحلل حتى الآن مدى قدرتها على التحمل تحت ضغط كيفية ضغط ما بعد التدريب على وحدات المعالجة من نوع Ascend NPUs والتي يقدّمها العملاق التكنولوجي Huawei.

تحمل هذه الورقة دراسة شاملة على نماذج OpenPangu بحجم 1 مليار و7 مليارات وحدة. قمنا بتقييم تقنيات ضغط متعددة، منها RTN وGPTQ وAWQ وSmoothQuant وGPTAQ وBiLLM وSliM-LLM، ضمن بروتوكول موحد للتقييم والمعايرة.

وعلى مدار 18 مهمة تقييم، أظهرت النتائج أن ضغط الوزن بدقة 8 بت حديثاً كان فعّالاً ودون خسائر لنموذجَي OpenPangu، في حين أن ضغط الوزن بدقة 4 بت كان عملياً بالنسبة للنموذج بحجم 7 مليارات، لكنه أثّر سلباً على النموذج بحجم 1 مليار عندما يتعلق الأمر بمهام متعددة مثل المنطق، الرياضيات، والبرمجة.

يبقى التحدي الكبير هو تحقيق ضغط شديد الدقة: إذ ان معظم تعديلات الـ 2 بت والتعديلات الثنائية انهيار أدائها إلى سلوك عشوائي تقريباً، بينما عاش اختبار SmoothQuant بنموذج W4A4 خيبة أمل حيث أظهر نتائج غير منتهية أثناء تقييمه.

تُسلط هذه الدراسة الضوء على خريطة دقيقة لاختيار إعدادات ضغط OpenPangu وتؤكد على الصعوبات المستمرة المتعلقة بالضغط الشديد في ذات البتات.