تأثير تقليل الوزن على تعميق التحيز في نماذج الذكاء الاصطناعي: دراسة متعددة الأساليب

في عالم الذكاء الاصطناعي، يُعتبر تقليل الوزن (Weight Pruning) استراتيجية شائعة لتطبيق نماذج اللغات الضخمة (Large Language Models) على الأجهزة المحدودة الموارد، إلا أن تأثير هذه التقنية على نزاهة النماذج لا يزال غير مفهوم بالكامل. أجرى فريق من الباحثين دراسة تجريبية محكمة على ثلاثة نماذج مستخدمة في التعليم والإرشاد، وهي: Gemma-2-9b-it وMistral-7B-Instruct-v0.3 وPhi-3.5-mini-instruct، وتم تقييمها من خلال ثلاث أساليب للتقليل (Random, Magnitude, Wanda) وبتحديات متفاوتة في الكثافة (10-70%).

استندت الدراسة إلى 12,148 عنصر من معيار التحيز BBQ، مُعالجة 2,368,860 سجل استنتاج باستخدام 5 بذور عشوائية. وكشفت النتائج عن ما يسمى ببارادوكس التقليل الذكي (Smart Pruning Paradox): فعلى الرغم من أن تقليل الوزن المعتمد على التفعيل (Wanda) يحافظ على اتساع النموذج بشكل شبه كامل، إلا أنه يُنتج أعلى مستويات من زيادة التحيز، إذ ارتفعت نسبة الاعتماد على الأنماط التحولية بنسبة 83.7%، وشهد 47-59% من العناصر الخالية من التحيز تطور سلوكيات نمطية جديدة عند 70% من الكثافة.

وعلى النقيض، فإن طريقة التقليل العشوائية تدمر القدرة اللغوية كلياً، إذ بلغت قيمة الارتباك (Perplexity) أكثر من $10^4$، لكنها تُظهر تحيزًا عرضيًا فقط. كما أظهرت النتائج أن التقليل غير المنظم لا يوفر أي توفير في التخزين أو تقليل في زمن الاستدلال على الأجهزة النمطية، مما يضعف المحفز الأساسي لاستخدامه في نشر تقنيات إنترنت الأشياء (IoT).

من بين 180 مقارنة بين النماذج الكثيفة والمخفضة، كانت 141 (78.3%) ذات دلالة إحصائية ($p < 0.05$) بمتوسط $|h| = 0.305$. تشير الدراسات التي تم نشرها حول التقليل الكمي إلى أن 21% من الاستجابات شهدت تغيرات بين حالات متحيزة وغير متحيزة؛ وبينما تظهر نتائج التقليل لدينا معدلات انتقال تقارب ثلاثة أضعاف (47-59%).

تظهر هذه النتائج أن التقييم القائم على الارتباك يوفر ضمانات كاذبة حول المساواة السلوكية، وأن عمليات نشر تقنيات إنترنت الأشياء تتطلب تقييمًا واعيًا للتحيز قبل الاستخدام الفعلي للنماذج المخفضة.