الضغط على نماذج الذكاء الاصطناعي: الكشف عن انحيازات غير مرئية في نماذج لغوية مضغوطة!

في عالم الذكاء الاصطناعي، تُستخدم [نماذج [اللغة](/tag/اللغة) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الكبيرة) (Large Language [Models](/tag/models)) بشكل متزايد للقيام بمهام معقدة، ولكنها تتطلب عادة قدرًا كبيرًا من الموارد. لذا، يتم ضغط هذه [النماذج](/tag/النماذج) [عبر](/tag/عبر) [تقنيات](/tag/تقنيات) الضغط بعد [التدريب](/tag/التدريب) (Post-Training [Quantization](/tag/quantization)) لتقليل تكلفة [الاستدلال](/tag/الاستدلال) والحفاظ على الذاكرة، ولكن أثر هذه الضغوطات على جودة [النماذج](/tag/النماذج) لا يزال غير مفهوم جيدًا.

تشير [دراسة](/tag/دراسة) حديثة أجراها [فريق](/tag/فريق) من [الباحثين](/tag/الباحثين) إلى أن [تقنيات](/tag/تقنيات) الضغط قد تؤدي إلى ظهور [انحيازات](/tag/انحيازات) جديدة وغير مرئية عند استخدام [دقة](/tag/دقة) منخفضة (Low Precision)، حيث اختبر الباحثون ثلاثة [نماذج](/tag/نماذج) مُعدلة (Qwen2.5-7B، [Mistral](/tag/mistral)-7B، Phi-3.5-mini) [عبر](/tag/عبر) خمس مستويات [دقة](/tag/دقة) مختلفة (من BF16 حتى 3 بت) وعلى [مجموعة بيانات](/tag/مجموعة-[بيانات](/tag/بيانات)) تحتوي على 12,148 عنصر تختبر [انحيازات](/tag/انحيازات) اللغة، مما أسفر عن [نحو](/tag/نحو) 911,100 سجل [استدلال](/tag/استدلال).

النتائج كانت مدهشة؛ حيث أظهرت أن [ضغط النموذج](/tag/ضغط-النموذج) إلى [دقة](/tag/دقة) 3 بت يمكن أن يؤدي إلى زيادة تتراوح بين 6% و21% في العناصر التي كانت خالية من الانحيازات سابقًا، مما يعكس نمطًا واضحًا من الاستجابة عند زيادة الضغط، بينما تراجعت رغبة [النماذج](/tag/النماذج) في اختيار إجابات "غير معروفة" بنسبة 17.4%. ما هو أكثر إثارة للاهتمام هو أن التحليلات التقليدية لم تُظهر أي [تغييرات](/tag/تغييرات) كبيرة، حيث زادت درجة التعقيد ([Perplexity](/tag/perplexity)) بأقل من 0.5% في [دقة](/tag/دقة) 8 بت وأقل من 3% في 4 بت على جميع [النماذج](/tag/النماذج).

هذا يدل على أن القياسات المجمعة لا تستطيع التقاط الانزلاق الحرج [نحو](/tag/نحو) عدم العدالة، مما يعزز الحاجة إلى [تطوير](/tag/تطوير) [بروتوكولات](/tag/بروتوكولات) ضغط واعية للجودة والتي تختبر بشكل صريح ظهور الانحيازات قبل [نشر النماذج](/tag/[نشر](/tag/نشر)-[النماذج](/tag/النماذج)) في [بيئات حقيقية](/tag/بيئات-حقيقية). ماذا يعني ذلك للضرورات الأخلاقية في [الذكاء الاصطناعي](/tag/الذكاء-الاصطناعي)؟ الأمر يتطلب منا [التفكير](/tag/التفكير) بعمق.

ما رأيكم في هذا التطور؟ شاركونا في [التعليقات](/tag/التعليقات).