تحليل مثير لتأثير استراتيجيات تحسين نماذج اللغات الضخمة على سلوكها التفسيري في الامتثال البرمجي

في عالم الذكاء الاصطناعي، أصبحت نماذج اللغات الضخمة (Large Language Models) محور اهتمام الباحثين في مجالات متعددة، وخاصةً في مجال الامتثال البرمجي. لكن، غالبًا ما يتم التعامل مع هذه النماذج كصناديق سوداء، حيث تركز الأبحاث السابقة على أدائها دون استكشاف كيف تؤثر قرارات التدريب على سلوكها التفسيري.

تسعى الورقة الحالية إلى سد هذه الفجوة من خلال إجراء تحليل نسب التأثير المعتمد على الاضطرابات (perturbation-based attribution analysis)، لمقارنة سلوكيات نماذج اللغات الضخمة تحت استراتيجيات تحسين مختلفة مثل التحسين الكامل (Full Fine-Tuning - FFT) وتحسين التكيف المنخفض الرتبة (Low-Rank Adaptation - LoRA) وتحسين LoRA الكمي.

تشير النتائج إلى أن تقنية FFT توصلت إلى أنماط تأكيد ذات دلالة إحصائية أعلى وأكثر تركيزًا مقارنةً بأساليب التحسين الكفؤ من حيث المعاملات. كما كشفت الدراسة أنه مع زيادة حجم النموذج، تطور سلوكيات تفسيرية معينة، مثل أولويات القيود الرقمية وعوامل تحديد القواعد في النص المُنشأ. ومع ذلك، لوحظ أن تحسينات الأداء في التقارب الدلالي للقاعدة المولدة ومرجع البرمجيات تتوقف عند الموديلات الأكبر من 7 مليار معامل.

تعد النتائج المستخلصة من هذه الدراسة مهمة للغاية، حيث تقدم رؤى ضرورية لدعم مفهوم شفافية هذه النماذج في سياقات حاسوبية حرجة، مما يساعد في بناء نماذج أكثر وضوحًا للتطبيقات التنظيمية في قطاعات الهندسة المعمارية والإنشاءات.