تزايد الاعتماد على نماذج اللغات الضخمة (Large Language Models) في مجالات حيوية، يتطلب منا إعادة النظر في استراتيجيات تقييم هذه النماذج. في هذا السياق، يبرز البحث الجديد الذي يرصد استقرار هذه النماذج تحت تأثير الظروف الغامضة والانحرافات.

تم تقديم إطار مستوحى من الديناميكا الحرارية لتحليل استقرار مخرجات نماذج اللغات الضخمة، حيث يتجاوز هذا الإطار أساليب التقييم التقليدية التي تركز فقط على دقة الأداء الإجمالية.

يضم هذا النموذج الجديد مقياس استقرار مركب يدمج بين فائدة المهام، والانتروبيا كمقياس للغموض الخارجي، واثنين من المؤشرات الهيكلية الداخلية: التكامل الداخلي والقدرة الانعكاسية المتوافقة.

بدلاً من اعتبار هذه الكميات كمتغيرات فعلية، يهدف النموذج إلى تقديم تجريد يمكن تفسيره يوضح كيف يمكن للهياكل الداخلية أن تؤثر على سلوك النموذج في حالات الاضطراب.

باستخدام بروتوكول IST-20 لقياس الأداء، تم تحليل 80 ملاحظة نموذج ضمن أربعة نماذج لغوية حديثة. وقد أظهرت النتائج أن النموذج المقترح يقدم درجات استقرار أعلى بشكل متسق، مع تحسين متوسط قدره 0.0299. وكانت المكاسب ملحوظة بشكل أكبر في ظل ظروف عالية من الانتروبيا، مما يشير إلى قدرة النموذج على التخفيف غير الخطي من آثار الغموض.

هذا الإطار يسعى إلى تعزيز المناقشات حول أمان الذكاء الاصطناعي، موفرًا منظورًا شاملًا يجمع بين الغموض والأداء والبنية الداخلية. يهدف إلى التكامل مع مناهج القياس الموجودة، مما يسهل فهم أمان وموثوقية هذه النماذج الهامة.