تعد مسألة تقييم متانة نماذج اللغة الكبيرة (LLMs) واحدة من أهم التحديات الحالية في مجال الذكاء الاصطناعي. نحن إذًا أمام دراسة جديدة تُظهر كيف تتفاعل هذه النماذج مع التغيرات الدقيقة في بيانات الإدخال. في هذا البحث، يتم تقييم متانة النماذج عبر عدة أبعاد، بما في ذلك معدل الأخطاء في الكلمات، وتكرار الحروف، وتغييرات الاختيارات.

للقيام بذلك، تم إعداد مجموعة بيانات اصطناعية ومعززة تحتوي على مجموعة متنوعة من معايير نماذج اللغة، وتركز بشكل خاص على اختبارات الأسئلة متعددة الخيارات (MCQ) والمهام التي تتبع التعليمات. تمت تجربة نماذج من مختلف المقاييس، بدءًا من النماذج الصغيرة إلى الكبيرة، وكذلك الأنواع المعتمدة على الأساس والتوجيه.

تكشف النتائج التي تم تحليلها عن تباين في استجابة النماذج تحت ظروف مختلطة، مما يسلط الضوء على التناقضات بالمقارنة مع النماذج الأساسية. تُعتبر هذه النتائج ذات أهمية كبرى، حيث تسهم في تطوير نماذج لغة أكثر موثوقية وطرق تقييم أكثر صلابة، مما يعد خطوة مهمة نحو تحسين الذكاء الاصطناعي بشكل عام.