في عصر تتزايد فيه استخدامات المساعدات الذكية في مجالات حيوية مثل الرعاية الصحية والخدمات الحكومية، بات من الضروري فهم سلوك هذه النماذج بعيداً عن الظروف التجريبية الأكاديمية. ولتلبية هذه الحاجة، تم تقديم مفهوم جديد يُدعى StabilityBench.

تُعتبر **StabilityBench** إطار عمل مبتكر يهدف إلى تحسين طرق قياس الأداء لنماذج اللغات الضخمة (Large Language Models) من خلال تجاوز التقييمات السابقة، والتي كانت تتمحور حول اختبارات أحادية غير تفاعلية. يُحول StabilityBench تلك الاختبارات إلى تجارب تفاعلية متعددة الجولات، مما يعكس المزيد من تعقيدات التفاعل البشرى.

وهو إذ يستفيد من محاكاة المستخدمين من خلال استعمال نماذج سكانية أو تحديات تحفيزية، فإنه يُحافظ على نية المهمة الأصلية. تم تطبيق StabilityBench على أربعة مجالات تقييم تتضمن القدرات الرياضية والإجابة على الأسئلة في الصحة والأمان، حيث تم اختبار تسعة نماذج لغوية ضخمة تحت هذه الظروف الجديدة.

النتائج كشفت عن عدم استقرار ملحوظ في الأداء تحت تلك الظروف، حيث لوحظ تدهور كبير في الأداء في ثلاثة من أربعة معايير تم دراستها. هذه النتائج تبرز القيود المهمة للاختبارات الثابتة، وتدفع نحو الحاجة إلى أساليب تقييم أكثر واقعية. وفي هذا السياق، تم اقتراح **StabilityBench-Mini**، وهو نسخة متقاربة بالحجم تهدف إلى عينة عبر محاور التنوع، مما يوفر مجال تقييم أكثر واقعية دون تكلفة إضافية.