تكشف الأبحاث الحديثة في مجال الذكاء الاصطناعي (AI) أن عمليات التقييم التقليدية، والتي تركز غالبًا على قياس القدرات، قد لا تكون كافية لفهم السلوكيات المحتملة للنماذج. فعلى الرغم من استخدام طرق استجابة العناصر (Item Response Theory - IRT) لقياس كفاءة النماذج، إلا أن الجوانب السلوكية أو "الميول" تعد محورًا أساسيًا يحدد الأداء ونتائج السلامة.

يشرح الباحثون في دراستهم الجديدة الإطار الرسمي الأول لقياس هذه الميول باستخدام صيغ بيلوجيستية، حيث تم تقدير احتمالية النجاح للنموذج عندما تتواجد ميوله ضمن "نطاق مثالي". كما تم تقدير حدود النطاق المثالي بواسطة نماذج لغوية كبيرة (Large Language Models - LLMs) مزودة بمعايير جديدة غير مرتبطة بمهام محددة.

عند تطبيق هذا الإطار على ست عائلات من نماذج LLM، تمكن الباحثون من قياس مقدار انزياح ميولات النموذج وتأثير ذلك على الأداء في المهام. الأهم من ذلك، أن القيم المستنبطة من ميول النموذج أثبتت بأنها قادرة على التنبؤ بسلوكيات النموذج عندما يتم احتجاز بعض المهام.

يوضح هذا البحث كيف أن دمج قياسات الميول مع القدرات يوفر قوة تنبؤية أقوى من الاعتماد على أي منهما بشكل منفصل.

وهكذا، فإن هذا الإطار يقدم أداة جديدة لفهم كيفية أداء نماذج الذكاء الاصطناعي، مسلطاً الضوء على أهمية الميول بجانب القدرات في التقييم الشامل لفعالية النموذج.