في العصر الحديث، أصبح الذكاء الاصطناعي (AI) جزءًا لا يتجزأ من تطوير أدوات القياس، لكن كيف يمكن للقرارات المأخوذة بواسطة الأنظمة المدعومة بالذكاء الاصطناعي أن تؤثر على جودة النتائج؟ دراسة جديدة نُشرت في arXiv تناولت هذا السؤال من خلال تحليل معمق لنماذج تقييم العناصر.

بدايةً، تكمن أهمية القرارات التي تُتخذ بواسطة المقيّمين الحسابيين في تحديد نوعية العناصر التي تصل إلى المراجعة من قبل الخبراء. بين عملية توليد العناصر المدعومة بالذكاء الاصطناعي وتلك التي تتم مراجعتها من قبل محترفين، تظهر أداة تقييم حسابية تتعامل مع القضايا التي يُعتقد غالباً أنها تقنية بحتة. لكن، كما تُظهر الدراسة، فإن تمثيل البيانات (representation) والتقليص الهيكلي (structural reduction) وسياسات الاختيار تلعب أدوارًا حاسمة.

عبر دراستين مترابطتين شملتا أكثر من 32,000 عنصر من عناصر نموذج الخمسة الكبار (Big Five)، تم تتبع عمليات التطوير من التمثيل الدلالي (semantic representation) إلى التقييم الهيكلي (structural evaluation) وبناء شكل المرشحين (candidate-form construction).

النتائج أظهرت تباينات كبيرة في الأدلة حتى عند استخدام نفس الكلمات، مما يعني أن العناصر المختلفة قد تُبرز خصائص مختلفة، بل وتختفي خصائص محددة رغم تحسن الشفافية المجتمعية. كما أن تلك الحساسية كانت تتفاوت بين مجموعات المصادر المختلفة.

في النهاية، على الرغم من أن السياسات تؤمن ملء كل خلية محتوى في شكل قابل للتقييم، إلا أن الكلمات المقدمة كانت مختلفة تمامًا. بينما تشترك الأشكال الأساسية في ستة عناصر فقط من بين أربعين، فإن الاستقرار الظاهر في الملخصات العالمية قد يخفي عدم الاستقرار في المحتوى الذي يصل إلى خبراء القياس.

إن الأداة الحسابية ليست مجرد بنية تحتية محايدة بين الولايات وقدرات الخبرة، بل هي جزء قابل للفحص والتعديل من تصميم القياس، مما يدعو إلى مراجعة شاملة لكيفية استخدام الذكاء الاصطناعي في هذا السياق.