في عالم الذكاء الاصطناعي، تواجه نماذج اللغة (Language Models) تحديات كبيرة تتعلق بالتحيزات المتأصلة مثل الصور النمطية. تتطلب معالجة هذه القضايا أساليب تقييم دقيقة وقابلة للتعميم للتفهم الأساسي للعلاقات داخل هذه النماذج. بينما تركز بعض الأساليب الحالية على المقاييس التحتية والتي تحلل التحيزات في النصوص الناتجة، إلا أن محتوى النصوص يمكن أن يختلف بشكل كبير بين النماذج، مما يتطلب مجموعات بيانات تقييم متخصصة، وهو ما يحد من القدرة على تعميم تلك المقاييس.

على جانب آخر، تتناول المقاييس العليا (Upstream Metrics) تحليل نماذج اللغة على المستوى الأساسي للتمثيلات أو احتمالات الاستمرار، مما يمكن من إجراء تحليل شامل للعلاقات عبر نماذج مختلفة. لكن، حتى اللحظة، لم يتمكن أي مقياس علوي خاص بالنماذج التوليدية من كشف علاقة قوية مع العلاقات الواقعية، بما في ذلك تلك المقاسة في النصوص الناتجة.

لتلافي هذه الفجوة، نقدم مقياس RPAM (Relative Probability Association Metric) كأداة جديدة لتقييم العلاقات في نماذج اللغة التوليدية. تم اختبار RPAM على ثلاثة نماذج ذات جودة واستخدامات مختلفة (Mistral-7B-Instruct، Mistral-7B، وGPT-2) ومجموعات بيانات تقييم مشهورة (WEAT-WS، Bellezza، WS-353، وSST2). وقد أظهرت النتائج وجود علاقة قوية بين قياسات RPAM العليا والعلاقات الضمنية والصريحة التي لوحظت لدى البشر، فضلاً عن التحيزات التي تم قياسها في مهام نماذج اللغة المحددة، مع تحقيق نتائج تفوق السجلات السابقة حيثما كان ذلك قابلاً للتطبيق.

بهذا، يشكل RPAM خطوة هامة نحو تقديم تقييم أكثر دقة وموثوقية للتحيزات في نماذج اللغة، ويدعو الباحثين والمطورين إلى إعادة التفكير في كيفية تحليل وتأثير هذه التحيزات في التطبيقات العملية.