استكشاف الصورة النمطية في النماذج اللغوية متعددة اللغات: من التمثيل إلى النتائج

تظهر النماذج اللغوية متعددة اللغات (Multilingual LLMs) سلوكيات مرتبطة بالصورة النمطية تتباين بين اللغات، مما يُشير إلى وجود خصائص داخلية تؤثر على النتائج. في دراسة حديثة نُشرت على منصة arXiv، تم إجراء مقارنة شاملة بين تقنيات مختلفة مثل الاستدلال الخطي (linear probing)، والتصحيح التفصيلي (attribution patching)، والمشفرات الآلية النادرة (Sparse Autoencoders)، وذلك اعتماداً على نماذج مثل Llama-3.1-8B وQwen3-8B وGemma-2-9B.

إن أداء الاستدلال الخطي يظهر ذروته بشكل كبير في مراحل سابقة مقارنة بتقنيات التصحيح في النماذج الثلاثة، مع وجود فاصل يصل إلى 36-53% من عمق النموذج. تتميز خصائص Llama-Scope بالاتساق مع الفئات الاجتماعية التي تم اختيارها منها، مما يساهم في تشكيل عائلات دلالية متكررة. ولكن، يختلف تنسيقها اللغوي وتأثيرات الإقصاء عبر مجموعات SAE.

تفيد الدراسة بأن ما بين 6-18% من الخصائص المتبقية التي تم تقييمها ليس لها تأثيرات طابع لغوي تحت المعايير المستخدمة، ولا توجد أي خصوصية لمجموعات. على الرغم من أن الخصائص التي لا تعتمد على اللغة تتسم بتأثيرات إقصاء أكبر في Llama-Scope، إلا أن هذا النمط لم يتكرر مع مجموعات SAE الأخرى.

لذا، بات من الضروري قياس التأثيرات الناجمة عن إمكانية فك الشيفرة، وتأثير النتائج، وتأثيرات الإقصاء بين اللغات بشكل منفصل لتوفير فهم أعمق لهذه النماذج المتطورة.