كشف النقاب عن انحياز المواقع الطبقية في نماذج اللغات القصيرة!

بينما نعيش في عصر يتسم بتقدم تقني مذهل في مجال الذكاء الاصطناعي، برزت نماذج المحولات (Transformers) كمفتاح لفهم تركيب اللغة. لقد سلطت الدراسات الضوء على “الانحياز الموضعي”، وهو الظاهرة التي تجعل هذه النماذج تفضل الرموز في مواقع معينة بغض النظر عن صلتها بمحتوى الجملة.

في دراسة جديدة، تم تقديم إطار عمل يسمى “إجراء طبقي” (Layer Conductance Framework) يسمح بتحليل هذه الانحيازات بشكل أعمق. تم تطبيق هذا الإطار على تنبؤ الكلمات القادمة في سياقات قصيرة، مع تحليل كيفية تأثير المواضع عبر الطبقات المختلفة من النموذج.

النتائج التي توصلوا إليها أكدت أن هذه الانحيازات ليست عشوائية، بل تحمل نمطًا معينًا. فقد أظهرت الدراسات أن انحيازات “الحداثة” (Recency Bias) تتزايد بزيادة العمق بينما تتناقص انحيازات “الأسبقية” (Primacy Bias). وعلاوة على ذلك، تبين أن الانحياز الموضعي يختلف حسب نوع الكلمة؛ حيث كانت الكلمات الوظيفية أكثر تأثراً بانحياز الحداثة بينما كانت كلمات المحتوى تميل نحو انحياز الأسبقية.

هذه الاكتشافات تقدم لنا رؤى جديدة حول كيفية عمل نماذج اللغة وتفتح آفاقًا جديدة لتحسين أدائها في فهم اللغة الطبيعية بالاستناد إلى البنية الطبقية التي تعكسها.