تشكل العلاقات النصية أحد العناصر الحيوية لفهم اللغة الطبيعية وأداء نماذج الذكاء الاصطناعي. في دراسة جديدة تمثل خطوة مهمة في هذا المجال، تم التركيز على نماذج Transformer المُعززة بالتعليمات مثل (LLaMA) و(Mistral)، حيث تم البحث في كيفية تشفيرها للعلاقات النصية، وخاصة العلاقة بين السبب والنقيض.

من خلال الإطار الذي يصف المهمة كتوقع للرمز التالي، تم تطبيق مجموعة من تقنيات التفسير لاختبار دواخل النموذج. أظهرت النتائج أن بعض الطبقات المبكرة تتخذ قرارات تنبؤية في نصف تسلسل النص، بينما تقوم بعض الطبقات المتوسطة إنهاء قراراتها بالقرب من الرمز النهائي. بينما تواصل غالبية الطبقات الأخرى تمرير القرارات السابقة بدلاً من التأثير عليها بشكل نشط.

كما لوحظ أن بعض الطبقات تظهر تفضيلاً لجواب معين على بدائل أخرى، مما يشير إلى تمثيل غير متكافئ للتفكير القائم على النصوص. هذه النتائج تفتح آفاق جديدة لفهم كيفية عمل النماذج الذكية وتأثير ذلك على استخداماتها في المستقبل، وخاصة في مجالات اللغة والفهم الأخلاقي.

هل تعتقد أن هذه النتائج ستساعد في تحسين دقة النماذج الذكية؟ شاركونا آراءكم في التعليقات.