على مر العقود، تم دراسة تأثيرات التوافق (Congruency Effects) في مهام الصراع مثل مهام Stroop ومهام Flanker، لكن الأساس الميكانيكي لهذه التأثيرات لا يزال غامضًا حتى اليوم. في دراسة حديثة نُشرت على arXiv، تم اقتراح مهمة صراع لغوي مخصصة تعتمد على نماذج اللغة الضخمة (Large Language Models) حيث يستدعي خلاصة المطالبة استكمالًا طبيعيًا باللون نفسه، مع وجود قاعدة صارمة تتفق أو تتعارض مع هذا الاستكمال.
اختبرت الدراسة نماذج Gemma-2-2B وستة نماذج من Pythia، والتي تتراوح من 410 مليون إلى 12 مليار بارامتر، وقد أظهرت هذه النماذج ميلًا قويًا للاختيار الافتراضي للون نفسه. ثمانية من أصل سبعة نماذج أظهرت تأثيرات توافقية قوية. من خلال تحليل السبب والتأثير، وتحليل الانتباه، وتحليل الانتباه المحذوف، تم تحديد مسارات معالجة مميزة في هذه النماذج.
تضمنت إحدى المسارات انتباهاً قصير المدى إلى إشارة لون سطحية مفضلة للتفعيل في الحالة المتوافقة، بينما استخدمت الأخرى انتباهاً بعيد المدى إلى قاعدة البادئة المفضلة في الحالة غير المتوافقة.
تكثيف التدريب الذي يعزز الميل الافتراضي لنفس اللون كان له تأثيرات متباينة على ظروف المهمة، مما أدى إلى تقليل الأداء غير المتوافق وزيادة الأداء المتوافق. من الناحية الأخرى، فإن زيادة حجم مجموعة القواعد أثرت سلبًا بشكل انتقائي على الأداء غير المتوافق.
تدعم هذه النتائج المتقاربة فكرة أن تأثيرات التوافق في هذه المهمة تنشأ نتيجة التنافس بين رسم خرائط افتراضية داخل الوزن ورسم خرائط قائمة على القواعد في السياق. بشكل أوسع، توضح نتائجنا كيف يمكن لنماذج اللغة الضخمة أن تعمل كنماذج نظامية للتحليل الميكانيكي للتنافس بين الاستجابات الافتراضية وتلك التي تحكمها القواعد ضمن شبكة تعلم واحدة.
اكتشافات مثيرة: تأثيرات التوافق والتضارب في نماذج اللغة الضخمة
تقدم دراسة جديدة Insights مثيرة حول تأثيرات التوافق والتضارب في نماذج اللغة الضخمة، موضحة كيف تؤثر العوامل المختلفة على أداء النماذج في مهام صعبة. النتائج تشير إلى وجود آليات تنافسية معقدة داخل نموذج واحد.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
