كشف الغموض حول تحيز الموقع: تعزيز التعلم السياقي في نماذج اللغة المتقدمة!

يُعتبر التعلم في السياق (In-Context Learning) أحد أبرز المجالات التي نالت اهتماماً واسعاً في نماذج اللغة المتقدمة، وخاصةً نماذج اللغة التلقائية (Autoregressive Language Models) التي تُستخدم بكثرة. ومع ذلك، لا تزال الآليات التي تحكم هذا النوع من التعلم في نماذج اللغة المعتمدة على الانتشار (Diffusion Large Language Models) غير مكتشفة بالكامل.

على عكس النماذج التقليدية التي تواجه قيوداً بفعل نمط التوجه الأحادي (Unidirectional Causal Masking)، تتمتع نماذج الانتشار بمرونة وزن بصرية ثنائية الاتجاه، مما يتيح لها إمكانية مرنة لوضع الاستفسارات. ومع ذلك، فإن الممارسات الحالية تعيد استخدام قوالب الاستفسارات التقليدية، مما قد يؤدي إلى إغفال التحولات الهيكلية التي تطرأ على الآلية.

يشير البحث الجديد إلى أن موقع الاستفسار هو متغير ذو أهمية أولية في نماذج اللغة المعتمدة على الانتشار، إذ تؤثر الفوارق في الموقع بشكل متساوٍ كمياً مثل جودة المعاني. نكشف من خلال دراسات تجريبية أن حساسية الموقع تنبع من ``تأثير القرب الزمني`` في تدفق الانتباه، مما يؤثر على مسارات التشفير بشكل يعتمد على طبيعة المهمة.

لتقليل عدم الاستقرار الناتج عن ذلك، يظهر أن مقياس الثقة التقليدي غير كافٍ. لذا، نقدم ''متوسط الثقة'' كتحليل مبتكر يتتبع عمليات التشفير التكرارية. من خلال إعداد معايير أساسية لتعلم السياق المكاني، نطرح استراتيجية ''Auto-ICL'' التي تدير توجيه الاستفسارات بشكل ديناميكي، مما يحقق قرباً كبيراً من الأداء الأمثل عبر مهام التفكير والإدراك المتنوعة.

هذا البحث يمثل خطوة مهمة لفهم أفضل لكيفية التعامل مع الاستفسارات في نماذج التعلم الذاتي، ويعد بمثابة إلهام لمزيد من التطورات المستقبلية في هذا المجال.