تعتبر تقنية التعلم في السياق (in-context learning) من الخصائص المذهلة لنماذج المحولات (Transformers)، وقد حظيت باهتمام كبير في الآونة الأخيرة. في العديد من الدراسات المتعلقة بالتعلم في السياق، تم إثبات قدرة هذه النماذج على تنفيذ حلول لمشكلات الانحدار الخطي وغير الخطي. على الرغم من ذلك، لا يزال الأمر غير واضح فيما إذا كانت تلك الحلول قد تمت عبر التدريب الفعلي.

في بحثنا الجديد، قمنا بتصميم نموذج محول يحمل خاصية الانتباه الذاتي الخطي (linear self-attention)، يمكّنه من تعلم تقدير المربعات الصغرى (least squares estimate) لمهمة الانحدار البسيط بشكل مباشر. النقطة الجوهرية هنا هي أننا تمكنا من الحصول على الحل المغلق (analytical solution) بطريقة تقريبية باستخدام تقنية تطبيع الطبقات (layer normalization) بدلاً من الحل التقريبي القائم على خوارزمية هبوط التدرج (gradient descent).

كما نقدم مثالًا تجريبيًا يوضح مدى فائدة هذا التطبيق، حيث تم استخدامه في نموذج محول تم تدريبه مع تنظيم L1 عندما يكون الناتج المستهدف هو تقدير المربعات الصغرى. هذا التطور يمثل خطوة مهمة نحو تحسين كفاءة نماذج التعلم العميق ويشير إلى إمكانيات جديدة في معالجة البيانات.