في عالم الذكاء الاصطناعي، يأتي تعلم السياق (In-Context Learning) كأحد أبرز التقنيات التي حققت نجاحاً كبيراً في مجالات اللغة الطبيعية والرؤية الحاسوبية. ورغم ذلك، فإن فهم هذه التقنية بشكل نظري، وبالأخص في سياق البيانات الهندسية المنظمة، لا يزال موضوعاً غير مستكشف.

تتناول الورقة البحثية الجديدة دراسةً نظرية لتعلم السياق فيما يخص تحليل دوال هولدر (Holder Functions) على الفضاءات الهيكلية، لتقدم اتصالاً جديداً بين آلية الانتباه وآليات طرق النواة (Kernel Methods) الكلاسيكية. من خلال هذه الدراسة، تم إثبات أن نماذج التحويلات (Transformers) تقوم بعمليات تنبؤ تعتمد على طرق النواة بطريقة فعالة عند التعامل مع استفسارات جديدة تتضمن تفاعلها مع المتطلبات (Prompt).

وقد تم التحقق من هذا الرابط من خلال تجارب عددية، أثبتت أن درجات استفسارات المتطلبات لدوال هولدر ترتبط بشكل كبير مع نواة غاوسي (Gaussian Kernel). بناءً على هذه الرؤية، تم استنتاج حدود خطأ التعميم والتي تتعلق بطول المتطلبات وعدد مهام التدريب.

عند توفر عدد كافٍ من مهام التدريب، تظهر نماذج التحويلات معدل الانحدار الأدنى لدوال هولدر على الفضاءات الهيكلية، والذي يتصاعد بشكل أسي مع طول المتطلبات، معتمدًا على البعد الداخلي للفضاء بدلاً من بُعد الفضاء المحيط.

توضح نتائج هذه الدراسة كيفية تأثير تعقيد نماذج التحويلات كمتعلمي خوارزميات النواة في سياق البيانات الهندسية، مما يأخذنا إلى فهم أعمق لدور الهندسة في تعلم السياق، ويضفي أدوات جديدة لدراسة تعلم السياق للنماذج غير الخطية.