في عالم الذكاء الاصطناعي، يأتي [تعلم السياق](/tag/[تعلم](/tag/تعلم)-[السياق](/tag/السياق)) (In-Context Learning) كأحد أبرز التقنيات التي حققت نجاحاً كبيراً في [مجالات اللغة](/tag/مجالات-[اللغة](/tag/اللغة)) الطبيعية والرؤية الحاسوبية. ورغم ذلك، فإن [فهم](/tag/فهم) هذه [التقنية](/tag/التقنية) بشكل نظري، وبالأخص في سياق [البيانات](/tag/البيانات) الهندسية المنظمة، لا يزال موضوعاً غير مستكشف.
تتناول الورقة البحثية الجديدة دراسةً [نظرية](/tag/نظرية) لتعلم [السياق](/tag/السياق) فيما يخص [تحليل](/tag/تحليل) دوال هولدر (Holder Functions) على الفضاءات الهيكلية، لتقدم اتصالاً جديداً بين آلية [الانتباه](/tag/الانتباه) وآليات [طرق النواة](/tag/طرق-[النواة](/tag/النواة)) (Kernel Methods) الكلاسيكية. من خلال هذه الدراسة، تم إثبات أن [نماذج](/tag/نماذج) [التحويلات](/tag/التحويلات) ([Transformers](/tag/transformers)) تقوم بعمليات [تنبؤ](/tag/تنبؤ) تعتمد على [طرق النواة](/tag/طرق-[النواة](/tag/النواة)) بطريقة فعالة عند التعامل مع استفسارات جديدة تتضمن تفاعلها مع المتطلبات (Prompt).
وقد تم [التحقق](/tag/التحقق) من هذا الرابط من خلال [تجارب](/tag/تجارب) عددية، أثبتت أن درجات استفسارات المتطلبات لدوال هولدر ترتبط بشكل كبير مع نواة غاوسي (Gaussian Kernel). بناءً على هذه الرؤية، تم [استنتاج](/tag/استنتاج) حدود [خطأ](/tag/خطأ) [التعميم](/tag/التعميم) والتي تتعلق بطول المتطلبات وعدد مهام [التدريب](/tag/التدريب).
عند توفر [عدد](/tag/عدد) كافٍ من مهام التدريب، تظهر [نماذج](/tag/نماذج) [التحويلات](/tag/التحويلات) معدل [الانحدار](/tag/الانحدار) الأدنى لدوال هولدر على الفضاءات الهيكلية، والذي يتصاعد بشكل أسي مع طول المتطلبات، معتمدًا على البعد الداخلي للفضاء بدلاً من بُعد [الفضاء](/tag/الفضاء) المحيط.
توضح نتائج هذه [الدراسة](/tag/الدراسة) كيفية تأثير تعقيد [نماذج](/tag/نماذج) [التحويلات](/tag/التحويلات) كمتعلمي [خوارزميات](/tag/خوارزميات) [النواة](/tag/النواة) في سياق [البيانات](/tag/البيانات) الهندسية، مما يأخذنا إلى [فهم](/tag/فهم) أعمق لدور [الهندسة](/tag/الهندسة) في [تعلم](/tag/تعلم) السياق، ويضفي [أدوات جديدة](/tag/[أدوات](/tag/أدوات)-جديدة) لدراسة [تعلم السياق](/tag/[تعلم](/tag/تعلم)-[السياق](/tag/السياق)) للنماذج غير الخطية.
تعلم السياق في الفضاءات الهيكلية: استكشاف الروابط بين الانتباه وطرق النواة
يستكشف هذا البحث مفهوم تعلم السياق (ICL) وتأثيره في تحليل البيانات الهيكلية. تم اكتشاف رابط جديد بين آلية الانتباه وطرق النواة التقليدية، مما يمثل تقدماً ملحوظاً في فهم تطبيقات التعلم العميق.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←# التعلم ضمن السياق# الذكاء الاصطناعي# النماذج الهندسية# النواة# المحوِّلات# تعلم السياق# بيانات هيكلية# طرق النواة# نماذج تحويلية# هندسة البيانات
جاري تحميل التفاعلات...
