في عالم الذكاء الاصطناعي، تعتبر نماذج المحولات (Transformers) أحد الابتكارات الرائدة التي أثبتت كفاءتها العالية في التعلم في السياق (In-Context Learning). فهي تستطيع معالجة مهام جديدة وغير مسبوقة، فقط من خلال الأمثلة المقدمة خلال مرحلة الاستنتاج، مما يفتح آفاقًا جديدة في كيفية تفاعل هذه النماذج مع البيانات.

ومع أن الأبحاث السابقة قد وضعت أسسًا نظرية تحدد الظروف المثلى لتحقيق تصنيف خطي في السياق، إلا أن السلوك التجريبي الذي يحكم نجاح هذه الآلية لا يزال بحاجة إلى مزيد من الاستكشاف. في دراسة جديدة، أجرى الباحثون دراسة منهجية حول التعلم في السياق لمهام التصنيف الثنائية في توزيع Gaussian.

استندت الدراسة إلى الإطار النظري المُقَدَّم من قبل فري وفاردي (2024)، حيث تم تحليل كيفية اعتماد دقة الاختبار في السياق على ثلاثة عوامل رئيسية: بُعد المدخلات، عدد الأمثلة في السياق، وعدد مهام ما قبل التدريب. استخدم البحث إعدادات صناعية دقيقة وصياغة مصنف خطي في السياق، مما سمح لهم بعزل الشروط الهندسية التي بموجبها تستطيع النماذج استنتاج بنية المهام من السياق فقط.

أحد الجوانب المثيرة للاهتمام في هذه الدراسة هو التحقيق في ظاهرة "التعلم المفرط البنّاء"، حيث تتمكن النماذج من تذكر تسميات في السياق المشوشة، لكنها تبقى قادرة على تحقيق أداء قوي عند التعامل مع بيانات اختبار نظيفة. من خلال تجارب موسعة على تنوع الأبعاد وطول التسلسل وتنوع المهام، تمكن الباحثون من تحديد المناطق البارامترية التي تظهر فيها هذه الظاهرة وكيف تتوقف على هندسة البيانات ومدة التدريب.

توفر نتائج هذه الدراسة خريطة شاملة للسلوك التجريبي في تصنيف التعلم في السياق، مشددةً على الدور الحاسم للأبعاد، وقوة الإشارات، والمعلومات السياقية في تحديد نجاح التعلم في السياق أو فشله. إن فهم هذه الجوانب قد يسهم بشكل كبير في تطوير نماذج أكثر كفاءة وفاعلية في المستقبل.

ما رأيكم في هذه الاكتشافات الجديدة؟ شاركونا أفكاركم في التعليقات!