في عالم الذكاء الاصطناعي، تُعتبر نماذج الـ Transformers واحدة من أبرز الابتكارات التي غيّرت طريقة فهمنا للتعلم العميق. بينما تتمتع هذه النماذج بقدرة رائعة على التعلم من السياقات (in-context learning)، فإن تحسين قدرتها على العمومية في المهام الجديدة يعد تحديًا مستمرًا.

تتيح استراتيجيات التعليم العميق الحديثة لنماذج الـ Transformers القدرة على التعلم من المثيرات الواردة دون الحاجة إلى تحديثات معقدة للوزن، مما يوفر الوقت والموارد. ومع ذلك، فإن الاستخدام التقليدي لمجموعات بيانات كبيرة وغير منظمة ينطوي على تكاليف مرتفعة، وصعوبة تقييم الجودة، بالإضافة إلى قضايا الخصوصية والأخلاقيات بسبب المعلومات الحساسة.

استجابةً لهذه التحديات، تم تطوير استراتيجية تدريب بديلة تعتمد على استخدام مجموعة من مجموعات البيانات الصغيرة والمتخصصة. وقد أظهرت المعايير التجريبية أن زيادة جودة وتنوع هذه البيانات تساهم في تعزيز قدرات العمومية في النماذج، مما يتجاوز نطاق تدريبها، مع تحقيق أداء مقارنة بالنماذج المدربة على مجموعة بيانات كبيرة واحدة.

باستخدام تقنيات الـ meta-learning، تم تدريب نموذج للتعلم من السياقات على مجموعة بيانات مكتوبة بعناية تُعرف باسم Meta-Album، وتم اختبار أدائه في عدة بيئات. أولاً، تم قياس الأداء في بيئة مسيطر عليها، حيث تم استبعاد نطاق الاختبار تمامًا من معلومات التدريب. ثانياً، تم دراسة صمود هذه النماذج أمام ظاهرة النسيان في سيناريوهات متواصلة حيث كانت المعلومات متاحة لفترة محدودة. وأخيراً، تم استكشاف سيناريو أكثر تحديًا غير خاضع للإشراف.

أظهرت نتائجنا أن نماذج الـ Transformers لا تزال قادرة على التعميم في التنبؤات عندما يتم تدريبها على مجموعة بيانات مختارة بعناية، مما يوفر مزايا في القابلية للتبديل والمرونة. قد تكون هذه النتائج خطوة مهمة في تطوير استراتيجيات تعليمية مبتكرة تستفيد من تنوع البيانات.