في عالم معالجة اللغة الطبيعية، تصدرت استراتيجيات التعلم القائم على التعليمات (Prompt-based learning) المشهد، مما أتاح تحسين الأداء في مختلف المهام بشكل غير مسبوق. تكشف دراسة جديدة التأثير الهائل للأهداف المتعددة خلال مراحل التدريب المسبق (Pre-training) والتكيف (Fine-tuning) على نماذج اللغة من نوع Encoder-Decoder.

تركز الدراسة على تقنيات جديدة ضمن إطار عمل يُعرف باسم "تطابق المهام مع الأهداف" (Match Task to Objective - MTO)، والذي يحتوي على منهجيات تساعد على تحديد الهدف المناسب لكل مهمة. يُعتبر هذا الإطار طريقة آلية لتحضير البيانات المتعلقة بالمهام لأغراض التكيف من خلال التدريب غير المراقب، وذلك بناءً على الأهداف المحددة.

عند مرحلة التكيف، تم تصميم قوالب مبتكرة تتماشى مع أهداف مرحلة التدريب والتكيف، مما يعزز الأداء بنسبة تزيد عن 120% مقارنة بالأساليب التقليدية في سيناريوهات التدريب القليل (Few-shot settings). كما أن هذه الاستراتيجيات تفوقت بشكل ملحوظ على الأعمال السابقة حتى في سياقات تعتمد على مجموعات بيانات كاملة.

إلى جانب ذلك، تم توسيع هذا النهج ليشمل استراتيجيات تعديل التعليمات (Prompt-Tuning)، مما يوفر توجيهات فعالة لهندسة التعليمات وتقديم تحسينات ملحوظة على الأداء. تقدم هذه الأفكار قيمة كبيرة من خلال توجيه دقيق لاختيار النماذج المخصصة للمهام المحددة، مما يساعد الباحثين والمطورين على تحسين وظائف النماذج بما يتناسب مع احتياجاتهم.

إذا كنت مهتمًا بالتعمق في هذا المجال، يمكنك زيارة الرابط التالي للحصول على الكود والتفاصيل: GitHub Code. ما رأيكم في هذه الاستراتيجيات الجديدة؟ شاركونا في التعليقات.