في عالم الذكاء الاصطناعي، تصبح تقييمات الأداء لنماذج اللغات الضخمة (LLMs) مسألة غاية في الأهمية. غالبًا ما تعكس نتائج التقييم معرفة هذه النماذج بشكل غير دقيق، وذلك بسبب الاعتماد على قدرتها على اتباع متطلبات شكلية محددة. وهذا الأمر يمثل حضوراً سلبياً للنماذج الأساسية التي قد تكون على معرفة بالإجابات الصحيحة لكنها تفتقر إلى القدرة على تنظيمها كما هو مطلوب.

للتغلب على هذه الإشكالية، تم اقتراح تقنية تعديل الموجهات الناعمة (Soft-Prompt Tuning) كوسيلة فعالة وعادلة لتقييم النماذج، والتي لا تعتمد على تصميم معين. من خلال تحسين فقط 10 موجهات ناعمة (تعادل حوالي 0.0006% من معلمات نموذج بحجم 7 مليارات)، تمكنا من تكييف النماذج لتناسب تنسيقات المعايير الخاصة، مما يغلق الفجوات في التوافق مع التنسيق ويضمن أن المعرفة الموجودة يتم تمثيلها بدقة.

أظهرت تقييمات هذه التقنية عبر 7 نماذج و7 مجموعات بيانات أن تعديل الموجهات الناعمة:
- يحقق مستوى عالٍ من التوافق مع التنسيق في أقل من 80 خطوة، مما يجعله تقنية فعالة للغاية.
- يُظهر أداءً متفوقًا مقارنةً بأساليب التلخيص البسيطة (zero-shot) والقليلة (few-shot)، مما يؤدي إلى اكتشاف المعرفة الأساسية التي قد تفوتها الطرق التقليدية.
- يستفيد حتى النماذج المدربة مسبقاً من تعديل الموجهات الناعمة لتحقيق أفضل توافق مع التنسيق.
- يُسهم أداء النماذج المعدلة بموجهات ناعمة في توقع تصنيفات النماذج المدربة مسبقاً بطريقة أكثر موثوقية مقارنةً بأساليب التلخيص.

تشمل مساهمات البحث تطوير مقاييس تفصل بين الالتزام بالتنسيق ودقة المعرفة، بروتوكول تقييم أكثر عدلاً، ووصفة فعالة من حيث التكلفة والذاكرة لتحديد استراتيجيات التدريب المثلى في المراحل المبكرة من تطوير نماذج اللغات الضخمة.