تتقدم التقنية بسرعة مذهلة، ويتم استخدام نماذج اللغة الكبيرة (LLMs) بشكل متزايد في إنتاج نماذج العمليات التجارية (BPMN) من خلال أوصاف بلغات طبيعية. ومع ذلك، فإن عملية ضبط هذه النماذج عن طريق الإشراف (SFT) تحد من جودة النتائج المُنتجة لتكون محصورة في الأنماط الموجودة في بيانات التدريب. ولكنها ليست نهاية القصة، حيث يفتح التعلم المعزز (RL) آفاقًا جديدة لتحسين النتائج من خلال استخدام مقاييس جودة خارجية.

لقد قام فريق بحثي بإجراء دراسة منهجية حول تصميم دالة المكافأة لعملية الجيل المعتمدة على التعلم المعزز. وقد تم تدريب عائلتين من النماذج (Llama 3.1 8B و Qwen 2.5 14B) وذلك باستخدام 48 تكوينًا مختلفًا باستخدام أسلوب تحسين السياسات المتسلسلة مع مكافآت تم الحصول عليها من إطار تقييم آلي يتضمن 38 مقياس جودة عبر الأبعاد النحوية، العملية والبلاغية.

تظهر النتائج ثلاث نقاط رئيسية. أولاً، يُحسن التعلم المعزز (RL) بشكل كبير من الجودة العملية والنحوية مع الحفاظ على دقة المعاني، مما يقلل من التباين في المخرجات بأكثر من ستة أضعاف. ثانياً، يتفوق وزن المكافآت المتساوي بشكل مستمر على الوزن المستهدف، حيث يؤدي التركيز على بُعد معين إلى عدم تحسينها ويمكن أن يتسبب في انهيار النموذج إلى نمط جودة منخفض. ثالثاً، تتفاعل خيارات التصميم مع بنية النموذج بشكل غير بديهي، حيث تعتبر عقوبة عدم الصلاحية ضرورية لنموذج معين ولكن لا يكون لها تأثير على الآخر، كما أن تهيئة الإشراف (SFT) ضرورية لأحد الهياكل ولكنها مضرة للهيكل الآخر.

تظهر هذه النتائج أن التركيب المكافأتي هو محدد أساسي لنتائج التحسين، مع تأثيرات كبيرة تفوق حتى قرار تطبيق التعلم المعزز على العملية نفسها. هذه النتائج يمكن تعميمها على أي مهمة توليد هيكلية حيث يتم تقييم الجودة عبر أبعاد آلية متعددة. للمزيد من التفاصيل، يمكنك الاطلاع على تطبيقنا وكود التجارب على GitHub.