في سعيهم لتحسين أداء المهام وتعزيز خصائص الاستجابة المرغوبة، تتجه تقنيات ما بعد تدريب نماذج اللغات الضخمة (LLMs) نحو دمج مكافآت أساسية (مثل الدقة) مع مكافآت مساعدة (كالاقتصادية والكفاءة). لكن كيف يتم تجميع هذه المكافآت يمكن أن يؤثر بصورة جذرية على نتائج التدريب.

تكشف الأبحاث الجديدة عن أن التجميع المتماثل، الذي يعامل قنوات المكافآت بقدر متساوٍ، يمكن أن يؤدي إلى فشل يُعرف ب"الاختراق متعدد المكافآت"، حيث يتحسن مجموع المكافآت ولكن أداء المهمة الأساسية ينخفض.

تمثل هذه الظاهرة تحدياً كبيراً حيث تُظهر الأبحاث أن نموذج التعليم العميق (مثل GRPO) قد يتجه نحو سلوك يفضل المكافآت المساعدة عندما يتم الحصول عليها بشكل موثوق، دون النظر إلى التهيئة الأولية. في محاولة لتجاوز هذه الفجوة، يتم تقديم تقنية جديدة تُسمى "بوابة مُعتمدة على الثقة" (Trust-Anchored Gating - TAG)، التي تعمل على اختيار قناة مرجعية بناءً على الانحراف الناتج عن تحسين كل قناة بمفردها، ثم تُعطى المكافآت المساعدة بناءً على رضا هذه القناة المرجعية.

تتمتع هذه التقنية بميزة كبيرة، حيث أنها تزيل بشكل هيكلي الائتمان للنتائج التي تعتمد فقط على المكافآت المساعدة، مع الحفاظ على المزيد من الائتمان للنجاح المشترك.

أظهرت التجارب التي أُجريت على نماذج Qwen وLlama في مجالات الرياضيات وتوليد البرامج أن التجميع المتماثل يؤدي إلى تدهور ملحوظ، في حين ساهمت TAG في تخفيف هذا الفشل. فعلى سبيل المثال، تمكن نموذج Qwen3-4B مع مكافأة اقتصادية من تحقيق نسبة 0.581 مقابل 0.220 لمجموع المكافآت الإضافية، بينما تم تقليل ردود الفعل بنسبة 44% بالمقارنة مع التدريب القائم على الدقة فقط.