في عالم الذكاء الاصطناعي، تتطور نماذج اللغة الكبيرة (Large Language Models) بشكل مستمر، مما يوفر إمكانيات لا حصر لها في مجالات متعددة. تمثل تقنية DynamicRubric أحدث الابتكارات في هذا المجال، حيث تُقدم طريقة جديدة ومتقدمة لتحسين نماذج اللغة من خلال التغذية الراجعة من المقيّمين.

يتحقق هذا التحسين بعد التدريب عبر استجابة المقيّمين لعينات تم توليدها وفقاً للسياسات. في الواقع، عندما تتطور السياسات، تقترب جودة هذه الاستجابات من بعضها البعض. ولكن هذا الاقتراب يمكن أن يؤدي إلى عائق أمام تحسين السياسات، حيث قد تؤدي الفجوات الضعيفة أو المضللة في تقييم الجودة إلى إشراف غير مثمر على السياسات.

تستند نظرية DynamicRubric إلى فهم تفصيلي حول كيفية تأثير تلك الفجوات. حيث يتم استخدام فكرة تخصيص الاحتمالات لفهم تأثير نقل الوزن من استجابة إلى أخرى، مما يوضح لماذا تعتبر فجوات درجات التقييم أمرًا بالغ الأهمية.

من خلال تقديم إطار عمل يمثل تفاعل المقيّمين مع السياسات، يتمكن DynamicRubric من توفير عناصر تقييم ثنائية الوزن لمجموعات من المرشحين، مما يؤدي إلى تحسين أداء المقيّمين وتقديم إشراف أقوى على السياسات.

في التجارب التي أجريت باستخدام نماذج خلفية ذات 8 مليار معلمة، أظهر DynamicRubric تحسناً ملحوظاً في الأداء. بالإضافة إلى ذلك، يتم استخدام نموذج محسّن بواسطة DynamicRubric بشكل كامل في سيناريو إجابة الذكاء الاصطناعي في بحث WeChat، حيث يعالج جميع الزيارات عبر ملايين الطلبات يومياً ويعمل على تحسين المقاييس المهمة عبر الإنترنت.

تشير هذه النتائج إلى مبدأ أساسي لتحسين الأداء الموجه بالمقيّمين: يجب أن تتطور أدوات التقييم بالتوازي مع السياسات التي تشرف عليها.