في عالم الذكاء الاصطناعي، تتواصل التطورات بشكل مذهل، وآخرها هو D2PO (تحسين التفضيلات الديناميكية المباشرة). هذه الأداة تمثل إطار عمل مبدع لتحسين سياسات أخذ العينات في نماذج الانتشار، مع التركيز على جداول الزمن وأوزان الإرشاد بدون مصنف (CFG).

ما يميز D2PO هو تركيزه على عائق أساسي تواجهه الأطر الحالية، وهو كيفية تدريب المتطلبات ذات التردد المنخفض (low-NFE) على تقليد المدربين ذوي التردد العالي (high-NFE). وكثيرًا ما تضحي هذه الأساليب بجودة تفاصيل النصوص الرفيعة بينما تحافظ على الهياكل العامة.

D2PO يأتي ليحل هذه التحديات عبر إعادة صياغة تحسين العينات كمسألة توافق تفضيلي، ويستفيد من إطار عمل تحسين التفضيل المباشر (DPO). من خلال نمذجة سياسة أخذ العينات كواحدة قائمة على الطاقة (EBM)، يتم تحويل مقارنات التفضيلات إلى اختلافات طاقة قابلة للتعامل.

وبالإضافة إلى ذلك، تم تقديم صياغة طاقة جديدة مشتقة مباشرة من الشبكة المدربة مسبقًا، مما يسمح بتقييم التفضيلات في المساحات المضطربة. هذا لا يلتقط البنية الهيكلية فحسب، بل يدقق أيضًا في التفاصيل الدقيقة.

هذا ليس كل شيء، حيث يقدم D2PO تفضيلات ديناميكية، حيث تتحسن العينات المفضلة المستخدمة في التوافق تدريجيًا مع تعلم سياسات أخذ العينات. هذه الآلية الذاتية التحسين تستبدل الإشراف الصارم للمدرسين بعملية تحسين موجهة بالتفضيل، مما يوفر إشارات توافقية أقوى.

أثبتت التجارب الواسعة أن D2PO يحقق توافقًا أكبر مع الجودة الإدراكية، ما يفتح إمكانيات جديدة للتعلم من المدربين ذوي الجودة العالية، مما يتفوق باستمرار على القوائم التقليدية استنادًا إلى الانحدار تحت قيود NFE المنخفضة.