في دراسة جديدة تم نشرها على منصة arXiv، يتم التعمق في مفهوم خسارة كولينباك-ليبلر (Kullback-Leibler Divergence Loss) وتحليل فعاليتها. من خلال البرهان الرياضي، توصل الباحثون إلى أنها تعادل خسارة كولينباك-ليبلر المفصولة (Decoupled Kullback-Leibler Divergence Loss) التي تجمع بين (1) خسارة متوسط مربع الأخطاء الموزونة (weighted Mean Square Error - wMSE) و(2) خسارة الانتروبيا المتقاطعة (Cross-Entropy Loss) مع إدماج تسميات ناعمة (soft labels).

بفضل الهيكل المفصول لخسارة DKL، تم تحديد مجالات للتحسين تهدف إلى تعزيز الأداء. بدايةً، تم معالجة قيود خسارة KL في سيناريوهات مثل تنقية المعرفة (Knowledge Distillation)، إذ تم كسر خاصية التحسين غير المتناظر مع وظيفة وزن أكثر سلاسة، مما يحل تحديات التقارب التي تواجهها أثناء التحسين، خاصةً عند التعامل مع الفئات ذات الدرجات المتوقعة العالية في التسميات الناعمة.

ثانيًا، تم إدخال معلومات عالمية على مستوى الفئات إلى Kullback-Leibler/DKL لتقليل الانحياز الناتج عن العينات الفردية.

بعد إحداث هذه التحسينات، تم اشتقاق خسارة Kullback-Leibler العامة (Generalized Kullback-Leibler Divergence Loss - GKL) وتقييم فعاليتها من خلال إجراء تجارب على مجموعات بيانات مثل CIFAR-10/100 وImageNet بالإضافة إلى مجموعات بيانات الرؤية-اللغة، مع التركيز على مهام التدريب العدائي وتنقية المعرفة.

نتيجة لهذه الجهود، تم تحقيق حالة جديدة من القوة التنافسية في المتانة ضد الهجمات العدائية على لوحات القوائم العامة (RobustBench) وأداء تنافسي في تنقية المعرفة عبر موديلات CIFAR/ImageNet ونموذجات CLIP، مما يبرز الفوائد العملية الكبيرة لهذه الدراسة.

للاطلاع على الكود الخاص بالدراسة، يمكن زيارة الرابط التالي: [رابط_الكود].