إعادة التفكير في فاعلية تقييم اكتشاف البيانات الخارجية من خلال التعلم العميق الدلالي

في عالم التعلم العميق، تلعب مسألة اكتشاف البيانات الخارجية (OOD) دوراً حيوياً، حيث تتطلب التطبيقات الذكية القدرة على التمييز بين الفئات المرئية والفئات غير المعروفة. وفقاً لدراسة جديدة، يُظهر مقياس "عدم اليقين" (Vacuity) أهمية غير مسبوقة في تقييم أداء النماذج التي تعتمد على التعلم العميق الدلالي (EDL).

تُعتبر Vacuity أو كتلة عدم اليقين (Uncertainty Mass) مقياساً شائعاً يُستخدم لتقييم اكتشاف البيانات الخارجية، حيث يعتمد على حساب نسبة عدد الفئات ($K$) إلى إجمالي قوة الإيمان ($S$) في تنبؤات النموذج، والتي يتم استنتاجها من خلال جمع معلمات ديريشليت. ومع ذلك، فإن هذا المقياس حساس لعدد الفئات، مما يؤدي إلى نتائج غير دقيقة إذا لم تكن الفئات بين البيانات الداخلية (ID) والخارجية (OOD) متساوية.

تشير الأبحاث إلى أن الفرق حتى بفئة واحدة بين ID وOOD يمكن أن يؤثر بشكل ملحوظ على نتائج أداء النموذج، مع تسجيل اختلاف يصل إلى 0.318 في مقياس AUROC. وحتى في تحديد معايير الأداء، يظهر أن الفروق في عدد الفئات يمكن أن تؤدي إلى تضخيم نتائج التققييم بشكل غير عادل.

كما يتناول الباحثون كيفية تقييم EDL عبر نماذج اللغة السببية باستخدام مجموعات بيانات الأسئلة متعددة الخيارات (MCQA)، مشددين على ضرورة تحديد واضح للبيانات الداخلية والخارجية. هذه الاكتشافات تؤكد الحاجة إلى إجراءات تقييم دقيقة لضمان أن نماذج التعلم العميق قادرة على تقديم أداء موثوق وتفاصيل مفيدة في سياقات مختلفة.

في نهاية المطاف، يؤكد هذا البحث أن اكتشاف البيانات الخارجية القائم على عدم اليقين في نماذج اللغة الكبيرة المعدلة (LLMs) يتطلب فهماً عميقاً واختبارات صارمة لتجنب الفخاخ الناتجة عن التباين غير المسيطر عليه بين أعداد الفئات المدروسة.