في عالم التعلم العميق الحديث، تعاني النماذج عادةً من مشكلة الإفراط في الثقة، مما يحد من موثوقيتها في التطبيقات ذات المخاطر العالية. تهدف الأساليب البايزية (Bayesian Methods) إلى معالجة هذه المشكلة من خلال التعلم من توزيع حول معلمات النموذج. ومع التقدم الأخير، أصبح من الممكن تطبيق هذه الأساليب على النماذج واسعة النطاق بتكاليف قريبة من أسلوب AdamW الشهير.
ومع ذلك، لا تزال هناك تحديات خلال مرحلة الاختبار، حيث يتعين أن يتم حساب التوقعات عبر العديد من عمليات المرور الأمامية مع أوزان مأخوذة من التوزيع البعدي، وهو أمر مكلف للغاية. تقدم تقنيات انتشار التباين (Variance Propagation) بديلاً فعالاً، حيث تحسب تقريباً تحليليًا لعدم اليقين في عملية واحدة فقط.
إلا أن هذه التقنيات كانت فعالة فقط في الشبكات العصبية البسيطة (MLPs) وصعوبة توسيعها إلى البنى الحديثة نتيجة للازدحام وزيادة تنوع أنواع الطبقات. لذا تم تقديم تقنية تدعى Calibrated Variance Propagation (CVP)، والتي تقدم طريقة جديدة لنشر التقديرات خلال طبقات التطبيع، ودمجها مع تقنيات حديثة للتعامل مع وظائف التفعيل، وذلك عبر خطوة خفيفة للتعديل.
تقدم CVP تقديرات دقيقة لعدم اليقين تعادل تقريبًا تلك التي تم الحصول عليها من تقنيات أخذ العينات بالطرق الشائعة، ولكن بتكلفة أقل بكثير. على سبيل المثال، عند مواجهة مجموعة البيانات Visual Reasoning (NLVR2) باستخدام نموذج BEiT-3، تحسن معدل التغطية من 8.2% إلى 14.6% مع 0.5% خطر. وبالمثل، في VQAv2 باستخدام ViLT، شهدنا زيادة من 2.6% إلى 10.8%، مما يؤكد فعالية CVP حتى في البنى التلافيفية.
ابتكار مذهل: تقدير عدم اليقين في التعلم العميق باستخدام تقنية جديدة بدون أخذ عينات!
تقدم دراسة جديدة نهجًا مبتكرًا لتقدير عدم اليقين في نماذج التعلم العميق بطريقة فعّالة وبأسعار معقولة، متفوقة على الطرق التقليدية. باستخدام تقنية Calibrated Variance Propagation، أصبحت التقديرات أكثر دقة وأقل تكلفة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←# تقدير عدم اليقين# التعلم العميق# الذكاء الاصطناعي# أساليب بايزية# النماذج العصبية# الأساليب البايزية# تكنولوجيا الذكاء الاصطناعي
جاري تحميل التفاعلات...
