في عالم اليوم، أصبحت تقنيات المراقبة الذكية (Intelligent Video Surveillance) أداة حيوية في ضمان الأمن وإدارة المخاطر. تعتمد معظم هذه الأنظمة على استخدام الكاميرات المخصصة لتسجيل المشاهد خلال النهار والليل، مما يستدعي استخدام مستشعرات متنوعة لتحقيق أداء أفضل.

تتمحور الفكرة الأساسية حول استخدام كاميرات الأشعة تحت الحمراء طويلة الموجة التي تعمل بشكل مستمر، بالإضافة إلى كاميرا أخرى تسجل في الطيف المرئي خلال النهار، مع وجود خوارزمية ذكية لمراقبة الصور الملتقطة. وهذا يفتح الأبواب أمام تطبيق متقدم لاكتشاف الكائنات باستخدام الشبكات العصبية التلافيفية (Convolutional Neural Networks) من خلال تحليل متعدد الأطياف.

تظهر الفروق الواضحة بين الصور المأخوذة من الطيف المرئي وتلك في نطاق الأشعة تحت الحمراء، حيث تتسم الأولى بوجود المعلومات اللونية ونسيج واضح، بينما تفتقر الثانية للبيانات المتعلقة بالإشعاع الحراري المنبعث من الأجسام. تُعتبر الألوان ذات قيمة كبيرة في مهام التصنيف، إلا أن التغيرات في الإضاءة وخصائص المستشعرات المختلفة تشكل تحديات كبيرة.

تبقى مسألة الحصول على مجموعات بيانات حرارية كافية وفعالة لتدريب الشبكات العصبية العميقة (Deep Neural Networks) واحدة من أكبر التحديات في هذا المجال. لذلك، قد يكون تدريب الشبكات بمساعدة البيانات من الطيف المرئي أمرًا مفيدًا، خاصةً إذا كانت البيانات المطلوبة تحتوي على معلومات مرئية وحرارية معًا.

على الرغم من الفوائد المحتملة، إلا أنه ليس هناك دليل واضح على مدى تأثير التغيرات في الإشعاع الحراري أو المعلومات اللونية على دقة التصنيف. لتحقيق فهم أعمق لطريقة اتخاذ الشبكات العصبية التلافيفية للقرارات وما تتعلمه من بيانات مستشعرات مختلفة، نتناول دراسة مدى ملاءمة ومرونة تقنيات التعزيز المختلفة.