ثورة في التعرف على الشخصية: دمج إشارات الوجه والنصوص باستخدام نماذج لغة ضخمة

#### التعرف على الشخصية في المقابلات عبر الفيديو

أصبح التعرف على الشخصية أمرًا مهمًا للغاية في عصر المقابلات عبر الفيديو العصرية (Asynchronous Video Interviews - AVIs). ففي وقت تتزايد فيه عملية استخدام تلك المقابلات في التوظيف، تظهر الحاجة لتقنيات متقدمة تساعد في تقييم المتقدمين بشكل أدق.

غالبًا ما تعتمد الأساليب الحالية على نماذج اللغة الكبيرة (Large Language Models - LLMs) لتحليل الإجابات النصية للمشاركين. لكن هذه الأساليب الأحادية (Unimodal) تعاني من فقدان المعلومات، مثل تجاهل الإشارات غير اللفظية التي يقدمها الوجه. في المقابل، اللجوء إلى الأساليب متعددة الأنماط (Multimodal) من خلال استخدام صور الوجه الكاملة أو إطارات مختارة قد يفقد ديناميكيات زمنية دقيقة، وهو ما يؤثر على دقة التقييم.

#### الحل المعتمد على دمج النصوص وإشارات الوجه

لمواجهة هذه التحديات، تم اقتراح إطار عمل مبتكر يستند إلى LLMs يجمع بين إشارات الحركة الوجهية (Facial Action Units - AUs) والنصوص. يتم في البداية تحويل تسلسل إشارات الحركة الوجهية إلى أوصاف نصية تفسر، ثم يتم دمجها مع استجابات المشاركين النصية من خلال النموذج.

تقوم رأس الانحدار الخفيف (Lightweight Regression Head) بتحويل التضمينات الناتجة إلى درجات شخصية مستمرة دون التأثير على الفضاء الدلالي الأساسي. وأظهرت التجارب التي أجريت على مجموعة بيانات AVI-6 تحسنًا متسقًا مقارنة بمعظم الأساليب السابقة، مع تقليل أخطاء التنبؤ وزيادة التوافق مع الدرجات المعطاة من قبل البشر عبر صفات متعددة.

تُظهر التحليلات الإضافية أن التمثيلات الدلالية المستمدة من إشارات الحركة الوجهية توفر إشارات غير لفظية مكمّلة للاستجابات النصية. كما أن فصل الفهم الدلالي عن توقع الانحدار داخل النموذج يعزز استقرار التدريب ووضوح التفسير.

#### الخلاصة

تشير هذه النتائج إلى أن دمج النصوص مع إشارات الحركة الوجهية يقدم إطار عمل مستنداً إلى علم النفس وفعالاً من الناحية الحسابية، مما يعزز عملية التعرف على الشخصية في المقابلات عبر الفيديو.