تُعد حالات التردد والقلق من العناصر المعقدة التي تؤثر على سلوك الأفراد نحو التغيير الصحي، ولكن التعرف عليها على مستوى الفيديو يمثل تحديًا كبيرًا. حيث يُمكن أن تتداخل الإشارات من الوجه، الصوت، اللغة، والجسد لتظهر بشكل مختلف بين الأفراد. في خطوة مبتكرة، تم تقديم إطار العمل PRISM-AH (Predictive Reasoning over Interacting Streams for Multimodal Ambivalence/Hesitancy Recognition) لتقييم التردد والقلق كمشكلة متعددة الوسائط تتطور مع مرور الوقت.

يعمل الإطار عن طريق دمج أكواد الفيديو المجمدة والصوت والنص في نوافذ زمنية قصيرة تُمرر إلى نموذج خفيف للتدفق، حيث يُقيم التوتر بين الأنماط المختلفة، ويتنبأ بكل نافذة لاحقة لإظهار إشارات التردد. كما يكتشف الأنماط السلوكية ويستند إلى بيانات المشاركين. يتم الإشراف على نموذج التعلم عبر تعيينات كثيفة على مستوى النوافذ كنقطة هدف مساعدة، ويتم تعديل عتبة اتخاذ القرار لتحقيق أفضل نتائج فحص.

تتجاوز نتائج PRISM-AH التوقعات من خلال تحقيق معدل F1 (macro F1) قدره 0.6133 في اختبار معتمد على 525 فيديو، في حين أن نموذج الأساس السابق لم يتجاوز 0.2827. لقد تم التحقق من قدرة الإطار على نقله من اللائحة إلى اختبار أكبر، مما يعكس تطورًا ملحوظًا في كيفية فهمنا لحالات التردد والقلق في السلوكيات الصحية.

مع تزايد أهمية تحليل الحالة العاطفية عبر الوسائط المتعددة، يُعتبر PRISM-AH بمثابة خطوة هامة نحو تطوير أدوات ذكاء اصطناعي قادرة على فهم الإنسان بشكل أفضل. ماذا تعتقدون بشأن هذه التقنية؟ شاركونا آرائكم في التعليقات!