في عالم الذكاء الاصطناعي المتطور، تُعتبر التفاعلات الشخصية الفعّالة ضرورة ملحة، مما يستدعي بناء نماذج مدروسة من نوايا وسلوكيات المستخدم. ولطالما كانت مهمة بناء هذه النماذج من سلوكيات الشاشة غير المنظمة تحدياً كبيراً. هنا يأتي دور نظام SERUM، الإطار المتعدد المراحل الذي يبتكر طريقة جديدة لاستخراج نماذج سلوكية من الفيديوهات الشخصية غير المنظمة.

يعمل SERUM من خلال معالجة تسجيلات الشاشة باستخدام تقنية نافذة انزلاقية، حيث يتفاعل بين تحديد النشاط (activity-recognition) واستنتاج النية (intent-inference) مع كل مرحلة تصفية اللصقات وفقاً للسياق السياقي المتراكم. هذا النظام يهدف إلى تقليل الهلاوس ومشاكل التداخل الزمني التي تظهر في عمليات التوثيق الأحادي.

تُدمج الحالات المرادفة باستخدام تضمينات الجمل (sentence embeddings) ومعايير يتم ضبطها من قبل البشر، مما يؤدي إلى تجميع منظم وفعّال لمفاهيم السلوك. تم تقييم هيكل السلوك من خلال اعتماد نماذج ماركوف ذات الترتيب الأول على التسلسلات الناتجة (لكل من الأفعال والنوايا) وقياس الدقة التنبؤية بالمقارنة مع المعايير التقليدية.

كما أظهرت التجارب عبر 61 فيديو شخصي ولديها أربع مجالات مختلفة، النتائج التالية:
1. إن عملية تصفية اللصقات المتكرر تؤدي إلى توافق جذري، وهو ما نسميه توازن مخطط.
2. نماذج ماركوف المنضبطة تحقق انخفاضاً ملحوظاً في التعقيد وزيادة في دقة التنبؤ عند تنفيذ المهام المنظمة، مثل الترميز.
3. تقييم المحللين البشريين للأعضاء النهائية يعد أكثر دقة وبشكل فعّال مقارنة بالأعضاء الأولية.

باختصار، يمثل SERUM نقطة انطلاق جديدة في إنتاج نماذج عملية قابلة للفهم من مقاطع الفيديو غير المنظمة، مما يفتح باباً واسعاً لتحسين فهم سلوكيات المستخدم في الحياة اليومية. يُمكن للجمهور الآن الوصول إلى العرض التجريبي، والتعليمات البرمجية، والنتائج المتاحة للجميع.