في عالم يتسارع فيه التطور التكنولوجي، تظهر تقنية جديدة تحمل في طياتها قدرة غير متوقعة على فهم أحاسيس الأفراد عبر مقاطع الفيديو.
يسعدنا أن نقدم لكم "تيلتيل" (TellTale)، وهي مبادرة مبتكرة تم تصميمها خصيصًا للتعرف على مشاعر التردد والشك (Ambivalence/Hesitancy) ضمن مقاطع الفيديو الخاصة بالمقابلات. تم اختبار هذه التقنية على مجموعة بيانات BAH كجزء من التحدي الثالث للتعرف على التردد/الشك في الفيديو (A/H Video Recognition Challenge) في ورشة العمل الحادية عشرة لمؤتمر ABAW، الذي سيعقد في عام 2026.
تعتمد تقنية تيلتيل على نصوص المقابلات فقط، مما يجعلها مبتكرة في طريقة عملها؛ حيث تدمج ثلاثة مسارات احتمالية مستقلة. يتم استخدام معالجين نصيين (multilingual-e5-large وmDeBERTa-v3-base) اللذان تم تحسينهما باستخدام محولات LoRA بطريقة فعّالة، وذلك بهدف التعلم من البيانات المتعددة. وتقوم المنهجية الفريدة بتقييم أجزاء النصوص بشكل فردي، ثم تجميع النتائج باستعمال عملية سلسة للحد الأقصى، بحيث تظل التسمية العامة لكل فيديو فقط تحت سيطرة المشرف.
ولا تتوقف المبتكرة عند هذا الحد، بل تُضاف إليها مسار ثالث يتطلب عدم وجود تدريب: إذ يتم تفعيل نموذج لغة تعليمات بحجم 14 مليار بدون أي تعليمات سابقة، ليستعرض كل نص ويقيم أبعاد التردد والشك دون الحاجة لتدريب معقد.
وبالمثابرة على دمج هذه الاحتمالات الثلاثة عبر متوسط مرجح وعتبة قرار واحدة، تمكنت تيلتيل من تحقيق نتيجة Macro-F1 تصل إلى 0.7364 ونسبة دقة متوسطة تقدر بـ 0.7940 على مجموعة الاختبار الخاصة المكونة من 152 فيديو لمشاركين غير معروفين، مما يُظهر تفوقها الكبير مقارنة بالأساليب التقليدية القائمة على الرؤية، التي حققت Macro-F1 بلغت 0.2827 فقط.
بهذا الابتكار، تقترب تيلتيل من تغيير طريقة فهمنا لمشاعر الناس، مما يتيح مجالات جديدة للبحث والتطوير في مجالات التواصل الإنساني ودراسة مشاعرنا.
تيلتيل: ثورة جديدة في التعرف على التردد والشك في مقاطع الفيديو باستخدام تقنيات متقدمة!
يقدم مشروع تيلتيل تقنية مبتكرة للتعرف على التردد والشك في المقابلات بالفيديو باستخدام نموذج نصي فقط. يعتمد على مجموعة بيانات متقدمة ويحقق نتائج تفوق الأساليب التقليدية.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
