في عصر يتزايد فيه استخدام الذكاء الاصطناعي (AI)، أصبحت الهجمات الهندسية الاجتماعية أكثر سلاسة ومرونة، مما يستوجب تطوير نماذج تعتمد على الذكاء الاصطناعي لحماية المستخدمين خلال التفاعلات الحية.

تتساءل دراسة حديثة عن ما إذا كانت هذه النماذج الدفاعية قادرة على تحديد المصدر الهيكلي للمخاطر أو أنها تتفاعل فقط مع النتائج السطحية. تم توضيح هذا المفهوم من خلال "تعيين سلسلة الثقة"، والذي يتضمن تحديد ما إذا كانت التفاعلات تفشل نتيجة لسلطة الفاعل، أو التحكم في الأصول، أو كفاية التحقق، أو مسار المعاملات.

لتحقيق ذلك، صممت الدراسة قاعدة بيانات على الإنترنت تتضمن 300 حالة موزعة على 20 سيناريو مختلف، بما في ذلك حالات مشروعة وأربعة أوضاع فشل هيكلي وثلاث حالات سطحية مختلفة. تم تقييم خمسة نماذج دفاعية على نفس القاعدة في إعدادات ديناميكية وتفاعلية، مما نتج عنه 1,500 تقييم لكل نموذج و3,000 إجمالاً.

أظهرت النتائج أن لا نموذج تمت مراجعته أظهر التزامًا غير آمن بشكل صريح، لكن فعالية الدفاع تفاوتت بشكل حاد، حيث تراوحت معدلات التدخل من 0% إلى 96.3%. كما أن العمل الواقي والتحديد الصحيح للهيكل قد انفصلا غالبًا، حيث تدخلت بعض النماذج عند تحديد العنصر الخاطئ للثقة أو التعرف على فشل هيكلي دون اتخاذ إجراء وقائي.

عُدَّت إخفاقات التحكم في الأصول عقبة رئيسية في عملية التحديد، وكانت حساسية السطح تختلف بين النماذج، وكانت الاختلافات بين الديناميكية والثابتة تعتمد على النموذج. تُظهر هذه النتائج أن السلوك الآمن فقط لا يكفي، ويجب قياس مقاومة الاحتيال التفاعلي من خلال التدخل، التوقيت، التحديد الهيكلي، وسلوك الإيجابيات الكاذبة بشكل منفصل.