تتزايد استخدامات نماذج اللغات الضخمة (Large Language Models) في مساعدة محللي الأمن في مواجهة تزايد التهديدات السيبرانية، حيث تقوم هذه النماذج بأتمتة العديد من المهام بدءًا من تقييم الثغرات وصولًا إلى استجابة الحوادث. ومع ذلك، تظل هناك فجوات كبيرة في موثوقيتها عند استخدامها في عمليات الذكاء السيبراني (Cyber Threat Intelligence).

غالبًا ما تشير التفسيرات الحالية إلى مشاكل عامة في النماذج، مثل ظاهرة الهلوسة (hallucination)، لكننا نرى أن العائق الرئيسي يكمن في طبيعة المشهد التهديدي نفسه؛ حيث يتميز الذكاء السيبراني بتنوعه وتقلبه وهيكله المجزأ. في ظل هذه الظروف، تتداخل الأدلة وتكون في كثير من الأحيان مصدرًا جماعيًا وغير مستقر زمنيًا، وهي خصائص لا تلتقطها الدراسات القياسية القائمة على نماذج اللغات الضخمة.

في هذا السياق، نقدم دراسة تجريبية شاملة حول نقاط الضعف في نماذج اللغات الضخمة في عمليات الذكاء السيبراني. نقدم إطار تصنيف يتضمن تدخل العنصر البشري، مما يساعد في تصنيف أنماط الفشل على مدار دورة حياة الذكاء السيبراني، متجنبين هشاشة الأنظمة الأوتوماتيكية التي تعتمد على نماذج اللغات. نحدد ثلاثة أنواع معينة من الفشل الإدراكي: الت correlations الخاطئة الناتجة عن البيانات السطحية، المعرفة المتناقضة من مصادر متعارضة، والتعميم المقيد أمام التهديدات الناشئة.

قمنا بالتحقق من هذه الآليات من خلال التدخلات السببية، وأظهرنا أن الدفاعات المستهدفة تقلل بشكل كبير من معدلات الفشل. جميع هذه النتائج توفر خارطة طريق واضحة لبناء وكلاء معرفيين متفوقين ويدركون طبيعة التهديد.