معلومات تهديدات السايبر (Cyber Threat Intelligence) تعتبر ركيزة رئيسية لأمن المعلومات في عالم اليوم، حيث تساعد المؤسسات على الدفاع بشكل استباقي ضد التهديدات المتطورة. إلا أن الكم الهائل من بيانات معلومات التهديدات، التي تشمل قواعد المعرفة المهيكلة مثل CVE وCWE وCAPEC وMITRE ATT&CK، فضلاً عن التقارير غير المهيكلة، يُمثل تحديًا كبيرًا بتجاوز قدرة التحليل اليدوي.

تزايد الاهتمام بتطبيق نماذج اللغات الضخمة (Large Language Models) في مهام معلومات التهديدات، لكن لا يوجد معيار يُقيّم أداء هذه النماذج في بيئات تتضمن الاسترجاع بشكل مناسب.

تقدم CTIConnect المعايير الجديدة لتقييم أداء نماذج الذكاء الاصطناعي في مهام معلومات التهديدات. يشتمل هذا المعيار على بيئة تقييم موحدة تجمع بين خمسة مصادر متنوعة لمعلومات التهديدات، مما ينتج عنه 1,860 زوجًا من أسئلة الأجوبة المعتمدة من الخبراء، تمتد عبر تسعة مهام موزعة على ثلاث فئات: ربط الكيانات (Entity Linking)، دمج الوثائق المتعددة (Multi-Document Synthesis)، ونسب الكيانات (Entity Attribution).

أظهرت التجارب الواسعة التي أجريت على عشرة نماذج متطورة من الذكاء الاصطناعي أن الفجوة الدلالية بين المصادر تت manifest بطريقة مختلفة عبر الفئات، مما يستدعي استراتيجيات استرجاع فريدة لكل فئة. علاوة على ذلك، أثبتت استراتيجياتنا الخاصة بالتخصص في المجال تفوقها على paradigms الاسترجاع العامة، مما يؤكد أهمية التدخلات الهيكلية بدلاً من التحسينات العامة.

تُظهر هذه النتائج استقرارًا مُرضيًا عبر جميع النماذج العشر وتبقى ثابتة في فترات زمنية تمتد من 2008 إلى 2025، مُقدمة إرشادات قابلة للتنفيذ لتصميم بنى استرجاعية قابلة للتوسع في بيئات معلومات التهديدات المتنوعة.