في عالم الذكاء الاصطناعي، تستمر الابتكارات في فتح آفاق جديدة لتطوير تقنيات الأمن السيبراني. من بين هذه الابتكارات، يبرز DiagChain كمؤشر تشخيصي لمعايير الأداء في نماذج اللغة الكبرى (Large Language Models) التي تسعى إلى إعادة بناء سلاسل الهجمات الرقمية. يقدم DiagChain نموذجاً يتيح تقييم الأداء بطريقة شاملة تركز على مراحل إعادة البناء المختلفة، مما يساعد في فهم كيفية نشوء الأخطاء وانتشارها عبر مراحل التفكير.

تشمل مجموعة MAIN-69، التي تتضمن 69 سيناريوًّا، مجموعة متنوعة من أنظمة التشغيل وأطوال سلاسل الهجمات، مما يتيح تنوعاً في التقييم. ويتم استخدام تقنية استرجاع البيانات المعززة بالدليل (Evidence-Centric Retrieval-Augmented Generation - ECRAG) والتي تربط بين استرجاع الأدلة وتمثيل هيكلي متطور لسلسلة الهجمات المعاد بناؤها. كما تم إدخال خمس مقاييس مكمّلة لتقييم مراحل مختلفة من عملية إعادة البناء، مما يسهل تشخيص الأخطاء بشكل منهجي.

نتائج التقييمات التي أجريت باستخدام ستة نماذج لغة كبرى أظهرت أن أفضل التك configurations تحقق نجاحًا في 39.6% فقط من 849 خطوة مرجعية في MAIN-69. يُبين التحليل أن النماذج الأصغر نادراً ما تنجح في دمج الأدلة المسترجعة في مخرجاتها، بينما تُظهر النماذج الأكبر أداءً أفضل في المراحل اللاحقة، حيث يصبح الترتيب الصحيح لهذه الأدلة هو العقبة الرئيسية.

تشدد هذه النتائج على أهمية التقييم التشخيصي الذي يتجاوز دقة النتائج النهائية، وتوفر رؤى عملية لتحسين وكالات الأمن السيبراني المدعومة بالأدلة.

هل تعتقد أن DiagChain سيحدث ثورة في طرق تقييم نماذج الذكاء الاصطناعي؟ دعنا نعرف رأيك في التعليقات!