اكتشف قبل أن تنقح: دراسة تشخيصية لنماذج اللغات الصغيرة في الأمن السيبراني!

تتزايد أهمية نماذج اللغات الكبيرة (Large Language Models - LLMs) في مجال الاستجابة للأسئلة (Question-Answering - QA) داخل مجالات حاسمة مثل الأمن السيبراني. ولكن، يتبقى سؤال مُلح: كيف نختار النموذج الصغير الأنسب للتكيف معه قبل أن نتكبد تكلفة التكييف؟

تقدم هذه الدراسة الجديدة إطار العمل FiT (Find before Fine-Tune)، الذي يمثل أداة تشخيصية تركز على تقييم النماذج الصغيرة وفقاً لثلاث قدرات أساسية مطلوبة للأمن السيبراني:
1. التعرف على المفردات.
2. المعرفة البارامترية.
3. سياق المعلومات المسترجعة.

من خلال تطبيق إطار FiT، أجرينا دراسة تجريبية على خمسة نماذج مفتوحة الوزن بحجم 7 مليارات بارامتر، تحت نظامين من التكييف. وقد كشفنا أن التكييف لا يؤدي دائماً إلى تحسين الأداء؛ بل وصلنا إلى استنتاجات شائكة. حيث أن التكييف غالبًا ما يؤدي إلى تدهور في المعرفة والمفردات والمعلومات البارامترية في النماذج الصغيرة.

وعند استهداف المعرفة، تسبب التكييف المعتدل في تدهور بسيط مع الحفاظ على الرتبة، بينما أثر التكييف الذي يركز على التعليمات بشكل كبير على المعرفة المُقاسة.

من خلال تحليل الارتباطات، قمنا بتقدير أن درجات FiT قبل التكييف يمكن أن تتنبأ بتغييرات الأداء التالية. استنتاجاتنا تشير إلى أنه من خلال التشخيص القائم على المهام، يمكننا استبعاد النماذج غير المناسبة، وتفادي التكييف غير الضروري، وتعزيز الاستخدام الآمن لنماذج اللغات الصغيرة في برمجيات QA للأمن السيبراني.

هل أنت جاهز لاستكشاف أحدث تطورات الذكاء الاصطناعي في الأمن السيبراني؟ شاركونا آراءكم في التعليقات!