نشهد اليوم زيادةً ملحوظة في استخدام نماذج اللغة الكبيرة (LLMs) في مجموعة واسعة من المهام الأمنية، سواء كانت تتعلق بالبرمجيات أو الأجهزة أو قضايا الإنسان. يعد قياس أداء هذه النماذج في مواجهة التحديات الأمنية موضوعًا حيويًا يتطلب المزيد من البحث والدراسة، لذا أصبح من المهم تحديد الفجوات في معرفتها المتعلقة بالأمن.

تُعَدُّ استراتيجيات بناء قواعد للتحديات والأسئلة المعقدة من بين الطرق شائعة الاستخدام لكشف هذه الفجوات، ولكنها تتطلب جهداً يدوياً كبيراً وخبرة أمنية عالية. هنا تأتي طريقتنا الجديدة التي تقدم اختبارًا آليًا جزئيًا لتقييم معرفة نماذج اللغة في مجالات الأمن.

تستند هذه الطريقة إلى المعلومات المعتمدة من وكالات حماية المستهلك (CPAs) لتحديد عدم الاستقرار في استجابات النماذج، مما قد يدل على وجود فجوات في المعرفة. قمنا بتطبيق هذه الطريقة على موضوعين للأمن، وهما الاحتيال على الهوية وعمليات الاحتيال بالمتنكرين، لتقييم خمسة نماذج من عائلتين رائدتين هما Gemini و GPT، باستخدام المعلومات المتاحة حول الاحتيال على الهوية وعمليات الاحتيال من ست وكالات حماية المستهلك.

لقد أظهرت النتائج أن هذه الطريقة تستطيع تمييز النماذج القادرة على تحديد مواضيع الأمن بدقة، من تلك التي تعاني من قصور في المعرفة. تمثل هذه الإنجازات خطوة مهمة نحو تحسين كفاءة نماذج الذكاء الاصطناعي في مواجهة التحديات الأمنية المتزايدة والمتنوعة في عالمنا اليوم.

ما رأيكم في هذه الطريقة الجديدة؟ هل ترون أنها ستساهم في تعزيز أمان المعلومات؟ شاركونا في التعليقات!