نقاط مرجعية نماذج اللغات الضخمة في الأمن السيبراني: حاجة ماسة للتدقيق في موثوقية الأداء!

في عالم الأمن السيبراني المتطور، تُعتبر نماذج اللغات الضخمة (LLMs) واحدة من الأدوات الأكثر أهمية. لكن دراسة جديدة تقدم نتائج مدهشة، حيث تُظهر أن أداء هذه النماذج لا يعتمد فقط على كفاءتها الأصلية، بل أيضًا على طرق تقييمها.

قام الباحثون بتدقيق ثمانية نقاط مرجعية في الأمن السيبراني شملت عشرة نماذج، سواء كانت تجارية أو مفتوحة المصدر، مع التركيز على تنوع طرق التقييم. خلال هذا التدقيق، تم التعرف على 15 نمط فشل منهجي، مما يشير إلى أن اختيار عمليات التقييم يمكن أن يغير نتائج النموذج بشكل جذري، حيث يمكن أن تتفاوت الدرجات بأكثر من 80 نقطة مئوية.

ولم يكن هذا كل شيء، فقد عُثر أيضًا على أن زوجين من المهام ذات الأهداف المماثلة يقيّمان نفس النماذج بشكل مختلف نظرًا للاختلافات في أساليب التقييم. تحت توقيع معايير موحدة، أظهرت النتائج أن تسعة من بين عشرة نماذج قد غيرت ترتيبها بمقدار ثلاثة مراتب على الأقل في نقطة مرجعية واحدة.

هذه النتائج تعزز الدعوة للتدقيق الواعي في عمليات التقييم كشرط أساسي لتقييم موثوق للنماذج في هذا المجال الحيوي، مما يلقي الضوء على أهمية وجود قواعد بيانات موثوقة ومتسقة لقياس أداء نماذج الذكاء الاصطناعي في الأمن السيبراني.