في عالم التعليم الرقمي الحديث، تكتسب نماذج اللغة العملاقة (LLMs) دوراً بارزاً كأدوات للتقييم التلقائي للإجابات القصيرة (ASAG)، مما يسهم في تحسين كفاءة ومرونة عملية التقييم. ومع ذلك، فإن استخدام هذه النماذج كوكلاء تقييم في بيئات تعليمية حقيقية يُبرز مخاطر خطيرة تتعلق بالأمن والثقة.
في هذا السياق، تم تقديم دراسة جديدة تحت عنوان 'GradingAttack'، والتي تعتمد على إطار هجوم معرفي دقيق يتناول اختبار الثغرات الأمنية في وكلاء التقييم التعليمي المدعومين بنماذج اللغة العملاقة.
تتضمن الدراسة استراتيجيات هجوم على مستوى الرموز ومستوى المحفزات، تستهدف تعديل نتائج التقييم مع الحفاظ على مستوى عالٍ من التخفي، مما يكشف عن نقاط ضعف أساسية في نشر الوكلاء الحاليين.
أظهرت التجارب التي تم إجراؤها على مجموعات بيانات متعددة أن كلا الاستراتيجيتين لهما قدرة فعالة في اختراق وكلاء التقييم، حيث حققت هجمات مستوى المحفزات معدلات نجاح أعلى، بينما أظهرت هجمات مستوى الرموز قدرات تخفي متفوقة.
تُظهر النتائج أن الوكلاء التعليميين المعتمدين على نماذج اللغة العملاقة يفتقرون إلى دفاعات موثوقة ضد الهجمات العدائية، مما يُبرز الحاجة الملحة لتطوير أنظمة وكيلة آمنة وموثوقة تُستخدم في تطبيقات التعليم الحرجة.
هجوم GradingAttack: كشف ثغرات الأمان في وكلاء التقييم التعليمي المعتمدين على نماذج اللغة العملاقة
تقدم دراسة جديدة تحت عنوان 'GradingAttack' نظام هجوم معقد يكشف عن ثغرات الأمان في وكلاء التقييم التعليمي. تُظهر النتائج ضرورة تعزيز الأمان والثقة في هذه الأنظمة المستخدمة في التعليم الحالي.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
