في عالم [الذكاء الاصطناعي](/tag/الذكاء-الاصطناعي) ([AI](/tag/ai)) النامي بسرعة، أصبحت [الأنظمة الذكية](/tag/الأنظمة-الذكية) مثل [OpenClaw](/tag/openclaw) جزءاً لا يتجزأ من تسهيل تدفق العمل المحلي، مما يُلزمها بالوصول إلى [أدوات](/tag/أدوات) خارجية متنوعة. لكن هذا التقدم التكنولوجي جاء معه خطر [جديد](/tag/جديد): [مخاطر](/tag/مخاطر) التلقين غير المباشر (Indirect Prompt Injection - IPI).
تتجلى هذه [المخاطر](/tag/المخاطر) عندما يقوم الوكيل الذكي بتنفيذ [تعليمات](/tag/تعليمات) ضارة مخفية في مدخلات غير موثوقة، مثل رسائل البريد الإلكتروني، أو الملفات المحملة، أو الصفحات الإلكترونية، أو حتى الرسائل في مجموعات [الدردشة](/tag/الدردشة). وبما أن [التقييمات](/tag/التقييمات) الحالية تُظهر قيوداً متعددة، سواء من حيث حجمها أو [محاكاة](/tag/محاكاة) مواقف محدودة، يتم تقديم LivePI كحل مبتكر.
يتضمن LivePI معياراً منظمًا لمخاطر التلقين غير المباشر، مما يوفر [بيئة](/tag/بيئة) اختبار قريبة من [إنتاجية](/tag/إنتاجية) النظام الحقيقي، مع [فحص](/tag/فحص) سبع [واجهات](/tag/واجهات) إدخال، واثنى عشر عائلة من [هجمات](/tag/هجمات) التنفيذ والتقديم، وخمسة أهداف خبيثة تشمل: استخراج [المعلومات](/tag/المعلومات) المحمية، وتغييرات غير مصرح بها في [أدوات](/tag/أدوات) الأمان، واسترجاع أو [تنفيذ](/tag/تنفيذ) [كود](/tag/كود) غير آمن، واستخراج [ملخصات](/tag/ملخصات) البريد الوارد، وتحويل [العملات المشفرة](/tag/العملات-المشفرة).
باستخدام [بيئة](/tag/بيئة) اختبار يتم [التحكم](/tag/التحكم) فيها، تم تشغيل LivePI على آلة افتراضية حقيقية تتضمن [واجهات](/tag/واجهات) حية للبريد الإلكتروني، والدردشة، والويب، والملفات المحلية، ومستودعات البرمجة، ومحافظ العملات.
تراوحت معدلات [نجاح](/tag/نجاح) الهجمات بين 10.7% و29.6% [عبر](/tag/عبر) [نماذج](/tag/نماذج) مثل [GPT-5.3](/tag/gpt-53)-Codex، وClaude Opus 4.6، وGemini 3.1 Pro، وKimi K2.5، وGLM-5. وتبين أن [هجمات](/tag/هجمات) [الدردشة](/tag/الدردشة) الجماعية كانت ناجحة بشكل موحد [عبر](/tag/عبر) مختلف النماذج، بينما حققت [هجمات](/tag/هجمات) روابط المستودعات أعلى نسب [فشل](/tag/فشل) على الرغم من قلة الهجمات.
لضمان الحماية، تم [تقييم](/tag/تقييم) [دفاع](/tag/دفاع) ذو طبقتين يتكون من [تصفية](/tag/تصفية) على مستوى المنبه وتفويض استدعاء الأداة قبل التنفيذ. في [بيئة](/tag/بيئة) [GPT-5.3](/tag/gpt-53)-Codex، استطاع هذا الدفاع اعتراض جميع الأهداف الخبيثة المُختبرة في LivePI، مما يضمن الحفاظ على الفائدة العامة في العمل أثناء [تنفيذ المهام](/tag/[تنفيذ](/tag/تنفيذ)-المهام) المبتكرة.
LivePI: معيار جديد يثري تقييم المخاطر في ذكاء الخوارزميات!
تقدم LivePI فحصاً دقيقاً لمخاطر البرمجة غير المباشرة في الوكالات الذكية. تتبع هذه الأداة الجديدة نهجاً مبتكراً لتقييم قدرة الأنظمة على التعامل مع التهديدات المحتملة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
