في عالم الذكاء الاصطناعي، تتزايد التهديدات الأمنية بشكل كبير، ومن أبرز هذه التهديدات هجمات حقن الأوامر (Prompt Injection Attacks) التي تستهدف الوكلاء الذكيين. تعتبر وكالات استخدام الكمبيوتر (Computer Use Agents) أحد التطبيقات العملية للذكاء الاصطناعي الذي يتفاعل مع واجهات المستخدم (UI) ويتخذ قرارات في الوقت الحقيقي. لكن كيف يمكن لهذه الأنظمة أن تحافظ على أمانها في وجه هذه التهديدات؟

تقدم الدراسات حلاً مبتكرًا من خلال استخدام العزل المعماري، والذي يضمن فصل تخطيط المهام الموثوق عن مراقبة البيئة غير الموثوقة. ورغم أن هذه الاستراتيجية قوية، إلا أنها تواجه تحديًا كبيرًا عند تطبيقها على وكالات استخدام الكمبيوتر التي تتطلب مراقبة مستمرة لحالة واجهة المستخدم لتحديد كل إجراء. هنا يظهر الحل المقدم من خلال نموذج يسمى NOVA (Navigating via Observation, Verification, and Action).

يعتمد NOVA على التخطيط الأحادي الدفع، حيث يقوم المخطط الموثوق بتوليد خطط شاملة من جميع الحالات المحتملة مما يضمن سلامة تدفق تنفيذ الأوامر. وعند تطبيق هذا النظام، تم تقييم الأداء في سيناريوهات محاكاة على OSWorld، حيث أظهرت النتائج احتفاظ النظام بما يصل إلى 57% من الأداء عند مقارنته بالنماذج المتقدمة، مع تحسين الأداء لأحجام أصغر من النماذج مفتوحة المصدر بنسبة تصل إلى 19%.

ومع ذلك، لا يزال هناك مكان للدفاعات الإضافية ضد هجمات توجيه التفرع (Branch Steering)، حيث يمكن أن يحاول المهاجمون خداع النموذج لإعادة توجيه التنفيذ إلى مسارات مفضلة لديهم، مثل توجيه الوكيل إلى مواقع خبيثة. لهذا، من الضروري تعزيز الأمان وتقوية الأنظمة لضمان ملاءمتها لبيئة التهديدات المتزايدة.

في الختام، يسلط هذا التطور الضوء على كيفية تمكين وكالات استخدام الكمبيوتر من البقاء قوية وأمنة في ساحة معركة الهجمات الخبيثة. هل تعتقد أن هذه الحلول ستحدث فارقًا حقيقيًا في الأمان الرقمي؟ شاركونا آراءكم في التعليقات.