هجوم قناة الخيارات: كيف تُشكل الكلمات المدخلات العميقة لنماذج القرار؟

في عصر الذكاء الاصطناعي، تُعتبر نماذج القرار ذات النوعية (Typed Decision Models) أداة قوية تُستخدم لتفسير النصوص واتخاذ قرارات مبنية على خيارات محددة مسبقاً. ومع ذلك، تكشف الأبحاث الحديثة عن تهديدات خطيرة تواجه هذه النماذج عند استخدامها كعناصر توجيهية في أنظمة الوكلاء (Agent Systems).

يتمثل التحدي في أن هذه النماذج تتعرض لأسلوب هجوم جديد يعرف باسم هجوم قناة الخيارات (Option-Channel Attack). يتمثل في إدخال نصوص معينة تؤدي إلى اتخاذ قرارات خاطئة، حيث تقسم الأخطاء إلى نوعين: الأخطاء التي تسمح بإجراء محظور (fail-open) وأخرى تمنع إجراء معتمد (fail-closed). وتظهر النتائج أن دقة اتخاذ القرارات تتراوح بين 36% و72%، مما يشير إلى أن النماذج بحاجة ماسة إلى تحسين.

وفي اختبارات متعددة، تم العثور على أن الأسماء الخادعة للخيارات، رغم عدم تغيير تعريفها، تؤدي إلى زيادة كبيرة في معدل الفشل في اتخاذ القرارات الصحيحة. على سبيل المثال، يمكن أن يؤدي إدخال نصوص لا تتعلق بالسياسة إلى زيادة معدل الفشل من 0% إلى 63%، مع نماذج أخرى قد تصل نسبة الفشل فيها إلى 100%.

وعلى الرغم من الدفاعات التي تم اختبارها، أثبتت أن جميعها يمكن أن تُخترق بواسطة هجمات تستهدف آلياتها أو نصوص متحكم فيها من قبل المهاجمين. تقدم الأبحاث دليلاً قاطعاً على أن النماذج الحالية، رغم قدرتها على تقليل عدد الحالات التي تصل إلى المراجعين، لا يجب أن تتولى مهمات اتخاذ القرارات.

إذا كنت مهتمًا بتفاصيل هذه الأبحاث، يمكن الاطلاع على الشيفرة البرمجية المتاحة على GitHub: دليل الشيفرة. ماذا تعتقد عن ضرورة تعزيز أمان نماذج القرار؟ شاركونا آراءكم في التعليقات.