في عصر تتزايد فيه الاعتماد على نماذج الذكاء الاصطناعي لأغراض البحث، تبرز تحديات جديدة تتعلق بأمان هذه النماذج. وكما هو معروف، يستخدم الكثير من الناس وكالات البحث المبنية على نماذج اللغات الضخمة (Large Language Models) للبحث عن المعلومات شديدة الأهمية، لكن هذا الاعتماد يحمل في طياته مخاطر أمان جسيمة.

تدور المخاطر حول ضعف موثوقية المحتوى المسترجع أثناء تنفيذ العمليات، مما يجعل وكالات البحث عرضة لهجمات تسمى بحقن التعليمات البرمجية (prompt injection) واختطاف الأهداف (goal hijacking). على الرغم من أن الدراسات السابقة ركزت على استخراج المحتوى الثابت من الويب، تقوم الوكالات الحديثة بإصدار استفسارات تابعية والتحقق من مصادر متنافسة، مما يعني أن صفحة واحدة مُحقنة قد تضعف أو تُرفض في كثير من الأحيان.

تشير الأبحاث إلى أن القناة التي تقدم عمليات البحث والملاحظات هي حدود أمان هشة. ففي حالة تعرض الوكالات لصفحة واحدة مزعجة، يمكن أن تتأثر الطريقة التي تجمع بها الوكالة الأدلة وتشكّل إجاباتها النهائية. من خلال نموذج تهديدات مُحددة للأدوات الوسيطة، يمكن أن يؤدي إضافة نتيجة واحدة مُسيطر عليها لكل استعلام إلى زيادة كبيرة في نجاح الهجوم عندما يتم تنسيق الأدلة عبر مسار الوكالة.

تمت دراسة هذا السيناريو من خلال نظام هجومين مدفوعًا بالاستراتيجيات، حيث تم تقديم طريقة تحمل الاسم Authority-Chain Hijack (ACH)، وهي استراتيجية مُحسّنة بواسطة الخبراء لتحويل التلاعبات المنعزلة في نتائج البحث ومحتوى الصفحات إلى سلسلة أدلة متماسكة عبر مصادر تُظهر تأييدًا. وقد حصدت هذه الاستراتيجية أعلى نسبة نجاح في الهجمات (Overall ASR) بين جميع المعايير حيث بلغت 55.9% / 83.3% ASR / MaxN ASR في مجموعة اختبار SafeSearch الكاملة.

وعلاوة على ذلك، تم تقديم استراتيجية Trace-Guided Strategy Evolution (TGSE) التي تقوم بشكل تلقائي بتحسين استراتيجيات المهاجمين من خلال تتبع التنفيذ، مما يعمل على استبدال عملية إعادة التصميم اليدوية بالتنقيح المدفوع بالتتبع. وقد وصلت أقوى إعداداتها الفردية إلى 71.4% / 95.0% في التقييمات المنفصلة.

لقد بات من الواضح أن حماية وكالات البحث المدعومة من الذكاء الاصطناعي يحتاج إلى نظرة عميقة واستراتيجيات مبتكرة لمواجهة التهديدات المتزايدة. كيف ترى فعالية هذه الاستراتيجيات الجديدة في حماية المعلومات؟ شاركونا آرائكم في التعليقات!