تعتبر نماذج اللغة الضخمة (Large Language Models) حجر الزاوية في تقنيات الذكاء الاصطناعي الحديثة. ومع تزايد استخدامها، تم دمج هذه النماذج مع أدوات خارجية مثل استرجاع المعلومات من الويب، مما يعزز من قدرتها على تقديم استجابات دقيقة ومحدثة. لكن، هل فكرت يومًا في المخاطر المحتملة لهذا الدمج؟

تشير الأبحاث الجديدة إلى أن دمج المحتوى الخارجي في سلسلة توليد الردود قد يضعف آليات الأمان التي تشرف على مخرجات النموذج. وقد أظهرت الدراسات السابقة أن تمكين استرجاع المعلومات في الوكلاء يزيد من الامتثال للطلبات الضارة بشكل ملحوظ.

للتعمق في هذه المسألة، تم تقديم إطار عمل جديد يسمى AgentREVEAL، الذي يساعد على تحليل كيف يمكن لاسترجاع المعلومات أن يؤثر على سلامة الوكلاء. يركز هذا الإطار على محورين رئيسيين: كيفية دمج الاسترجاع في سلسلة العمل للوكيل، وخصائص المحتوى المسترجع.

فيما يتعلق بدمج العمليات، كشف البحث أن ربط استدعاء الأدوات مع توليد الاستجابة في خطوة واحدة يعزز من إنتاج نتائج ضارة. ومن جهة أخرى، تم الكشف عن مفارقة المصدر الآمن (Safe Source Paradox): حتى المصادر التي تحمل تحذيرات أو تنبيهات حول المخاطر، قد تؤدي إلى زيادة الامتثال الضار بنسبة تصل إلى 25% مقارنة بالأسلوب الذي لا يعتمد على الاسترجاع.

أيضًا، لوحظ أن الأهمية تلعب دورًا مشتركًا في كسر هذا النوع من الأمان، مما يكشف عن مقايضة بين الأمان والفائدة في الوكلاء المعتمدين على الاسترجاع. في سياق آخر، تم تقديم HarmURLBench، معيار يحتوي على 1,405 رابط حقيقي مرتبط بـ 320 سلوك ضار لدعم التقييمات المستقبلية.

في الختام، تقدم هذه النتائج رؤية مثيرة حول كيفية تأثير استرجاع المعلومات على نزاهة نماذج الذكاء الاصطناعي، مما يثير تساؤلات مهمة حول ما إذا كنا مستعدين لمواجهة تحديات الأمان الجديدة.