تزايد استخدام أنظمة نماذج اللغة الكبيرة (Large Language Models) التي تعمل بشكل مستقل في مجالات حيوية كالخدمات الحكومية والرعاية الصحية والمالية، مما يثير تساؤلات حول مدى تلبية هذه الأنظمة لمتطلبات السلامة الضرورية. في دراسة جديدة، تم تحليل ثلاثة من الأطر الرائدة: LangChain وAutoGPT وOpenAI Agents SDK، وتبين أن جميعها تفتقر إلى معايير الأمان الهيكلية اللازمة.

تُظهر النتائج أن تكامل الذاكرة، وهو وسيلة للدفاع ضد فئة من أكثر الثغرات انتشارًا، غير متوفر في أي من الأطر الثلاثة. في تجربة على نموذج وكالة الحكومة المبنية على LangChain، تم استخدام تقنية تلوث الذاكرة، مما أدى إلى فساد مستمر وزيادة معدل الإنكار الكاذب للمتقدمين بنسبة 88.9%. هذا يعني أن الهجوم نجح في الحفاظ على دقة كاملة بينما زاد من معدلات الإنكار بطريقة يصعب اكتشافها من خلال المراقبة القياسية.

لتصحيح هذه الثغرات، قدم الباحثون آليتين خفيفتين للاحتواء: مُحقق تكامل الذاكرة وبوابة السياسات، اللتين تستطيعان القضاء على كلا مسلكي الهجوم مع تحميل إضافي أقل من 0.2 مللي ثانية لكل استدعاء.

تظهر هذه الدراسة أهمية تطوير أطر ذكية تلبي معايير الأمان الضرورية، خاصة في التطبيقات الحساسة التي تؤثر على المجتمع. إذًا، هل تظن أن هذه الأنظمة ستتمكن من تحسين سلامتها، أم أنها ستظل تواجه تحديات كبيرة؟