في عالم [الذكاء الاصطناعي](/tag/الذكاء-الاصطناعي) المتطور، تتزايد الاعتماديات على حالات [الذاكرة](/tag/الذاكرة) المستمرة التي تشمل النصوص، الملخصات، والسياقات المسترجعة لدعم [تفاعلات](/tag/تفاعلات) طويلة الأمد. تُعد [السلامة](/tag/السلامة) هنا معتمدة ليس فقط على مخرجات [النماذج](/tag/النماذج) الفردية، بل أيضًا على ما يقوم الوكيل بتخزينه وإعادة استخدامه لاحقًا. وفي هذا السياق، نشأت [دراسة](/tag/دراسة) حديثة تناقش ظاهرة تسمى "غسل [الذاكرة](/tag/الذاكرة)" (memory laundering)، حيث يمكن أن يتم ضغط السياقات السلبية أو العدائية في [ملخصات](/tag/ملخصات) ذاكرية تُظهر في النهاية معدلات سلبية أقل مما يظهره الكاشف القياسي، بينما تحتفظ بالإطارات العدائية أو الهيكل الصراعي الذي يؤثر على الأجيال المستقبلية.
استنادًا إلى [تجارب](/tag/تجارب) متعددة [الوكلاء](/tag/الوكلاء) واستخدام جولات موازية، أظهر الباحثون أن الملخصات ذات المصادر السلبية قد تبقى دون عتبات السمية الشائعة، رغم أن ذلك يزيد من السمية في النتائج اللاحقة مقارنة بالأرقام المحايدة. وللقياس هذه التأثيرات الخفية، تم تقديم مفهوم [الفجوة](/tag/الفجوة) الانتشارية دون العتبة (Sub-threshold Propagation Gap—SPG) الذي يقيس الاختلافات السلوكية المحتملة بناءً على حالات [الذاكرة](/tag/الذاكرة) التي قد يصنفها مراقب خارجي على أنها آمنة.
تُظهر [التجارب](/tag/التجارب) أن السمية تتنقل [عبر](/tag/عبر) [قنوات](/tag/قنوات) [الذاكرة](/tag/الذاكرة) المختلفة: إعادة استخدام النصوص الخام تؤدي إلى سميّة واضحة، بينما يحمل [الذاكرة](/tag/الذاكرة) المضغوطة [تأثيرات](/tag/تأثيرات) خفية دون العتبة. وتبين النتائج أيضًا أن التخفيف من [المخاطر](/tag/المخاطر) يعتمد بشكل حاسم على المكان الذي يتم فيه التدخل. إذ أن تطهير الحالة السلبية قبل تلخيصها يقلل بشكل ملحوظ من [الفجوة](/tag/الفجوة) الانتشارية الخفية، بينما يؤدي [تنظيف](/tag/تنظيف) الملخص المكتمل فقط إلى بقاء التأثيرات المغسولة.
تشير هذه النتائج إلى أن [السلامة](/tag/السلامة) في [الوكلاء](/tag/الوكلاء) المعززين بالذاكرة يجب أن تُعتبر مشكلة [تحكم](/tag/تحكم) بالحالة، حيث ينبغي تطبيق عمليات التطهير قبل ضغط [المعلومات](/tag/المعلومات) غير الآمنة في [الذاكرة](/tag/الذاكرة) المستمرة.
هل يمكن للذكاء الاصطناعي أن يخطئ؟ دراسة جديدة تكشف عن مخاطر تلوث الذاكرة في نماذج اللغات الضخمة!
تتطرق دراسة حديثة إلى مخاطر تلوث الذاكرة في نماذج اللغات الضخمة (LLMs) وتأثيرها على سلوكيات الذكاء الاصطناعي. يشير الباحثون إلى أن المعلومات السلبية يمكن أن تؤثر بشكل غير مرئي على نماذج الذكاء الاصطناعي، مما يتطلب إدارة محسنة للذاكرة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
