بينما أصبحت نماذج الذكاء الاصطناعي، بما في ذلك نماذج اللغات الضخمة (Large Language Models)، تُستخدم على نطاق واسع في مختلف المجالات، تزداد المخاوف بشأن تسرب بيانات التدريب منها. في دراسة حديثة، تم تقديم إطار تقييم ثوري باسمPropMe الذي يعتمد على الوعي بالميل لتقييم قدرة النماذج على استرجاع المعلومات.

تتناول الدراسة كيف يمكن لهذه النماذج استرجاع بيانات التدريب عند الضغط عليها بطريقة معينة، لكنها في الاستخدام العادي لا تبدو قادرة على ذلك. قامت الفرق البحثية بتقييم نموذجين مفتوحين، هما Comma وDFM Decoder، باستخدام مجموعتين من البيانات هما Common Pile وDynaword، ولغتين مختلفتين. وجدت النتائج فجوة ملحوظة بين القدرة على التسريب والميل لذلك، حيث كانت الإشارات الناتجة عن الهجمات التي تُركز على الكلمات في البداية أقوى بكثير مما تم رصده عند استخدام توجيهات عادية.

إحدى النتائج المهمة أثبتت أن نموذج DFM Decoder، الذي تم تدريبه باستمرار على بيانات مختلفة من نموذج Comma، أظهر قدرة أقل على الاسترجاع في مجموعة بيانات Common Pile، مما يوحي بأن التغييرات في بيانات التدريب تؤثر على الميل للتسريب.

تشجع هذه النتائج الباحثين على إنشاء تقارير مفصلة حول قدرة النماذج في تسريب البيانات في أسوأ الأحوال وأيضًا في الحالات العادية، للحصول على فهم شامل لهذه الظاهرة المثيرة.