أثبتت الأبحاث الحديثة أن إطلاق نقطة تفتيش لشبكة عصبية يمكن أن يكشف عن معلومات حساسة حول بيانات التدريب المستخدمة. ولكن هل ترى أن اختيار المحسن (Optimizer) يؤثر على قدرة استعادة بيانات التدريب؟ هذا ما توصلت إليه دراسة جديدة تربط بين شروط كروش-كون-توكر (Karush-Kuhn-Tucker) وإعادة بناء بيانات التدريب.

قدمت الدراسة توضيحًا مثيرًا حول التحيزات الضمنية للمحسنين الشهيرين مثل SGD وAdam وMuon، حيث يُظهر كل منها بصمات مختلفة تمامًا على بيانات التدريب. يعتمد هذا الاختلاف على مدى تحديد المعلومات المستمرة عن الأوزان النهائية التي يحملها المحسن.

وقد أظهرت التجارب على مجموعتي بيانات MNIST وCIFAR-10 أن النماذج المدربة باستخدام Muon حققت نتائج أقوى في إعادة البناء بتكلفة تدريب أقل بكثير مقارنةً بالنماذج المدربة باستخدام SGD. وعلى الجانب الآخر، يبدو أن النماذج المدربة بواسطة Adam تتحلى بمقاومة أكبر للهجمات التي تم تقييمها، حيث تحمل أنماطًا أكثر تفصيلًا ولكنها تفتقر إلى التحديد الكافي لتتبع مجموعة التدريب في الكتلة غير المتجانسة.

هذا البحث يفتح النقاش حول كيفية اختيار المحسنين استنادًا إلى الأهداف التي نسعى لتحقيقها. فماذا تفضل، استخدام محسن يوفر تفاصيل دقيقة عن البيانات، أم واحد يمكن الاعتماد عليه في الحفاظ على الخصوصية؟ شاركونا آرائكم في التعليقات.