في عالمنا المتزايد تعقيدًا، تتزايد الحاجة لحماية الخصوصية أثناء استخدام نماذج اللغة، خاصةً في سياقات معقدة مثل فرق الاستجابة لحوادث الأمن السيبراني (CSIRTs). تتمثل أهمية هذا المجال في الحفاظ على البيانات الحساسة وكتمان المعلومات.

في دراستنا الجديدة، قدمنا أول دراسة تجريبية تفحص كيفية تفاعل خوارزميات مثل "التقليل من التكرار" (DP SGD) وتقنية "التسمية المستعارة باستخدام هاش" (HMAC pseudonymization) عند ضبط نماذج لغوية صغيرة تحتوي على 1 إلى 3 مليارات من المعلمات بشكل دقيق على بيانات CSIRT المنسقة.

قمنا بتقييم 96 وحدة من محولات LoRA عبر أربعة نماذج لغة مع أربعة أنظمة تدريب، بما في ذلك الضبط المباشر التقليدي، وQLoRA مع التدريب على دفعات كبيرة، وDP SGD بقيم إبسيلون تصل إلى 2 و8.

أظهرت النتائج ثلاثة ملاحظات رئيسية:
1. خوارزمية التحكمفي التحديثات المتطابقة أظهرت تقليلاً ملحوظاً في التكرار من خلال خفض عدد تحديثات المحسن، مما يعكس أثرًا يتراوح بين 66% و132%، مع متوسط يبلغ 100% عبر النماذج.
2. تقنية التسمية المستعارة HMAC ساهمت في حذف المعرفات الأصلية من سطح التعرض، مما خفض التعرض بنسبة تتراوح بين 40% و61%.
3. درجات F1 حافظت على مستوى يتراوح بين 0.19 و0.28 عبر جميع وحدات المحولات، مما يدل على أن نماذج اللغة الصغيرة لا تحقق أداءً عمليًا مفيدًا مع الميزانية التدريبية المقيمة.

من المثير أن نلاحظ كيف يمكن التغلب على التحديات المتزايدة في الخصوصية دون إعاقة الأداء.

ما رأيكم في هذه التطورات؟ هل تعتقدون أن هذه التقنيات ستصبح معيارًا في الحماية في المستقبل؟ شاركونا في التعليقات!