في عالم الذكاء الاصطناعي، تعتبر الخصوصية أولوية قصوى خاصة عندما يتعلق الأمر بالبيانات الحساسة. لذلك، قدم الباحثون مؤخرًا PACZero، وهو نموذج متقدم يتميز بتحسينات كبيرة في ضبط نماذج اللغة الكبيرة (Large Language Models) مع الحفاظ على الخصوصية.

تركز PACZero على تحسين دقيق يأخذ في الاعتبار قيود الخصوصية من خلال تقديم أساليب Zeroth-Order التي تحقق توازنًا مثاليًا بين الخصوصية والفائدة. يقوم النظام بتحديد مستوى المعلومات المشتركة بين البيانات المدخلة (S) ونتائج النماذج (Y) بحيث يكون هذا المستوى صفرًا، مما يعزز مقاومة هجمات الاستدلال على العضوية (Membership Inference Attack).

تعتمد PACZero على فكرة فريدة حيث يتم توقيع المعلومات المشتركة فقط عندما يتعلق الأمر بمجموعات مرشحة معينة. عند استخدام تقنيات تجميع التدرجات، يتحقق التوافق في خطوات عديدة، مما يتسبب في عدم وجود تكلفة مشتركة لمعلومات إضافية في تلك اللحظات. هذا يفسح المجال لتطوير نسختين من PACZero: PACZero-MI التي توفر معلومات مشتركة محددة، وPACZero-ZPL التي تحقق خصوصية كاملة عبر آلية عشوائية.

تم تقييم PACZero باستخدام النموذجين OPT-1.3B و OPT-6.7B في مهام SST-2 وSQuAD، حيث حقق أداءً مثيرًا للإعجاب، حيث بلغت دقة SST-2 قرابة 89% دون فقدان الخصوصية.

تعتبر PACZero خطوة مهمة نحو تطوير نماذج لغة متقدمة قادرة على العمل بكفاءة مع الحفاظ على الخصوصية، مما يفتح آفاقًا جديدة في مجال الذكاء الاصطناعي.