في عالم الذكاء الاصطناعي، تعد تقنيات تقليل بيانات بدون بيانات (Data-Free Quantization - DFQ) من بين أكثر التطورات إثارة. إذ تركز هذه التقنية على معالجة مخاوف الأمان المتعلقة بالبيانات عن طريق إنشاء عينات دون الحاجة للوصول إلى البيانات الحقيقية. ومع تزايد الاعتماد على Vision Transformers (ViTs)، تتجلى أهمية DFQ بفضل تفوقها في آلية الانتباه الذاتي على العمليات الكلاسيكية.

ومع ذلك، فإن معظم أساليب DFQ السابقة تعاني من عدم توافق في التوزيع بين العينات الاصطناعية وتوزيع الإدخال المتوقع من النماذج المقاسة، مما يؤدي إلى أداء غير مثالي. لذا، تقدم الدراسة الجديدة طريقة مبتكرة تُدعى Masked Attention Alignment، والتي تعرف اختصاراً بـ MaskAQ.

تسلط MaskAQ الضوء على النقاط التالية:
1. إن الدلالات في آلية الانتباه الذاتي تتركز بشكل أساسي في مجموعة قليلة من البقع المناقشة، والمعروفة بالمناطق المعلوماتية.
2. هذه المناطق المعلوماتية تهيمن على المعلومات المتبادلة بين العينات الاصطناعية ومخرجات النموذج المقاس (Q).

لتنفيذ هذا الأسلوب، يتم استخدام أقصى انتروبيا تفاضلية على تماثل البقع للعينة الاصطناعية، بحيث يتم فصل المناطق المعلوماتية عن الخلفية المزعجة. بالإضافة إلى ذلك، تم تبني استراتيجية لتجديد العينات بشكل دوري، مما يمنح MaskAQ القدرة على التكيف المستمر مع الحالة المتطورة لـ Q خلال عملية التدريب، لضمان الحفاظ على المعلومات المتبادلة المطلوبة مع العينات الاصطناعية.

تؤكد التجارب المكثفة على تفوق MaskAQ مقارنة بالأساليب الحديثة عبر عدة أنماط ووظائف فرعية مختلفة. ولمزيد من التفاصيل، يمكنكم زيارة رابط المشروع.