في عالم الذكاء الاصطناعي، تمثل نماذج اللغة الضخمة (LLMs) نقطة تحول رائدة، ولكنها تواجه تحديات عديدة في مجال التكميم. أحد أبرز هذه التحديات هو التأثير السلبي لآلية الانتباه الذاتي على استقرار النموذج عند تطبيق التكميم. لذا، قدم الباحثون استراتيجيات جديدة لمواجهة هذه القضايا.

قدمت الأبحاث الأخيرة تقنية مبتكرة تُعرف بحقن الضوضاء المرتكز على جيكوبين (Jacobian-Guided Noise Injection)، حيث تم تحديد مشغل السوفتمكس (softmax operator) كعنصر ضيق في استقرار التكميم. الجهاز حساس للخطأ الناتج عن التكميم ويشكل تحديًا كبيرًا في الحصول على أداء مستقر.

من خلال تقليل قيمة جيكوبين، استطاع الباحثون الحد من التدهور الناتج عن التكميم. تتضمن الاستراتيجية التي تم اقتراحها إدخال ضوضاء غاوسية ذات متوسط صفر إلى البيانات قبل مرحلة الانتباه، مع تحديد التباين بناءً على قيمة جيكوبين. تقدم هذه الطريقة مزايا ملحوظة على الطرق السابقة، حيث تتيح تحديد التباين الأمثل للضوضاء وفقًا لحساسية الانتباه المحلي.

تم تقييم هذه الطريقة على نماذج LLM الرائدة، حيث أظهرت تحسنًا كبيرًا في الاستقرار مقارنة بأساليب التكميم التقليدية (PTQ)، مع زيادة تصل إلى +37% في دقة Top-1 على مجموعة بيانات ImageNet-1K لطريقة SigLIP، و40% تحسين في مقاييس اللغة على WikiText.

تُظهر هذه النتائج فعالية الابتكار الجديد الذي يعزز استقرار نماذج اللغة الضخمة في ظل البيئات ذات التكميم المنخفض. كل هذه التطورات تفتح آفاقًا جديدة في طريقة تصميم وتطوير نماذج الذكاء الاصطناعي.