في عالم الذكاء الاصطناعي، تلعب محسنات (optimizers) نماذج اللغة دوراً محورياً في تدريب هذه النماذج. ومع ذلك، فإن القواعد العشوائية المستخدمة في تحديث هذه المحسنات دائماً ما يتم التعامل معها كقربات مباشرة لهبوط مهيأ للسكان. لكن دراسة جديدة تكشف عن وجود انحيازات finite-sample قد نقوم بتجاهلها.

أولاً، يعد تقدير التدرج (gradient) والمهيئ (preconditioner) عادةً من نفس مجموعة الدفعات (minibatch)، مما يؤدي إلى انحياز الاقتران بين التدرج والمهيئ. وثانياً، حتى عند تقدير المهيئ بشكل غير منحاز، فإن عكسه أو جذره العكسي قد يرتكب انحيازاً لأن حالة العكس غير خطية.

تقدم هذه الدراسة إطار تصحيح انحياز لعلاج كلا التأثيرين. وتتضمن تقنية "التقدير المتقاطع" استخدام تقديرات مستقلة من مجموعات صغيرة، بينما تقوم "العكس المصحح للمتغير" باستخدام تقلبات المجموعات الصغيرة لطرح المصطلح الرئيسي في انحياز الطريقة دلتية.

يتم تطبيق هذا الإطار على طرق المهيئة القطرية ومهيئات المصفوفات، مثل AdamW وSophia وShampoo. وأسفرت نتائج تصحيح الانحياز عن تقليل خسارة التهيئة المحتفظ بها بنسبة 0.15 و0.07 و0.11 ناتًا على التوالي في نموذج Qwen2.5-0.5B، مما يظهر تأثيرات إيجابية محايدة بطريقة مستمرة.

تثبت هذه النتائج مجتمعة أن تصحيح الانحياز يعد آلية عملية لتقليل انحياز التحديثات في عينات صغيرة وتحسين أداء المحسنين المهيئين. هل تشعر بحماس لمعرفة كيف يمكن لهذه التحسينات أن تؤثر على مستقبل الذكاء الاصطناعي؟