في عالم الذكاء الاصطناعي، تلعب [محسنات](/tag/محسنات) (optimizers) [نماذج اللغة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)) دوراً محورياً في [تدريب](/tag/تدريب) هذه [النماذج](/tag/النماذج). ومع ذلك، فإن القواعد العشوائية المستخدمة في [تحديث](/tag/تحديث) هذه المحسنات دائماً ما يتم التعامل معها كقربات مباشرة لهبوط مهيأ للسكان. لكن [دراسة جديدة](/tag/[دراسة](/tag/دراسة)-جديدة) تكشف عن وجود [انحيازات](/tag/انحيازات) finite-sample قد نقوم بتجاهلها.

أولاً، يعد تقدير التدرج (gradient) والمهيئ (preconditioner) عادةً من نفس مجموعة الدفعات (minibatch)، مما يؤدي إلى [انحياز](/tag/انحياز) الاقتران بين التدرج والمهيئ. وثانياً، حتى عند تقدير المهيئ بشكل غير منحاز، فإن عكسه أو جذره العكسي قد يرتكب انحيازاً لأن حالة العكس غير خطية.

تقدم هذه [الدراسة](/tag/الدراسة) إطار تصحيح [انحياز](/tag/انحياز) لعلاج كلا التأثيرين. وتتضمن [تقنية](/tag/تقنية) "التقدير المتقاطع" استخدام تقديرات مستقلة من مجموعات صغيرة، بينما تقوم "العكس المصحح للمتغير" باستخدام تقلبات [المجموعات](/tag/المجموعات) الصغيرة لطرح المصطلح الرئيسي في [انحياز](/tag/انحياز) الطريقة دلتية.

يتم تطبيق هذا الإطار على طرق المهيئة القطرية ومهيئات المصفوفات، مثل [AdamW](/tag/adamw) وSophia وShampoo. وأسفرت نتائج [تصحيح الانحياز](/tag/تصحيح-الانحياز) عن تقليل خسارة التهيئة المحتفظ بها بنسبة 0.15 و0.07 و0.11 ناتًا على التوالي في [نموذج](/tag/نموذج) Qwen2.5-0.5B، مما يظهر [تأثيرات](/tag/تأثيرات) إيجابية محايدة بطريقة مستمرة.

تثبت هذه النتائج مجتمعة أن [تصحيح الانحياز](/tag/تصحيح-الانحياز) يعد آلية عملية لتقليل [انحياز](/tag/انحياز) [التحديثات](/tag/التحديثات) في عينات صغيرة وتحسين [أداء](/tag/أداء) المحسنين المهيئين. هل تشعر بحماس لمعرفة كيف يمكن لهذه التحسينات أن تؤثر على [مستقبل الذكاء الاصطناعي](/tag/[مستقبل](/tag/مستقبل)-الذكاء-الاصطناعي)؟