تشهد مجالات الذكاء الاصطناعي تطورًا مستمرًا، وأحد أبرز هذه التطورات هو استخدام خوارزمية تعد شكلًا جديدًا من أدوات التحسين التكيفي. تم استخلاص نتيجة هائلة تمثل الفرق الواضح في الأداء بين خوارزمية التدرج العشوائي (SGD) والبديل الأكثر تقدمًا، SignGD.

في دراستنا الأخيرة، وُجد أن خوارزمية SignGD ليست فقط أكثر كفاءة، بل تفتح آفاقًا جديدة لمواجهة مشكلات عدم توازن الفئات في البيانات. فبدلاً من الاعتماد على فرضيات معينة عن هندسة السلاسة أو بنية الضوضاء، نحن نبحث في كيفية استنباط مثل هذه الهندسة من سياقات تعلم محددة.

عند تحليل الفجوة بين GG وSignGD، تمت إزالة الاعتماد التسلسلي والتعقيدات المعمارية، وأظهرت النتائج أن الفجوة لا تزال قائمة حتى في أبسط النماذج، مثل نموذج unigram مع بيانات ثقيلة الذيل.

هذا النموذج يكشف عن آلية بسيطة لكن فعّالة تحت عدم توازن الفئات المؤذي. فنحن نثبت أن خوارزمية GD تتعلم الرُموز النادرة ببطء، بينما تعمل SignGD على إزالة هذا الاعتماد ولديها القدرة على تعديل التقديرات النادرة والعادية على مقياس أكثر قابلية للمقارنة. بالإضافة إلى ذلك، نقدم تقديرات دقيقة لمعدلات التقارب لكل من GD وSignGD، مما يفتح الطريق أمام مزيد من البحث في آليات تحسين نماذج اللغة.

هذه النتائج قد تعزز فعالية نماذج الذكاء الاصطناعي في التعامل مع بيانات معقدة وغير متوازنة، مما يجعلها خطوة تحسينية كبيرة في هذا المجال.