تواجه نماذج اللغات الضخمة (Large Language Models) تحدياً كبيراً في تحقيق دقة عالية عند التعامل مع البيانات العددية. ورغم قدراتها العامة البارزة، إلا أن النماذج تكافح في تحقيق دقة رياضية لا غنى عنها. السبب الرئيسي وراء هذه المشكلة يتمثل في طريقة التدريب، حيث توجه الأهداف التقليدية (Cross-Entropy) تعاملاً غير مناسب مع الرموز العددية كفئات غير منظمة، متجاهلة التركيبة المترية لقيمها.

ومؤخراً، تم تقديم تقنية جديدة تُعرف بـ Smooth Maximum Mean Discrepancy (SMMD) لمواجهة هذه التحديات، تعتمد SMMD على تحسين مفهوم MMD التقليدي من خلال دمج متغيرات المسافة لقيم الرموز العددية مع تقنيات السلاسة المستندة إلى الرسوم البيانية. باستخدام هذه التقنية، يمكن لنماذج اللغات الضخمة محاذاة توزيع الأرقام المتوقعة مع الأهداف العددية بشكل فعال.

جرت تجربتنا على أربع مهام ذات أهداف عددية على نماذج مفتوحة الوزن، وقد أظهرت SMMD تحسناً ملحوظاً في الدقة مقارنة بأساليب Cross-Entropy وغيرها من الخسائر العددية الحديثة. كما أوضحت التحليلات التكميلية كيفية تأثير تصميم نوى المسافة على فعالية SMMD.

لمن يهتم بالمزيد من التفاصيل التقنية، يمكنك الاطلاع على الشيفرة المتاحة هنا. ما رأيكم في هذه التقنية الجديدة؟ هل تعتقدون أنها ستحل مشاكل دقة النماذج الحالية؟ شاركونا في التعليقات.