اكتشاف ثوري: خسارة انتروبيا الأرقام لتحسين تعلم الأرقام في نماذج لغوية ضخمة!

في عالم الذكاء الاصطناعي، تمثل القدرة على [التنبؤ](/tag/التنبؤ) بالأرقام ركيزة أساسية في [حل المسائل الرياضية](/tag/حل-المسائل-الرياضية) وتوليد الأكواد البرمجية [عبر](/tag/عبر) [نماذج لغوية ضخمة](/tag/[نماذج](/tag/نماذج)-لغوية-ضخمة) (Large Language [Models](/tag/models) - [LLMs](/tag/llms)). ورغم شيوع استخدام طريقة تقدير الاحتمالات القصوى (Maximum Likelihood Estimation - MLE) لتدريب هذه النماذج، إلا أنها لم تكن مصممة خصيصًا للتنبؤ بالأرقام، مما دفع [الباحثين](/tag/الباحثين) للبحث عن [حلول](/tag/حلول) بديلة.

في ورقة بحثية حديثة، تم تقديم مفهوم '[خسارة [انتروبيا](/tag/انتروبيا) الأرقام](/tag/خسارة-[انتروبيا](/tag/انتروبيا)-الأرقام)' (Digit Entropy Loss - DEL) كاستجابة لقضايا [التعلم](/tag/التعلم) العددي. حيث يسعى هذا الأسلوب إلى [تحسين](/tag/تحسين) الطرق التقليدية مثل 'خسارة الرموز العددية' و'خسارة المسافة المفككة'، التي غالباً ما تؤدي إلى [توزيعات](/tag/توزيعات) عددية مشوهة.

تتضمن طريقة DEL إعادة صياغة عملية [تحسين](/tag/تحسين) [الانتروبيا](/tag/الانتروبيا) التقليدية عن طريق ثلاثة تصاميم رئيسية: الأول هو استخدام إمكانية الاحتمالات الشرطية للأرقام، والثاني إزالة مصطلح المسافة لتفادي المشكلات الناجمة عنها، والثالث هو توسيع نطاق [التعلم](/tag/التعلم) العددي ليشمل الأعداد العشرية، مما يمكن [النماذج](/tag/النماذج) من تقديم [توقعات](/tag/توقعات) أكثر [دقة](/tag/دقة).

تم [تنفيذ](/tag/تنفيذ) [اختبارات](/tag/اختبارات) تجريبية على سبعة [معايير](/tag/معايير) لحل المشكلات الرياضية باستخدام أربعة [نماذج](/tag/نماذج) تمثيلية، بما في ذلك CodeLlama وMistral وDeepSeek وQwen-2.5، حيث أظهرت DEL تفوقًا ملحوظًا في [دقة](/tag/دقة) التوقع مقارنةً بالأساليب السابقة.

في ختام هذا البحث، يتضح أن [تقنية](/tag/تقنية) DEL ليست مجرد [ابتكار](/tag/ابتكار) تقني، بل تمثل خطوة رائدة [نحو](/tag/نحو) [تحسين](/tag/تحسين) قدرات [نماذج الذكاء الاصطناعي](/tag/[نماذج](/tag/نماذج)-الذكاء-الاصطناعي) في مجال [التنبؤ](/tag/التنبؤ) العددي. هل أنتم مستعدون لاكتشاف المزيد عن هذه [التقنية](/tag/التقنية) المذهلة؟ شاركونا توقعاتكم في [التعليقات](/tag/التعليقات)!