تشهد تقنيات الذكاء الاصطناعي تطورًا متسارعًا، حيث يعتبر نموذج Nemotron-3-Nano-30B-A3B مثالاً بارزًا على الابتكارات في مجال معالجة اللغات الهندية. هذا النموذج تم تكييفه للغة الهندية إلى جانب سبع لغات هندية أخرى دون تغيير المعمارية الأساسية.

تمكن الباحثون من توسيع المفردات الخاصة بالنموذج من 131,072 إلى 163,072 مدخلاً، وذلك باستخدام تقنيات مثل encoding الثنائي المستمر (byte-pair encoding) وإعادة التوازن AdaptMix، مما قلل عدد الرموز لكل كلمة بنسبة 38.6%. هذه الخطوة كانت حاسمة لتحسين فعالية النموذج في الفهم اللغوي.

تبع ذلك تدريب جديد للمدخلات والمخرجات من خلال متوسط الصفوف المكونة الأصلية، وتم تدريب النموذج على نصوص تتكون من 90% باللغة الهندية و10% باللغة الإنجليزية قبل تحديث هيكله الرئيسي.

استمر التدريب اللاحق عبر مراحل متعددة، بما في ذلك التدريب الواسع، عملية التدفئة عالية الجودة، والتدريب على سياقات طويلة بفضل 1.27 تريليون رمز تعليمي. أظهر نموذج الأنموذج المعدل تحسينًا قدره 12.9 نقطة في معيار MILU الهندي، رغم خسارته 3.4 نقطة في مقياس MMLU الإنجليزي.

ومن اللافت للنظر أن التجارب كشفت أيضًا عن بعض النتائج السلبية العملية، حيث أدت إضافة الرموز مباشرة إلى أداء أقل مقارنة بالتشفير الثنائي، كما أن التغييرات في وزن AdamW أثرت سلبًا على الصفوف التي كان من المفترض أن تبقى ثابتة.

يستمر البحث حول أفضل استراتيجيات التعلم لتحسين أداء النموذج، خاصة خلال تقييم الأفراد ذوي الخلفية الهندية. سيكون من المثير معرفة كيف سيساهم هذا النموذج في تطوير معالجة اللغات الهندية في المستقبل.