في عالم الذكاء الاصطناعي، تلعب نماذج اللغات الضخمة (Large Language Models) دورًا محوريًا، حيث تعالج النصوص باستخدام تقنيات تقسيم الكلمات (subword tokenization). ومع ذلك، هناك مشكلة كبرى: هذه التقنيات مُصممة غالبًا حول بيانات اللغة الإنجليزية، مما يؤثر سلبًا على أداء اللغات الأخرى، وخاصة اللغات الهندية.

في دراسة جديدة، تم قياس تكلفة تقسيم الكلمات على اللغات الهندية باستخدام مجموعة بيانات FLORES-200، حيث تم تحليل ستة أنواع رئيسية من تقنيات تقسيم الكلمات عبر أربع عشرة لغة.

وجدت الدراسة أن تكلفة تقسيم الكلمات في اللغات الهندية تبلغ حوالي 8.0 أضعاف مقارنةً باللغة الإنجليزية. وفي حالة اللغة المالايالامية، يمكن أن تصل التكلفة إلى 13.0 ضعف. هذا يؤثر بشكل كبير على النافذة الزمنية الفعالة لأن المستخدمين الهنديين يجدون أنفسهم مع إمكانية وصول أقل بكثير لمحتوى النصوص مقارنة بنظرائهم الناطقين باللغة الإنجليزية.

الصعوبة الرئيسية في هذا السياق تأتي من فشل عمليات الدمج بين الأجزاء، مما يتسبب في تقطيع النصوص إلى رموز فردية، وهذا الفشل مرتبط ارتباطًا وثيقًا بتكلفة تقسيم الكلمات. ومع ذلك، تبرز الدراسة أن هذه المشكلة ليست ناتجة عن خصائص الكتابات الهندية بل بسبب تصميم تقنيات تقسيم الكلمات نفسها.

من خلال استخدام تقنيات متعددة اللغات مثل XLM-R أو o200k_base المفتوحة من OpenAI، يمكن تقليل تكلفة تقسيم الكلمات للغات الهندية بنسبة تصل إلى 73%.

علاوة على ذلك، تظهر الدراسة أن المستندات المكتوبة باللغة الهندية تحت ظروف ميزانية ثابتة تحتفظ بكمية أقل بكثير من المحتوى الأصلي مقارنة بالمستندات الإنجليزية المعادلة. كما وُجدت علاقة بين خصائص تقسيم الكلمات وأداء الفهم القرائي، حيث يُظهر البحث أن هذه العلاقة تُعزى إلى توفر الموارد اللغوية بدلاً من سلوك تقنية التقسيم بمفردها.

في ضوء هذه النتائج، يتضح أن تحسين تصميمات تقسيم الكلمات يمكن أن يسهم بشكل كبير في دعم وتعزيز أداء نماذج اللغات للغات غير الإنجليزية. ما رأيكم في هذه النتائج؟ شاركونا في التعليقات!