في الآونة الأخيرة، توسعت نماذج اللغة الكبيرة (Large Language Models) بشكل ملحوظ في فهم اللغة الإنجليزية باللهجات المختلفة؛ إلا أنها لا تزال تواجه صعوبة في إنتاج نصوص تمثل هذه اللهجات بشكل دقيق. دراستنا الجديدة تحت عنوان "دياليلم" (DiaLLM) تلقي الضوء على هذه القضية المهمة.

تقدم "دياليلم" مقارنة شاملة بين ثلاثة عائلات من نماذج لغة ذات أوزان مفتوحة، حيث استغلت قاعدة بيانات "International Corpus of English" كمنصة لتدريب النماذج. تم استخدام استراتيجيتين رئيسيتين للتكيّف، هما التكيّف المستهدف الصريح (explicit variety-targeted adaptation) والتكيّف الضمني، مع ثلاثة استراتيجيات مختلفة لمحاذاة النموذج.

أظهرت النتائج أن هناك فجوة ملحوظة بين قوة النموذج في التعامل مع اللهجات وإنتاجه الفعلي؛ حيث تؤثر الطرق المستخدمة في التدريب المستمر (continual pretraining) وطرق التكيّف بصورة مختلفة على جودة الإنتاج. في حين أن التكيف المستهدف كان له تأثير إيجابي في جعل المنتج أكثر تمييزًا على أنه لهجة، إلا أنه لم يكن الخيار المفضل لدى المقيّمين البشريين.

تسعى هذه الدراسة إلى تسليط الضوء على الفجوة بين المكافأة المرتبطة باللهجة وجودة الإنتاج، حيث تظهر النتائج أن تحسين التكيف يحتاج إلى تصميمات مكافأة أكثر ثراءً واستثمار مستمر في الموارد اللهجية. بلغتنا العربية، هذه الدراسة تمثل خطوة مهمة نحو تحسين قدرة نماذج الذكاء الاصطناعي في فهم وإنتاج لهجات متعددة، مما يفتح آفاق واسعة لمزيد من التقدم في هذا المجال.

هل تعتقدون أن تحسين نماذج اللغة لتشمل اللهجات المختلفة سيؤثر على التواصل بين الثقافات؟ شاركونا آرائكم في التعليقات!