في عالم الذكاء الاصطناعي، تلعب نماذج التضمين النصي متعدد اللغات (Multilingual Text Embedding Models) دوراً حيوياً في البحث والصناعة. إلا أن سلوك هذه النماذج في البيئات متعددة المهام واللغات لا يزال غير مُفَهم بشكل كافٍ. في دراسة حديثة، تم تحليل أداء هذه النماذج عبر منصة MTEB، والتي تقدم نتائج لأكثر من 250 لغة، مما يجعل من المهم فهم كيفية تأثير تكوينات البيانات المختلفة على تصنيفات الأداء.

تسلط الدراسة الضوء على نوعين من مؤشرات القوة: حساسيات التصنيفات تجاه تغيير تكوينات البيانات (Dataset-Composition Robustness) وأساليب التصنيف (Ranking-Scheme Robustness). هذا التحليل النظامي يمكّن من تقييم ما إذا كانت النتائج التي يتم التوصل إليها من خلال التقييمات المختلفة تبقى مستقرة.

خلال هذه الدراسة، تم التركيز على خمس لغات رئيسية: الإنجليزية، الفرنسية، الألمانية، الهندية، والإسبانية، عبر تسع مهام متنوعة مثل التصنيف (Classification)، والتجميع (Clustering)، واسترجاع المعلومات (Retrieval). كما تم إصدار نتائج لحوالي 230 لغة إضافية.

أظهرت النتائج أن النماذج المعتمدة على نماذج اللغات الضخمة (LLM) غالباً ما تكون من بين الأفضل أداءً، على الرغم من عدم ثباتها في جميع المهام، مثل مهمة الاسترجاع. بينما تكشف النتائج المتعلقة بعدم الارتباط بالمهام أن مجموعة صغيرة من النماذج تحافظ على قوتها عبر المهام المختلفة، مما يدعو للتفكير في كيفية تحسين الأداء واختيار النماذج المناسبة في سياقات متعددة.

في النهاية، تفتح هذه الدراسة أفقاً جديداً للفهم والتطوير في مجال نماذج التضمين النصي متعدد اللغات.