تظل اللغة البرتغالية مقصرة في تقييم نماذج التعبير النصّي رغم كونها واحدة من أكثر اللغات تحدثاً في العالم. وفي الوقت الذي يتم فيه اختيار نماذج التعبير بناءً على مقاييس اللغة الإنجليزية أو متعددة اللغات، تبقى فعالية هذه النماذج في البرتغالية غير واضحة.

في هذا السياق، تم تقديم مؤشر MTEB-PT، وهو معيار تم إنشاؤه اعتماداً على مجموعة فرعية من MMTEB، ويشمل 14 مجموعة بيانات قائمة تشمل مهام مختلفة مثل تشابه النصوص (Semantic Textual Similarity - STS)، التصنيف، الاسترجاع، وإعادة الترتيب. تم استخدام هذا المؤشر لتقييم 17 نموذجًا من نماذج التعبير، سواء مفتوحة المصدر أو مغلقة، وفق بروتوكول موحد.

تكشف النتائج أن الأداء باللغة البرتغالية يعتمد بشكل كبير على المهام المحددة: حيث لم تؤدِ التقييمات متعددة اللغات إلى توقع دقيق للأداء البرتغالي عبر عائلات المهام المتعددة. بالإضافة إلى ذلك، لم يسيطر نموذج واحد على جميع الإعدادات، في حين أن النماذج ذات القدرة الأقوى على التعامل مع السياقات الطويلة كانت مفيدة بشكل خاص في المهام التي تتطلب إدخالات طويلة مثل الاسترجاع وإعادة الترتيب.

كما يُظهر المؤشر أن التحسين الخاص باللغة لا زال يُحسِّن أداء النموذج في البرتغالية، خصوصاً في الأنواع من المهام التي تتوافق بشكل وثيق مع بيانات التكيف. لمعرفة تأثير ذلك، قمنا بتحسين ثلاثة نماذج رئيسة باستخدام إشراف تبايني برتغالي وتقنيات التعلم التمثيلي مثل Matryoshka Representation Learning (MRL). تتحقق هذه النماذج المحسنة نتائج قوية في مهام STS، بما يتماشى مع إشراف متوازن أثناء التدريب، بينما ظهرت أيضاً في تحسين نتائج الاسترجاع وحافظت على قدرتها التنافسية تحت تقليص الأبعاد.

الآن، نعلن عن إصدار مؤشر MTEB-PT، النماذج المُحسّنة، وكود التدريب والتقييم. يُمثل هذا تطورًا مهمًا في مجال تكنولوجيا معالجة اللغة الطبيعية (Natural Language Processing - NLP) ويعزز من قدرة البرتغالية على الاندماج في هذا المجال الحيوي.