في عالم الذكاء الاصطناعي، تعد نماذج اللغة المبهمة (Masked Diffusion Language Models - MDLM) من أبرز الابتكارات الحديثة، لكنها تواجه تحديات عديدة في تمثيل السياقات الموضعية. حيث تختلف أساليب النماذج المبهمة جذريًا عن النماذج الانحدارية التلقائية (Autoregressive models)، مما يجعل تشفير الموضع التقليدي غير كافي للتعامل مع التكوينات الديناميكية للدلالات والرموز المخبأة.

لذلك، تم تقديم مفهوم **MDLMPE**، وهو نظام تشفير موضعي مُصمم خصيصًا لنماذج اللغات المبهمة. تتمثل الفكرة في جعل تمثيلات الموضع تعرف بشكل صريح بالتغيرات الحاصلة في حالة الكشف والإخفاء للرموز، الأمر الذي يعد أول تقدم من نوعه في هذا المجال.

MDLMPE يمثل توافر الرموز كسلسلة ثنائية، ويطبق وزنًا يعتمد على المسافة باستخدام طريقة Gaussian، ثم يتم تمرير النمط الناتج من خلال أساس الجيب (Cosine Basis) للحصول على ميزات موضعية واعية بالتوزيع. تتم إضافة هذه الميزات إلى رموز المدخلات ويتم تحويلها عبر شبكة عصبية خفيفة الوزن (MLP) لتعديل الانحرافات الزاوية التي تؤثر على مراحل RoPE التقليدية.

أظهرت التجارب الواسعة على نماذج LLaDA وDREAM أن MDLMPE يتفوق في الأداء بشكل عام على طرق التشفير التقليدية في مجالات التهيئة والنمذجة التلقائية والتقييم من دون تدريب. كما أظهرت التحليلات الإضافية أن الجمع الكامل بين حالة التوفر، محلية Gaussian، الأساس الطيفي، وحقن الرموز يعطي أقوى النتائج. هذه النتائج تثبت أن توزيع حالة توفر الرموز المتغيرة يعتبر إشارة موضعية فعالة لنماذج اللغة المبهمة.

فلنترقب المستقبل حيث يتطور الذكاء الاصطناعي باستمرار! ما رأيكم في هذا التطور؟ شاركونا في التعليقات.