في عالم الذكاء الاصطناعي، يمثل ضغط الطلبات (Prompt Compression) خطوة مهمة نحو تحسين كفاءة نماذج اللغة الضخمة (Large Language Models)، حيث يساعد في تقليل تكاليف الاستدلال وطول السياق. لكن، غالبًا ما كانت الدراسات السابقة تركز على الهياكل التلقائية (Autoregressive Architecture) فقط. في هذا الإطار، تأتي الدراسة الجديدة لتعيد تقييم فعالية ضغط الطلبات في نماذج اللغة الضخمة المشتتة (Diffusion Large Language Models) باستخدام نموذج LLMLingua-2، وتحديدًا النموذج المشتت المكون من 8 مليارات معلمة (LLaDA).

هذه الدراسة تقيم أداء ضغط الطلبات عبر ثلاثة مجموعات بيانات رئيسية: GSM8K و DUC2004 و ShareGPT. حيث تم استخدام 250 طلبًا لكل مجموعة بيانات بنسبة ضغط تقارب 2:1، مع تقييم الأداء في مهام مثل التفكير الرياضي وإعادة بناء الطلبات وتلخيص النصوص. تم مقارنة النتائج الناتجة عن الطلبات الأصلية، والطلبات المضغوطة، والطلبات المعاد بناؤها، ومهام التفكير القائمة على الطلبات المعاد بناؤها باستخدام مقاييس الدقة المطابقة الحرفية (Exact-Match Accuracy) وBLEU وROUGE وBERTScore.

أظهرت النتائج أن الحفاظ على المعنى الدلالي (Semantic Preservation) لا يعني بالضرورة أن سلوك النموذج سيكون مستقراً، حيث ظهرت المهام التلخيصية بقدرة أفضل تحت الضغط، بينما تدهورت مهام التفكير الرياضي بشكل ملحوظ على الرغم من تحقيق درجات عالية في التشابه الدلالي. بالإضافة إلى ذلك، أظهرت تجارب إعادة البناء أن الطلبات المتشابهة في الدلالة قد تفتقر إلى المعلومات الحرجة المطلوبة لأداء استنتاج مستقر. عبر المهام المختلفة، كانت دقة BERTScore أقل بشكل مستمر من الدقة العامة، مما يشير إلى أن الفشل في الضغط يُعزى أساسًا إلى حذف المعلومات بدلاً من الانجراف الدلالي. هذه النتائج تشير إلى أن طرق ضغط الطلبات المصممة للنماذج التلقائية لا تنتقل بشكل موحد إلى نماذج اللغة الضخمة المشتتة، مما يدفع إلى تطوير استراتيجيات ضغط واعية للمشتتات.