في عالم الذكاء الاصطناعي، يمثل [ضغط الطلبات](/tag/ضغط-الطلبات) (Prompt Compression) خطوة مهمة [نحو](/tag/نحو) [تحسين](/tag/تحسين) [كفاءة](/tag/كفاءة) [نماذج [اللغة](/tag/اللغة) الضخمة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الضخمة) (Large Language [Models](/tag/models))، حيث يساعد في تقليل [تكاليف](/tag/تكاليف) [الاستدلال](/tag/الاستدلال) وطول [السياق](/tag/السياق). لكن، غالبًا ما كانت الدراسات السابقة تركز على الهياكل التلقائية (Autoregressive Architecture) فقط. في هذا الإطار، تأتي [الدراسة](/tag/الدراسة) الجديدة لتعيد [تقييم](/tag/تقييم) فعالية [ضغط الطلبات](/tag/ضغط-الطلبات) في [نماذج [اللغة](/tag/اللغة) الضخمة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الضخمة) المشتتة (Diffusion Large Language [Models](/tag/models)) باستخدام [نموذج](/tag/نموذج) LLMLingua-2، وتحديدًا النموذج المشتت المكون من 8 مليارات معلمة ([LLaDA](/tag/llada)).

هذه [الدراسة](/tag/الدراسة) تقيم [أداء](/tag/أداء) [ضغط الطلبات](/tag/ضغط-الطلبات) [عبر](/tag/عبر) ثلاثة [مجموعات بيانات](/tag/مجموعات-[بيانات](/tag/بيانات)) رئيسية: GSM8K و DUC2004 و ShareGPT. حيث تم استخدام 250 طلبًا لكل [مجموعة بيانات](/tag/مجموعة-[بيانات](/tag/بيانات)) بنسبة ضغط [تقارب](/tag/تقارب) 2:1، مع [تقييم الأداء](/tag/[تقييم](/tag/تقييم)-[الأداء](/tag/الأداء)) في مهام مثل [التفكير الرياضي](/tag/[التفكير](/tag/التفكير)-الرياضي) وإعادة [بناء](/tag/بناء) الطلبات وتلخيص النصوص. تم مقارنة النتائج الناتجة عن الطلبات الأصلية، والطلبات المضغوطة، والطلبات المعاد بناؤها، ومهام [التفكير](/tag/التفكير) القائمة على الطلبات المعاد بناؤها باستخدام [مقاييس](/tag/مقاييس) [الدقة](/tag/الدقة) المطابقة الحرفية (Exact-Match Accuracy) وBLEU وROUGE وBERTScore.

أظهرت النتائج أن الحفاظ على المعنى الدلالي (Semantic Preservation) لا يعني بالضرورة أن [سلوك](/tag/سلوك) النموذج سيكون مستقراً، حيث ظهرت المهام التلخيصية بقدرة أفضل تحت الضغط، بينما تدهورت مهام [التفكير الرياضي](/tag/[التفكير](/tag/التفكير)-الرياضي) بشكل ملحوظ على الرغم من [تحقيق](/tag/تحقيق) درجات عالية في التشابه الدلالي. بالإضافة إلى ذلك، أظهرت [تجارب](/tag/تجارب) إعادة البناء أن الطلبات المتشابهة في الدلالة قد تفتقر إلى [المعلومات](/tag/المعلومات) الحرجة المطلوبة لأداء [استنتاج](/tag/استنتاج) مستقر. [عبر](/tag/عبر) المهام المختلفة، كانت [دقة](/tag/دقة) BERTScore أقل بشكل مستمر من [الدقة](/tag/الدقة) العامة، مما يشير إلى أن الفشل في الضغط يُعزى أساسًا إلى حذف [المعلومات](/tag/المعلومات) بدلاً من الانجراف الدلالي. هذه النتائج تشير إلى أن طرق [ضغط الطلبات](/tag/ضغط-الطلبات) المصممة للنماذج التلقائية لا تنتقل بشكل موحد إلى [نماذج [اللغة](/tag/اللغة) الضخمة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الضخمة) المشتتة، مما يدفع إلى [تطوير](/tag/تطوير) [استراتيجيات](/tag/استراتيجيات) ضغط واعية للمشتتات.