تعد نماذج اللغة الكبيرة (Large Language Models) إحدى ركائز الذكاء الاصطناعي، ولكنها تواجه تحديات واضحة عند استخدام تقنيات الحذف الهيكلي (Structured Pruning) لضغط حجمها. رغم أن هذه التقنية تم اختبارها بنجاح في مهام التعرف متعددة الخيارات، إلا أنها تعاني في المهام التي تتطلب توليد نصوص حرة. وفقًا لأبحاث حديثة، يمكن التغلب على هذه العقبات من خلال تقنية جديدة تُدعى ShortOPD.

تستند ShortOPD إلى ملاحظتين حاسمتين: الأولى تشير إلى أن الكثير من المعلومات المرتبطة بالتوليد المفيد تُفقد خلال عملية الضغط، بينما الثانية تكشف أن التكرار في النهايات المتكررة هو ما يُعيق الاستعادة. وبما أن نموذج التعلم يواجه صعوبة في التعامل مع هذه النهايات، فإن ShortOPD توفر تدريبًا مكثفًا على حالات النظام الأمثل الخاصة بالنموذج المضغوط، مما يُعزز قدرته على توليد نصوص ذات جودة أعلى.

تعمل ShortOPD على تحسين أداء النموذج المضغوط بشكل كبير، حيث تم تسجيل زيادة في درجات الأداء تصل إلى تسعة أضعاف قيمتها غير المستعادة، مع الحد من الوقت المستغرق في التدريب بما يصل إلى 71%.

إن نجاح ShortOPD في رفع مستوى أداء نماذج اللغة عند استخدامها في سلسلة من المهام مثل الرياضيات، البرمجة، وتوليد النصوص المفتوحة، يعكس إمكانات ضخمة لتقنيات الذكاء الاصطناعي المستقبلية. مع هذه التقنية، نحن على بعد خطوات قليلة من تحقيق جودة توليد النصوص القابلة للاستخدام في التطبيقات الذكية.

ما رأيكم في هذه التقنية الجديدة؟ هل تعتقدون أنها ستسهم في تحسين أداء التطبيقات الذكية؟ شاركونا آرائكم في التعليقات.