تجنب تدهور القدرات في النماذج اللغوية الكبيرة: استراتيجية تنظيم هندسة التمثيل

في عالم الذكاء الاصطناعي، تُعد النماذج اللغوية الكبيرة (Large Language Models - LLMs) من أبرز الابتكارات التي تعيد تعريف كيفية تعاملنا مع اللغة وتحليل البيانات. ومع ذلك، فقد أظهرت الأبحاث الأخيرة أن هذا التقدم يترافق مع تحدي جديد يتمثل في تدهور القدرات أثناء عملية تحسين النماذج.

تقدم الدراسة الجديدة المعنونة "تنظيم هندسة التمثيل" (Representation Geometry Regularization - RGR) اقتراحًا جديدًا لحل هذه المشكلة. وفقًا للبحث، تتضمن الطريقة اتجاهاً معلوماتياً مبتكراً يعرف بأنه "التعلم الذاتي القائم على الممارسات" (On-Policy Self-Distillation - OPSD) حيث يعمل النموذج كمدرس وطلاب في سياقات تدريب مختلفة.

لكن المفاجأة تكمن في أن استخدام هذه الطرق ممكن أن يؤدي إلى تفاقم المشكلة، حيث لوحظ أن الإجابات الصحيحة في المراحل الأولى من التدريب يمكن أن تتحول إلى إجابات خاطئة مع استمرارية التدريب، رغم التحسن العام في الأداء.

لبحث هذه الظاهرة، تم إجراء تحليل دقيق يوضح أن تدهور القدرات يرتبط بتدهور هندسة التمثيل المخفية، والذي يتميز بانخفاض التماسك داخل المجموعات وقلة الفصل بين المجموعات.

مستندين إلى هذه الاكتشافات، اقترح الباحثون طريقة RGR والتي تهدف إلى الحفاظ على هندسة التمثيل أثناء التدريب من خلال تعزيز التماسك داخل المجموعات والفصل بين المجموعات.

من المثير للاهتمام أنه يمكن دمج منهجية RGR بسهولة في الأساليب الحالية لـ OPSD دون التأثير على إجراءات التحسين الأساسية، وقد أظهرت تجارب واسعة النطاق ثمارها بوضوح من خلال تقليل التدهور في القدرات مع الحفاظ على تحسينات ملحوظة. يمكن كذلك الاطلاع على الكود البرمجي الخاص بهذه الطريقة عبر الرابط: github.

كيف تظن أن هذه الطريقة ستؤثر على مستقبل النماذج اللغوية الكبيرة؟ شارك برأيك في التعليقات.