في عالم الذكاء الاصطناعي، حيث تعمل نماذج اللغات الكبيرة (LLMs) على تحقيق إنجازات مذهلة، قدم علماء من مجموعة VITA رؤى قيمة قد تغير فهمنا لكيفية تدريب هذه النماذج. في دراستهم الجديدة المعنونة "فرضية الحمض النووي غير المفيد"، يتناول الباحثون مسألة مهمة تتعلق بالأوزان المدربة مسبقًا في النماذج اللغوية.

على مدى السنوات، تم الاعتقاد بأن الأوزان داخل نماذج اللغات الكبيرة تحمل تكرارًا مهمًا، مما يعني أن إزالة جزء كبير من المعلمات لن تؤثر سلبًا على الأداء. ولكن، هذه الدراسة تقدم وجهة نظر مغايرة: الأوزان الصغيرة يمكن أن تحتوي على معرفة حيوية تحتاجها النماذج لأداء المهام المعقدة.

تشير النتائج إلى أن هناك علاقة متزايدة بين تدهور أداء النماذج في المهام الصعبة وكثرة الأوزان التي يتم تقليمها. حتى مع استمرار التدريب على المهام، يمكن أن يؤدي فقدان الأوزان الصغيرة إلى تدهور الأداء على المدى البعيد.

وعلى عكس الاعتقاد السائد، فإن تقنيات ضغط البيانات الأخرى مثل الكمون (Quantization) لم تظهر نفس التأثير التالي عند تقييم صعوبة المهام، مما يسلط الضوء على تفرد فرضية الحمض النووي غير المفيد.

لقد أجرت الفرق عدة تجارب شاملة لدعم هذه الفرضية عبر مجموعة متنوعة من أحجام النماذج والمهام والبيانات، مما يثير تساؤلات جديدة حول كيفية تحسين تدريب النماذج اللغوية.

إذا كنتم مهتمين بالموضوع، يمكنكم الاطلاع على الكود البرمجي المتوفر على [رابط GitHub الخاص بالدراسة]. ما رأيكم في هذه الاكتشافات المدهشة؟ شاركونا آراءكم في التعليقات.