في عالم الذكاء الاصطناعي، يعتبر تطوير نماذج اللغة الكبيرة أحد أهم التحديات، لذا أعلن الباحثون في دراستهم الأخيرة عن تقنيات جديدة تتمثل في CHERRY، والتي تركز على ثلاث استراتيجيات ملائمة لتحسين كفاءة هذه النماذج.

**1. الإشراف الانتقائي وكفاءة التخصيص بالرموز**
تستخدم تقنية الإشراف الانتقائي (Selective Ground Truth Token Training - SGT) لتركيز الإشراف على حوالي 15% فقط من الرموز الناتجة التي تحمل المعنى. من خلال ربط الإشراف عبر تدرجات الإيجاب، تحقق هذه التقنية تحسيناً ملحوظاً في أداء الـ 85% من الرموز غير الخاضعة للإشراف.

**2. ضغط العمق مع الاستعادة المتكررة**
استخدم الباحثون نموذجاً تمثيلياً يحتوي على 48 طبقة و1 مليار معلمة، وضغطوه إلى 6 طبقات فقط. ولكن الأهم من ذلك، أن النموذج يتم استعادته عبر فك التكرار التعلمي، مما يؤدي إلى تحسين كبير في الدقة وكفاءة النموذج.

**3. دمج الخبراء المضغوطين**
تجمع هذه التقنية بين عدة نماذج مضغوطة ضمن استراتيجية تُعرف باسم Mixture of Efficient Experts (MoEE)، مما يحسن أداء النماذج الفردية. في نهاية التحليل، تبين أن دمج نموذجين يمكن أن يسجل خسائر أفضل من أفضل نموذج مضغوط مفرد.

تعتبر هذه الابتكارات خطوة مهمة نحو تقليل الموارد المطلوبة لتدريب نماذج اللغة بينما تعزز في نفس الوقت الأداء الكلي. ستساهم تقنية CHERRY-1.8B، التي تم تدريبها باستخدام هذه الأساليب، في فتح آفاق جديدة لمستقبل الذكاء الاصطناعي.

ما رأيكم في هذه التقنيات الجديدة؟ كيف تعتقدون أنها ستؤثر على مستقبل نماذج الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!