تواجه نماذج اللغات الضخمة (Large Language Models) تحديات كبيرة في التعلم من بيانات محدودة، خاصة في مجالات مثل الأمن حيث تكون الأمثلة المصنفة نادرة للغاية. وللخروج من هذه المعضلة، تم تطوير تقنية جديدة تدعى إعادة وزن رأس الانتباه (Attention Head Reweighting - AHR) التي تهدف إلى تحسين فعالية هذه النماذج.

تعتمد تقنية AHR على مفهوم تدريب النموذج عبر تعديل وزن بسيط لكل رأس اهتمام بدلاً من إعادة تدريب كافة المعاملات المطلوبة، مما يقلل بشكل كبير من عدد المعاملات التي تحتاج إلى التعلم. ويظهر البحث أن AHR يمكن أن تتفوق على المعايير التقليدية مثل LoRA، حيث تستخدم فقط جزءاً ضئيلاً من المعاملات القابلة للتدريب، ما يجعلها أكثر فعالية في التعلم من عينات محدودة تصل إلى 200-1000 مرة.

تتميز الأوزان التي يتم تعلمها بسهولة في التفسير، مما يسمح للباحثين بفهم أفضل للآليات ورؤوس الانتباه المسؤولة عن قدرات التعلم في سياق نماذج اللغات الضخمة. هذه الابتكارات تعد بتوسيع آفاق التعلم الآلي وتحقيق نتائج مذهلة في تصنيف النصوص.

هل تتوقع أن تُحدث هذه التقنية ثورة في مجال الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!