على الرغم من التقدم المذهل في قدرات البرمجة، لا يزال العديد من نماذج اللغة (Language Models) تواجه تحديات في مهام تركيبية بسيطة، مثل توليد أقواس متوازنة.

في دراسة جديدة، تم التحقيق في الآليات الأساسية وراء استمرار هذه الأخطاء عبر نماذج مختلفة الأحجام تتراوح من 124 مليون إلى 7 مليار معلمة. هذه الدراسة تكشف النقاب عن أن نماذج اللغة تعتمد على مجموعة من المكونات، مثل رؤوس الانتباه (Attention Heads) والخلايا العصبية (FF Neurons)، التي تقدم توقعات مستقلة.

بينما تعمل بعض هذه المكونات على تعزيز الإجابات الصحيحة عبر مجموعة متنوعة من المدخلات، فإن البعض الآخر يكون أقل موثوقية، حيث يقدم تشتتاً من خلال تعزيز الرموز غير الصحيحة. تتكرر الأخطاء عندما تفيض الآليات غير الموثوقة على تلك الصحيحة وتؤثر بشكل كبير على التوقعات.

استناداً إلى هذه الرؤية، قدم الباحثون تقنية جديدة تُدعى RASteer، وهي منهجية موجهة تحدد بشكل منهجي وتزيد من مساهمة المكونات الموثوقة لتحسين أداء النماذج. وقد أظهرت الدراسات أن RASteer قد حسَّنت الأداء في مهام الأقواس المتوازنة بشكل كبير، حيث تم رفع دقة بعض النماذج من 0% إلى حوالي 100%، دون التأثير على قدراتها العامة في البرمجة.

علاوة على ذلك، تم إثبات تطبيقها الأوسع في مهام الاستدلال الحسابي، محققة زيادة في الأداء تصل إلى حوالي 20%. هذا التطور يعد خطوة هامة نحو تعزيز فعالية نماذج اللغة في معالجة المهام التركيبية.

ما هي آراؤكم حول هذه التطورات المذهلة في عالم الذكاء الاصطناعي؟ دعونا نناقش ذلك في التعليقات!