هل تُعتبر نماذج اللغات الضخمة قابلة للفك؟ وكيف يؤثر تجزئة بيانات التدريب على أدائها!

تُعتبر نماذج اللغات الضخمة (Large Language Models) من أكثر التقنيات المثيرة للجدل في مجال الذكاء الاصطناعي اليوم. فقد أجرت دراسة حديثة من خلال منصة arXiv محاولة لفهم كيفية تأثير تجزئة بيانات التدريب على النتائج المستخلصة من هذه النماذج.

تطرح الدراسة تساؤلات مهمة: هل تحتوي نماذج اللغات الضخمة على قشرة معلمية خاصة بمجالات معينة، تُعرف بالنيوترونات القابلة للفصل (parametric shells)؟ هذه النيوترونات هي تجمعات ثانوية من النيوترونات التي تلعب دورًا حاسمًا في معالجة معلومات محددة، وإزالة بعضها قد تُفقد النموذج جزءًا من كفاءته في مجال معين بينما تظل النماذج لأخرى دون تأثير.

في هذه الدراسة، تم تطبيق منهجية قاعدية موحدة عبر تنوع من المجالات (ثمانية مجالات مختلفة) وعبر ثلاثة عائلات من النماذج (من 1.5 مليار إلى 7 مليار معلمة). ويظهر التحليل أن أي نيوترون لا يتجاوز نسبة 60% من الانتقائية عبر 939,008 نيوترون من الشبكة العصبية (FFN)، بينما كانت مصفوفات الضرر مسطحة، رغم وجود إمكانية التشفير الخطي فوق 85% دقة للمجالات.

وعلى مستوى اللغة والنمط، يتجاوز 0.65--1.14% من النيوترونات نسبة 60% من الانتقائية، فيما تبين النتائج أن هناك نمطًا مثيرًا، حيث تؤدي عملية حجب النيوترونات الاختيارية إلى تقليل دقة التفكير الرياضي بنسبة تتراوح بين 16 و24% في جميع النماذج. بينما يؤدي حجب النيوترونات الخاصة باللغة الإسبانية أو الصينية إلى نتائج تماثل نتائج العشوائية.

ترتبط قوة القشور المعلمية بزيادة الحجم، وتتوزع في نمط يُحظر فيه الكمّ الانتقائي على مستوى المجموعة، مما يطرح سؤالًا مهمًا: هل يمكننا حقًا فصل الأجزاء المعلمية من النماذج؟ تبين هذه الدراسة أن هذه القشور تتشكل فقط حيث كانت بيانات التدريب على مستوى وحدات الرموز (tokens) قابلة للتجزئة.

هذه النتائج قد تعيد تشكيل فهمنا لكيفية قيام الذكاء الاصطناعي بمعالجة المعلومات، ونحتاج الآن إلى التأمل في هذه النتائج. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.