في دراسة جديدة نشرت على منصة arXiv، تم تناول سؤال محوري: كم عدد الأبعاد التي تستخدمها نماذج اللغة (Language Models) فعليًا في عمليات حساباتها؟ هذا السؤال يُعتبر غامضًا حتى يتم تحديد دالة وظيفية (Functional) معينة.

تقدم الرسوم البيانية ذات الوزن العملي (Task-weighted charts) وسيلة فعالة لتوضيح الأمر، حيث يمكن أن تتناسب أنظمة الإحداثيات منخفضة الأبعاد مع الوظائف المختارة للتمثيل، باستخدام مقياس دالة تلك الوظيفة، مما يحول عملية التقطير (Distillation) إلى طريقة حساب بسيطة تعتمد على أقل المربعات (Least Squares).

خلال الدراسة، شملت الأبحاث ستة نماذج من ثلاث عائلات مختلفة، تراوحت بين 70 مليون و7 مليارات معلمة. وقد أظهرت النتائج أن عملية توقع الكلمة التالية تحتاج إلى 70-90% من عرض السلسلة المتبقية للبقاء ضمن 5% من التعقيد السليم، وذلك يعود إلى الاستخدام النادر لبعض الكلمات في اللغة.

تُظهر البيانات أن الاتجاهات القليلة تحمل 90% من تباين تنشيط نموذج GPT-2، ولا تحمل تقريبًا أي من وظائفه. وتجدر الإشارة إلى أن الأبعاد تتحدد بناءً على الوظيفة: حيث تقرأ عدم يقين النموذج من ستة إحداثيات بينما تحتاج التوزيعة التنبؤية الكاملة إلى مئات الأبعاد.

الأمر الأكثر إثارة هو أن هذا الانفصال يمكن استغلاله: فعندما يمكن الاحتفاظ بعدد قليل من الأبعاد، تُبقي الرسوم البيانية المدربة وفقًا لمقياس الوظيفة تنبؤات النموذج بشكل أفضل مقارنةً بالأساليب المعتمدة على التباين أو الضغط الخطي الأمثل.

إذاً، هل يمكن للعلماء والتقنيون استغلال هذه النتائج لخلق نماذج أكثر دقة وكفاءة في المستقبل؟ شاركونا آراءكم في التعليقات.