في عالم الذكاء الاصطناعي، يسعى الباحثون دائماً إلى ابتكار أساليب جديدة لتحسين فعالية الأداء وتقليل استهلاك الموارد. وقد ناقشت دراسة جديدة كيفية تطبيق هندسة والتر المستوحاة من التأثير (influence-adaptive Walsh geometry) لتطوير نماذج اللغات العملاقة (LLMs) بوزن منخفض للغاية.

تتضمن الطريقة المقترحة استخدام تحول رياضي بسيط يجعلنا نعيد ضبط مصفوفات الأوزان في كل طبقة خطية (linear layer) من النموذج. يتم ذلك عبر تنشيط بطاقة كل عمود في المصفوفة بناءً على الطاقة المستخدمة في إشارة والتر، مما يمكن النموذج من تقديم أداء أعلى عند تقليل نسبة التعقيد.

تشير النتائج التي تم الحصول عليها إلى تقليل التعقيد بنسبة تتراوح بين 15٪ و58٪ في نماذج مُعَلَّمة مسبقًا تضم مابين 135 مليون إلى 1.5 مليار معلمة عند استخدام المعالجات التقليدية. كذلك، تم تطبيق منهجيات موسعة لضمان فعالية الطريقة في حالات مختلفة

من خلال امتلاك أدوات متقدمة مثل OpenVINO IR، استطاع الفريق تحقيق أداء ثابت عبر عدة أجهزة دون وحدات معالجة مركزيّة (CPUs) أو وحدات معالجة رسومية (GPUs). ومع ذلك، يتمثل التحدي المستقبلي في تحسين الآليات الحالية من أجل مقارنة فعالة مع تقنيات مثل SpinQuant وQuIP-sharp.

مع استمرار الإبداع في مجال الذكاء الاصطناعي، تبقى الأبحاث حول تقنيات تقليص الأوزان وسيلة مهمة لدفع حدود التطبيقات العملية لهذه النماذج. فما رأيكم في هذه الابتكارات؟ هل تعتقدون أنها ستؤثر بشكل كبير على مستقبل نماذج اللغات؟ شاركونا في التعليقات.