ثورة في الذكاء الاصطناعي: شبكات كولموغوروف-أرنولد تفتح آفاق جديدة لنماذج اللغة الصغيرة!

في عالم الذكاء الاصطناعي المتطور، تتجه الأنظار إلى الابتكارات الحديثة التي تشكل مستقبل التعلم الآلي. قد تكون شبكات كولموغوروف-أرنولد (Kolmogorov–Arnold Networks أو KANs) واحدة من أبرز هذه الابتكارات التي تهدف إلى تحسين أداء نماذج اللغة الصغيرة.

تأتي KANs بفكرة جديدة تقوم على استبدال التنشيطات الثابتة للعقد بوظائف حواف أحادية الأبعاد مكتسبة، مما يتيح واجهة واضحة للتفسير ويقدم بديلًا محتملاً لشبكات التغذية الأمامية المستخدمة في المحولات (transformers). وقد تم إجراء اختبارات مكثفة للتحقق من فعالية هذا النموذج.

في اختبار شمل شبكة تحتوي على ستة طبقات و10 مليون معامل، تمكن الباحثون من إعادة بناء جميع 884,736 حافة تغذية أمامية، حيث أظهرت النتائج أن 87.8% منها تتجاوز عتبة معينة من النشاط، بينما كانت نسبة 0.4% منها غير نشطة. وعلى الرغم من أن تقليم أدنى 20-25% من النشاط لم يؤد إلى زيادة ملحوظة في فقدان الدقة، إلا أن تقليم الخلايا العصبية الهيكلية أظهر قابلية تحمل مشابهة.

الاختبارات الأخرى على نماذج مثل BabyLM أظهرت بعض النتائج المشجعة، مع ضرورة دراسة تفاصيل أخرى. ومع ذلك، من المهم ملاحظة أن هذه الشبكات لم تحقق نتائج متسقة عبر المعايير العالمية رغم تفوقها في بعض جوانب الأداء.

بينما توفر KANs واجهة عملية وقابلة للنقل لتدقيق التحولات الاسكالية المكتسبة، فإن البدائل المختبرة لم تثبت مزايا واضحة في الأداء مقارنةً بأسس MLP القوية. حتى الآن، يبدو أن شبكات KANs تقدم وعدًا كبيرًا لتحسين النماذج الصغيرة، ولكن الطريق لا يزال طويلاً قبل أن يتم اعتمادها على نطاق واسع.