شهدت بحوث الذكاء الاصطناعي في الآونة الأخيرة تقدماً ملحوظاً بفضل الكشف الجديد حول تحليل مصفوفة النيوترون العامة (Neural Tangent Kernel NTK). يعتبر الـ NTK أداة حيوية لفهم كيفية تعلم النماذج العصبية من البيانات المقيدة. لكن، غالباً ما كان حسابه الفعلي مسألة تعجيزية بسبب المتطلبات العالية للحوسبة والذاكرة.
في هذا السياق، قدم الباحثون طريقة مبتكرة لتقدير إحصائيات NTK بطريقة فعالة ودقيقة من خلال استخدام تقنيات تقدير المصفوفات العشوائية (randomized trace estimation). تقوم هذه الطريقة، المعروفة باسم Hutch++، بتقدير آثار NTK بالإضافة إلى مقاييس هامة مثل المعيار فرابينيوس (Frobenius norm) والترتيب الفعّال (effective rank) والتوافق (alignment).
وقد أظهرت التجارب مع نماذج متعددة، بما في ذلك الشبكات العصبية متعددة الطبقات (MLPs) ونماذج الـ GRUs المتكررة، ونموذج الـ Transformer المعتمد على اللغة الطبيعية، أن هذه الطريقة قادرة على تحسين الكفاءة بشكل كبير. تم تحقيق تسريع كبير في عملية التحليل، مما يتيح لعلماء البيانات القدرة على التعامل مع نماذج تحتوي على مئات الملايين من المعلمات.
كما وجد الباحثون أن استخدام تقديرات NTK كوسيلة توجيهية يمكن أن يحسن من عمومية التدريب، خاصة في الظروف التي تكون فيها البيانات قليلة. هذه النتائج تشير إلى أن أدوات تشخيص NTK ستكون عملية حتى في المقاييس الكبيرة، مما يفتح الأبواب أمام مزيد من الابتكارات في مجالات الذكاء الاصطناعي والتعلم العميق.
الإصدار الثوري: تحسين سرعة تحليل مصفوفة النيوترون العامة في الذكاء الاصطناعي
تمكن فريق من الباحثين من تقديم طريقة جديدة لتقدير إصلاح تحليل مصفوفة النيوترون العامة (NTK) بكفاءة عالية، مما يسهل التحقق من سرعة الشبكات العصبية. هذه الطريقة تشمل تطبيقات واسعة وتسرع عملية التحليل بشكل كبير.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
