في عالم الذكاء الاصطناعي، يعد التعلم على الأجهزة أمرًا حيويًا عندما تواجه النماذج تغيرات على مستوى المستخدم أو المستشعر أو البيئة بعد نشرها. في هذا السياق، برزت تقنيات تكييف فعالة تُعرف باسم "التدريب الفعال للمعلمات" (PEFT)، وخاصة متغيرات "التكييف ذا الرتبة المنخفضة" (LoRA) التي تسمح بتكيف فعال على أطراف الشبكة (edge).
ومع ذلك، فإن التحدي الأكبر الذي يواجهه تكييف الشبكات العصبية التلافيفية (CNN) ليس فقط عدد المعلمات القابلة للتدريب، بل حالة التنشيط التي يجب احتفاظ بها حتى تمرير الخلفية. وهنا يأتي دور ابتكار "MemFLoRA"، وهو مكيّف للـ CNN يعتمد على مبدأ التصميم ذا الذاكرة أولًا بدلاً من التطبيق المباشر لأسلوب LoRA الموجه نحو المحولات (transformers).
بدلاً من التركيز على تقليل وزن المعلمات القابلة للتدريب فقط، قامت MemFLoRA بتعريف معيار "ذاكرة التنشيط الأدنى"، مما يسمح بإجراء عمليات تدريب خلفية دون الاعتماد على المدخلات الكاملة للطبقات. يتمثل ما يميز هذا المكيف في أنه يجمّد الانخفاض في المشروع، ويتدرب على الزيادة المتطابقة، ويجمع بين تطبيع المستوى الخلفي في وضع التقييم مع قواعد الخلفية الأدنى للتنشيط، مما يؤدي إلى تقليل حالة الذاكرة المطلوبة إلى الفرع ذا الرتبة المنخفضة.
تم تقييم MemFLoRA على ثلاثة مجموعات بيانات لتعريف الأنشطة البشرية (HAR) ومجموعتين من قواعد بيانات CNN تحت تغيرات في الموضوع، ومواقع الجسم، وتوزيع المستشعرات. وقد أظهرت نتائج التقييم أن MemFLoRA تقلل ذاكرة التنشيط المحفوظة بنسبة تبلغ من 98.5% إلى 98.7%، وذروة حالة التدريب بنسبة تتراوح بين 94.9% و97.3% مقارنةً بالتدريب الكامل. بينما تحقق أداءً يعادل أو يتجاوز الأسس المعمول بها في PEFT لشبكات CNN.
يمثل MemFLoRA خطوة متقدمة نحو جعل تقنيات الذكاء الاصطناعي أكثر كفاءة وسهولة في الاستخدام، مما يفتح الباب أمام تطبيقات جديدة وابتكارات مستقبلية في عالم الذكاء الاصطناعي.
ابتكار ثوري في الذكاء الاصطناعي: MemFLoRA لتكييف الشبكات العصبية المتطورة على الأجهزة المحمولة
تشهد تقنية الذكاء الاصطناعي تحولاً جذريًا مع ظهور MemFLoRA، التي تعد حلاً مبتكرًا لتكييف الشبكات العصبية التلافيفية على الأجهزة المحمولة. هذا الابتكار يحقق توفيرًا مذهلاً في الذاكرة والنفقات المطلوبة لتدريب النماذج.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
