في عالم الذكاء الاصطناعي، يعتبر تدريب نماذج المحولات (Transformers) خطوة رئيسية نحو تطوير أنظمة تعلم أكثر كفاءة وذكاءً. ولكن، تكمن التحديات في كيفية تنفيذ هذه النماذج على أجهزة الرقائق بأعلى كفاءة ممكنة. هنا يأتي دور مشروع NeuronFabric، الذي يمثل تطوراً مهماً في هذا المجال.

NeuronFabric هو بنية مرجعية برمجية تهدف إلى تحسين عمليات تدريب المحولات باستخدام تحديثات محلية لنموذج أدم (Adam). عادةً، تعتمد المعماريات العامة على عملية فصل بين الحسابات الخاصة بالتدريب وتحديثات حالة المحسن، مما يتطلب ذاكرة خارجية وتنظيم معقد من المضيف. هنا، يجلب NeuronFabric فكرة جديدة، حيث يُنفذ التدريب بالكامل عبر برمجيات مخصصة دون الحاجة إلى أطر تعلم آلي خارجية.

التطبيق البرمجي الذي تم تطويره بلغة C# يقوم بتنفيذ تمرير البيانات الأمامي (forward pass) وعملية التراجع (backpropagation)، بالإضافة إلى تحسين أدم دون الاعتماد على بنى خارجية. هذا التصميم يهدف إلى تحقيق دقة عددية عالية ومتطلبات ذاكرة مطلوبة للغاية، مما يسهل عملية التنفيذ على الأجهزة المستقبلية مثل FPGA وASIC.

واحدة من الميزات المثيرة للاهتمام حول NeuronFabric هي تكوين BF16W، الذي يقوم بتخزين الأوزان (weights) باستخدام تنسيق BF16، بينما يحتفظ بلحظات محسن أدم بتنسيق FP32. هذا يساهم في تقليل متطلبات الذاكرة أثناء التدريب على الرقائق. النموذج الذي تم تقييمه يحتوي على 334,000 معلمة، وحقق انخفاضًا في الخسارة يصل إلى 1.5426 بعد 80,000 عينة، مما يثبت فعاليته في إنتاج نصوص مترابطة على مستوى الحروف.

ترتكز هذه المعمارية على توفير ذاكرة كافية لتخزين التفعيلات (activations)، مع تقليل مساحة الذاكرة المطلوبة للنموذج التقليدي بطريقة مبتكرة. استمراراً لهذه التطورات، تصف الورقة القيود المرتبطة بميزانية المفردات وتوفر أرقامًا حول المدخرات في الذاكرة.

بالإضافة إلى كل ذلك، تعد هذه النشر بمثابة disclosure معماري عام وتنفيذ مرجعي برمجي لاستكشاف مستقبلية NeuronFabric في معالجات FPGA وASIC. إن هذا التطور يعد خطوة مكملة إلى الأمام نحو تحسين كفاءة تدريب نماذج المحولات، مما يفتح المجال أمام الإنجازات المستقبلية.

ما رأيكم في هذا التطور في مجال تدريب الذكاء الاصطناعي؟ شاركونا في التعليقات!