مع زيادة الاعتماد على نماذج اللغات الضخمة (Large Language Models) في مجالات متعددة، بات من الضروري تحسين كفاءة الأداء وتقليل تكاليف التنفيذ. ومن أهم الأسباب وراء زيادة التكاليف هو استهلاك الشبكات العصبية العامة (Feed-Forward Networks) للموارد الحاسوبية بشكل كبير. ولكن هل تعلم أنه يمكنك استخدام هياكل مختلطة تُعرف باسم Mixture-of-Experts (MoE) للمساعدة في تخفيض هذه التكاليف؟

الطريقة التقليدية لتحويل الشبكات العصبية إلى نماذج MoE تتطلب تدريبات مكثفة على مئات المليارات من الرموز، وهو ما يمثل تحديًا كبيرًا. لكن، فريق من الباحثين ابتكروا إطار عمل تحليلي جديد يمكنه إعادة هيكلة الشبكات العصبية بكفاءة وسرعة باستخدام مجموعة بيانات ضبط صغيرة فقط!

تستند هذه الطريقة إلى تحليل أنماط نشاط الخلايا العصبية لتقسيمها إلى خبراء مشتركين يتم تنشيطهم دائمًا، وخبراء متعتمدين يتم تنشيطهم حسب الحاجة. بعد ذلك، يتم بناء نظام توجيه رياضي بناءً على إحصائيات الخلايا العصبية الممثلة، مما يجعل من الممكن نشر النموذج الجديد على الفور، مع خيار تحسين دقيق خفيف.

تظهر التجارب أن هذه التقنية يمكن أن تسجل زيادة في السرعة بمعدل يصل إلى 1.17 مرة في الظروف المقيدة بالحساب، فقط بعد دقائق من المعالجة وعمليات تعديل صغيرة على 2000 عينة! هذا يعني أن العملية ليست فقط سريعة، ولكنها أيضًا أكثر كفاءة بالمقارنة مع الطرق التقليدية التي تتطلب موارد ضخمة.

في ضوء هذا الابتكار، كيف ترى مستقبل نماذج الذكاء الاصطناعي وتكلفتها؟ هل تعتقد أن هذه الطريقة ستغير طريقة عملنا مع الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!