في عالم ينتشر فيه الذكاء الاصطناعي (AI) بشكل متزايد، يبدو أن نماذج دمج الخبراء (Mixture of Experts - MoE) تكتسب شهرة واسعة، خاصة فيما يتعلق بنماذج اللغات الضخمة (Large Language Models - LLMs). ومع ذلك، يبقى استكشاف فوائد هذه النماذج على أجهزة هواتف ذكية ذات قدرة محدودة ميدانًا شبه بكر. هنا يأتي دور MobileMoE.

تعتبر MobileMoE عائلة من نماذج MoE التي تم تصميمها لتستخدم على الأجهزة المحمولة، حيث تحتوي على عدد نشط من المعلمات يتراوح بين 0.3 إلى 0.9 مليار، بينما يصل العدد الإجمالي إلى ما بين 1.3 و5.3 مليار. هذا التطور يتيح إنشاء منطقة جديدة من الأداء المثالي لنماذج اللغات على الأجهزة المحمولة.

لإغلاق الفجوة بين الأداء والقدرة، قام الباحثون بصياغة قانون تصعيد MoE خاص بالأجهزة المحمولة ، مما يعزّز التصميم لتكون فعالة من حيث الذاكرة وحساب المعطيات. هذه العمليات تمكّن من تحديد نقطة مثالية تتمثل في دمج الخبراء بشكل دقيق وموزع، والتي تعد الأمثل من الناحية الحسابية.

تدريب نموذج MobileMoE تم على مراحل متعددة بدءًا من التدريب الأولي، مرورًا بالتدريب الوسيط، ثم التعديل الدقيق، وأخيرًا تدريب مدرك للتقليل. والأهم من ذلك، أن النتائج على 14 معيارًا أظهرت أن MobileMoE يحقق نتائج مماثلة أو متفوقة على أفضل نماذج MoE التقليدية، مع تقليص كبير في العمليات الحسابية المطلوبة أثناء الاستدلال.

كما تم تقديم أول نموذج فعال لتقنية MoE للاستدلال على الهواتف الذكية بأسعار معقولة، مما يتيح أداءً أسرع بــ 1.8 إلى 3.8 مرات في التحميل المسبق و2.2 إلى 3.4 مرات أسرع في عملية فك التشفير مقارنة بالنماذج الكثيفة السابقة.

إن هذه الخطوة الجديدة في عالم الذكاء الاصطناعي تفتح المجال لمزيد من الاستخدامات العملية على الأجهزة المحمولة، مما يعكس التقدم المستمر في هذا المجال. فكيف ترى مستقبل الذكاء الاصطناعي على الهواتف الذكية؟ شاركونا آرائكم في التعليقات!