في عالم الذكاء الاصطناعي، تتطور تقنيات معالجة اللغات والنماذج باستمرار. أحد التطورات الحديثة التي تثير اهتمام الباحثين هو نموذج مزج الخبراء (Mixture-of-Experts) وتطبيقه في عملية الترميز.

قد تلاحظ أن النماذج التي تعتمد على مزج الخبراء تُفعّل عددًا محدودًا من الخبراء في كل عملية ترميز، ولكن عندما يتم تحميل أوزان هؤلاء الخبراء إلى الذاكرة المضيفة، تظهر تحديات جديدة تتعلق بنقل البيانات بين الأجهزة. وتحديدًا، يُعرف النقل بين الذاكرة المضيفة والجهاز (H2D) بأنه جزء حرج من عملية فك التشفير (decoding).

وتعتبر تقنية Speculative Decoding إحدى الطرق الفعّالة التي تُتيح التحقق من عدة رموز مسودة (draft tokens) في عملية واحدة. إلا أن نموذج مزج الخبراء يُفعّل خبراء مختلفين لكل رمز تم التحقق منه، مما يعني أن الشجرة الأكبر من الرموز تتطلب نقل عدد أكبر من الخبراء، مما يؤثر سلبًا على السرعة.

لذلك، تم تقديم تقنية SpecFit التي تسعى لتحسين أداء عمليات فك التشفير من خلال تحقيق توازن بين تفعيل الرموز وتكاليف النقل. بدلاً من الاكتفاء بزيادة طول القبول، تعطي SpecFit الأولوية لأشجار الرموز المُعتمَدة التي تزيد من الإنتاجية المتوقعة.

تستند SpecFit إلى تقدير عدد الرموز التي يتم اعتمادها من احتمالات مسار الرموز المسودة، كما تعتمد على عدد العقد ونسبة تفعيل الخبراء من تلك العقد، مما يوفر تكاليف أقل في النقل. بالإضافة إلى ذلك، تتيح تنبيهات دقيقة لتحديد متى يجب التوقف عن تقديم المزيد من الرموز.

تجارب الأداء مع مجموعة CNN/DailyMail أثبتت أن SpecFit تحقق سرعات تصل إلى 21.6% أسرع مقارنة بإصدار EAGLE-3، ما يُظهر إمكانيات ضخمة في تحسين أداء النماذج الذكية. يمكنك الاطلاع على الشيفرة البرمجية الخاصة بـ SpecFit على الرابط GitHub.

في النهاية، تبقى قضية كيفية تأثير مثل هذه التطورات على مستقبل الذكاء الاصطناعي مفتوحة للنقاش. ما رأيكم في هذا التطور؟ هل تعتقدون أنه سيؤثر على النماذج المستقبلية؟ شاركونا في التعليقات.