في عالم الذكاء الاصطناعي، تلعب نماذج اللغة الكبيرة (LLMs) دورًا محوريًا، وقد ظهرت تقنية جديدة تُعرف باسم Q-Strata تقدم حلاً مبتكرًا لتوزيع بتات الشبكات في نماذج Mixture-of-Experts (MoE) التي أصبحت شائعة الاستخدام. قد تواجه النماذج التقليدية تحديات في الحفاظ على جودة النموذج عند تنفيذ التكميم بدقة مختلطة (Mixed-precision quantization)، حيث تحتاج إلى توزيع البتات بشكل ذكي لتقليل الفقد في الجودة.

تتميز تقنية Q-Strata بتقديم طريقة توزيع ثنائية المستوى، حيث يتم تصنيف التخصيصات داخل الكتل بمساعدة proxy رخيصة التكلفة، ومن ثم توزيع الميزانية عبر الكتل بالتقييم المباشر للهدف على النموذج الكمي المتوقع. وهذا يعني أن Q-Strata يعزز من الجمع بين الكتل بطريقة لم يكن ممكنًا باستخدام التقنيات الحالية، مما يتيح له تحقيق نتائج أفضل في اختبارات جودة النصوص مثل WikiText2 إذا ما قورن بأساليب التكميم السابقة.

لقد أظهرت النتائج تجانس Q-Strata في تحقيق انخفاض ملحوظ في تعقيد النماذج، مما يجعله الحل الأمثل للباحثين والمطورين الذين يسعون لتحسين أداء نماذج الذكاء الاصطناعي.

لا تفوتوا فرصة الاطلاع على الكود المصدري المتاح على GitHub واستكشاف آثار Q-Strata على مستقبل نماذج اللغة!