ابتكار نموذج هجيني لتقدير زمن الاستدلال واستهلاك الطاقة في نماذج اللغات الضخمة!

في عصر تتسارع فيه تطورات الذكاء الاصطناعي، تعاني نماذج اللغات الضخمة (Large Language Models) من زيادة ملحوظة في التكلفة التشغيلية، استهلاك الطاقة، وزمن الاستدلال. لذا، ظهرت الحاجة الملحة لابتكار طرق دقيقة لتقدير هذه العوامل الحرجة، والتي تعتبر أساساً لازدهار التطبيقات الذكية.

في هذا السياق، قام الباحثون بتقديم نموذج هجين جديد يُدعى HYMELL، الذي يعد إطار عمل ثلاثي المستويات يمزج بين النمذجة التحليلية وتعلم الآلة (Machine Learning) لتقدير زمن الاستدلال واستهلاك الطاقة بشكل فعّال.

يتكون نموذج HYMELL من ثلاث مستويات متدرجة:
1. تقدير تحليلي للعمليات الأساسية.
2. تنبؤ بواسطة تعلم الآلة لمكونات أعلى.
3. نموذج شامل يُعالج النفقات العامّة التي تشمل مراحل الـ prefill والـ decode.

يدعم هذا الإطار مجموعة متنوعة من الهياكل المعمارية مثل الشبكات العصبية الكثيفة، نماذج المتخصصين المختلطين (Mixture-of-Experts)، وآليات الانتباه متعددة الرؤوس. عند تقييمه على معالج الرسوميات NVIDIA H100، أثبت HYMELL دقة تنبؤية عالية، حيث حقق خطأ أقل من 5% في كلا المرحلتين المذكورتين لنموذج LLaMA 3 بحجم 8B.

بفضل قدرته على التنبؤ بتكاليف التنفيذ مباشرةً من المعايير المعمارية، يوفر HYMELL القدرة على استكشاف خيارات التصميم بسرعة وكفاءة، مما يسهل تحسين استهلاك الطاقة. هذا الابتكار سيكون له تأثير كبير على تصميم وتصنيع الأنظمة الذكية في المستقبل.