في عالم الذكاء الاصطناعي، تبرز الحاجة إلى تقنيات جديدة لتسهيل جدولة المهام بكفاءة على مراكز حاسوبية متنوعة. هنا يأتي دور SCALE (التعلم القابل للتوسع مع الاهتمام المتقاطع)، وهو نظام جدولة يعتمد على التعلم المعزز العميق (DRL) ويتميز بقدرته على التكيف مع أي عدد من الخوادم دون الحاجة إلى إعادة تدريب.

تعمل أنظمة النماذج اللغوية الكبيرة (LLM) على تقسيم المهام المعقدة إلى مخططات زمنية تُعرف بإسم Directed Acyclic Graphs (DAGs) وتقوم بجدولة هذه المهام عبر مجموعات خوادم متنوعة. ولكن، يتطلب معظم المحررين التقليدين عادةً إعادة تدريب عند تغيير عدد الخوادم، مما يؤدي إلى تباطؤ في الأداء. هنا ينفرد SCALE، حيث يقدم حلاً مبتكرًا من خلال شبكة اهتمام متقاطع تُمكنه من التعامل مع أي حجم من الخوادم بكل سلاسة.

ومع ذلك، ورغم أن الهيكلية المتجانسة لا تضمن الأداء الجيد عند تغيير الأحجام، فإن SCALE يتجاوز هذه العقبة من خلال إدخال تقنية جديدة تُعرف بـ Structured Representation Regularization (SRR). تعمل SRR على استقرار إحصائيات الميزات وضمان الأداء الجيد للمعمارية الجديدة أثناء التكيف مع الزيادة في عدد الخوادم.

وفي تجربة حديثة، تم تدريب SCALE على 16 عقدة واختباره مباشرةً على 32 و48 عقدة، حيث أظهرت النتائج أن الأداء تحسن بشكل ملحوظ، حيث أنخفض متوسط زمن الاستجابة بنسبة 8.9% عند استخدام 48 عقدة مقارنة بنفس المعمارية بدون SRR. وهذا يوضح أهمية التنظيم الصريح لسد الفجوة في التعميم عبر أحجام المراكز المختلفة.

هل أنتم متحمسون لاستخدام تقنية SCALE في تحسين عملية جدولة المهام في المستقبل؟ شاركونا آرائكم في التعليقات!