في عالم الذكاء الاصطناعي المتقدم، تلقي دراسات جديدة الضوء على جوانب مهمة من تقنيات الحساب. في هذا الإطار، تم تقديم مفهوم جديد يُعرف بـ X-Stage، الذي يعزز الأداء العام في عمليات استدلال الأنظمة المعتمدة على الترنسفورمر (Transformer).

توضح الأبحاث أن التواصل الدقيق، الذي يبدأه الجهاز، يمكّن أنوية GPU المستمرة في عمليات الاستدلال الموزعة عبر نموذج DiT من إجراء تخزين عن بعد وتداخل حركة البيانات مع حسابات Tensor Core. تقليديًا، كانت الأنظمة تحدد الأوقات التي يتم فيها إصدار الاتصالات وتوقيت استهلاك البيانات المستلمة، ولكنها تجاهلت التقدم بعد الإصدار حتى الاكتمال المرئي عن بُعد، مما يجعل الضغط على المرسل صعب التنبؤ.

تُظهر القياسات التي أُجريت على نظام مؤلف من ثمانية وحدات معالجة رسومات (GPUs) مع بنية NVIDIA الحديثة أن دفعات التخزين عن بُعد القصيرة تستنزف أثناء استئناف المصدّر عمله، في حين أن الحقن المستدام يستنفد السعة المحدودة المتاحة مما يؤدي إلى تأخير الإصدارات التالية.

لتجاوز هذه التحديات، تم استخدام نموذج Burst-Gap الخفيف الوزن الذي يتم تعيينه زمن إصدار خالٍ من الضغط، ومعدل استنزاف فعال، والسعة المتبقية لتوقع زيادة الأعباء والتعافي بين دفعات العمل.

بفضل هذا النموذج، تم إعادة تصميم نواتج الاتصال والحساب بشكل مبتكر. على سبيل المثال، تم دمج العمل بين Linear-1 وLinear-2 عبر موجات الخبراء في نموذج DeepGEMM MegaMoE، مما أدى إلى تسريع كبير في السرعة يصل إلى 1.18x كمتوسط و1.62x كحد أقصى مقارنة بالنموذج الأساسي.

بالإضافة إلى ذلك، داخل نموذج الاهتمام المتوازي Ulysses، سمح دمج All-to-All بعد الاهتمام باستخدام التخزين عن بُعد واستئناف الحسابات بدون الحاجة لعملية اتصالية مخصصة، مما أدى إلى زيادة سرعة بنسبة 1.43x و1.42x على التوالي.

تؤكد هذه النتائج على أهمية التقدم بعد الإصدار كوسيلة قابلة للقياس في تشكيل دفعات العمل، مما يساعد على تجنب الضغط على المرسل وإخفاء الأعباء على الجانب المرسل. هل أنتم متحمسون لفهم كيف يمكن لمثل هذه التقنيات أن تغيّر مستقبل الذكاء الاصطناعي؟ شاركونا آراؤكم في التعليقات.