إعادة التفكير في بنى الشبكات لتقديم نماذج اللغة بفعالية من حيث التكلفة

تعد بنى الشبكات في مجال تقديم نماذج اللغة المختلطة (Mixture-of-Experts MoE) من أهم القضايا المطروحة حاليًا في عالم الذكاء الاصطناعي. تتسم هذه البنى باعتمادها على شراكات كبيرة ومعقدة تستهلك جزءًا كبيرًا من وقت تقديم نماذج اللغة، مما جعل الشركات تستثمر بكثافة في شبكات مرتفعة التكاليف وعالية النطاق.

لكن، هل من الضروري حقًا استثمار كل هذه الأموال في بنى تحتية باهظة؟

نقدم لكم أول تحليل منهجي على مستوى الشبكة لتكلفة وفعالية تقديم نماذج اللغة المختلطة، حيث تمت مقارنة أربع بنى تمثيلية من المعالجات (XPU)، مثل وحدات المعالجة الرسومية (GPU) ووحدات معالجة التوتر (TPU). شمل التحليل بنى الشبكات التقليدية مثل التوسعة العمودية (scale-up) والتوسعة الأفقية (scale-out)، بالإضافة إلى بنى مبتكرة كالطوبولوجيا ثلاثية الأبعاد (3D torus) والطوبولوجيا الكاملة ثلاثية الأبعاد (3D full-mesh).

أظهرت النتائج أن البنى الشبكية منخفضة التكلفة التي لا تعتمد على المفاتيح (switchless) تعتبر أكثر كفاءة من حيث التكلفة مقارنةً بالطوبولوجيا التوسعية العمودية، حيث تحققت تحسينات بنسبة تتراوح بين 20.6% و 56.2% في كل السيناريوهات المدروسة. بشكل خاص، تعتبر الطوبولوجيا الكاملة ثلاثية الأبعاد Pareto-optimal من حيث التوازن بين الأداء والتكلفة.

علاوة على ذلك، أشارت الدراسة إلى أن عرض النطاق الترددي الحالي في الروابط العمودية مفرط حيث يُمكن تقليل عرض النطاق الترددي لتحسين معدل الإنتاجية بالنسبة للتكلفة بمعدل يصل إلى 27%. إن التحليل المستقبلي للأجيال المقبلة من وحدات المعالجة الرسومية يشير إلى أن ميزة التكلفة-الأداء للشبكات التي لا تعتمد على المفاتيح من المحتمل أن تستمر.

في ظل هذه التطورات المثيرة، يتعين علينا تسليط الضوء على أهمية الاستثمار في حلول مبتكرة في بنى الشبكات لتعزيز أداء نماذج الذكاء الاصطناعي بينما يتم تقليل التكاليف. ما رأيكم في هذا التطور؟ شاركونا في التعليقات!