مع تزايد انتشار نماذج اللغات الضخمة (Large Language Models)، تواجهنا تحديات كبيرة تتعلق بأداء الأجهزة اللازمة لمعالجة البيانات. يصبح من الضروري اليوم استخدام مسرعات أجهزة متخصصة تلبي متطلبات زمن الاستجابة المنخفض واستهلاك الطاقة. في هذا السياق، تبرز عمليات مثل LayerNorm وRMSNorm وSoftmax كعناصر حيوية تؤثر على الأداء العام.
الكثير من المسرعات الحالية تعتمد على وحدات مخصصة لأداء هذه الوظائف، مما يؤدي إلى تكرار الموارد واستخدام غير فعال للسليكون. لمواجهة هذه المشكلة، تم اقتراح محرك MIVE (Minimalist Integer Vector Engine)، وهو بنية قابلة للبرمجة مصممة لتنفيذ العمليات الثلاث في مسار بيانات موحد.
من خلال الاستفادة من الأنماط الحسابية المشتركة بين LayerNorm وRMSNorm وSoftmax، يحقق محرك MIVE كفاءة في استخدام الأجهزة، ويقلل من التكاليف المترتبة على التنفيذ.
أظهرت النتائج الفعلية لتنفيذ الدوائر المتكاملة الخاصة (ASIC) أن MIVE يوفر دعماً شاملاً متعدد الوظائف مع تحقيق كفاءة مساحة وأداء أفضل من معظم المسرعات المستقلة المتوفرة في السوق اليوم. هذا الابتكار قد يؤدي إلى نقلة نوعية في تقنيات الذكاء الاصطناعي، مما يساعد في تحقيق أقصى استفادة من موارد الحوسبة المتاحة.
محرك MIVE: الحل الأمثل لتسريع عمليات LayerNorm وRMSNorm وSoftmax في نماذج الذكاء الاصطناعي
يتزايد الطلب على تسريع عمليات الذكاء الاصطناعي، مما أدى إلى ظهور محرك MIVE القابل للبرمجة. يتميز هذا المحرك بتوافقه مع العمليات الأساسية وفعاليته في استخدام الموارد.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
