في عالم الذكاء الاصطناعي، تلعب كفاءة نماذج التحويل (Transformer Models) دوراً محورياً، وتعتبر التقنيات المبتكرة لتقليل التكاليف الحسابية والذاكرة من أبرز وأهم التوجهات الحالية. تظهر الأبحاث الحديثة أهمية تقنيات مثل تقليل وزن النموذج (weight pruning) وتخفيف التفعيل (activation sparsification) كمزيج فعّال لاستخدام الموارد بكفاءة.
تعتبر تقنية 'Gustavson's dataflow' المُستخدمة في العمليات الحسابية على المعالجات المتجهة (Vector Processors) نموذجاً طبيعياً لاستغلال كل من تفعيل النموذج ووزنه. ولكن، تفتقر بنى 'RVV' الحالية إلى دعم هذا النمط بشكل أصيل، مما يحتم على العمليات الاعتماد على فك التشفير البرمجي لبيانات الفهارس والعمليات المرتبطة بالذاكرة، مما يترك عمليات المعالجة بعيدة عن حدود الأداء العليا.
هنا تأتي مساهمة تقنية 'Ventaglio' الثورية، وهي وحدة تنفيذ قابلة للتكوين أثناء التشغيل، حيث تتميز باعتمادها على إضافات 'RVV ISA' لدعم العمليات المتجهة المُعتمدة على الفهارس. تم دمج 'Ventaglio' ضمن مجموعة معالجة متجهة مفتوحة المصدر ومصنعة بتقنية 12 نانومتر. وتحقق هذه التقنية تسريعاً ملحوظاً في المعالجة بمعدل يتراوح بين 6.9 إلى 7.4 مرة مقارنة بالمعايير المؤقتة المحسنة، مع زيادة بسيطة في مساحة التخزين تبلغ 3.1٪.
لقد تم بناء نموذج دقيق على مستوى التعليمات الخاصة بإضافة 'Ventaglio' وتمت معايرته ضد تنفيذ RTL. كما تم استغلاله لإجراء تحليل الأداء على نظام متعدد الكتل بواقع 4×4. و باستخدام نموذج 'DuoGPT-pruned LLaMA-3-8B' الذي يتمتع بمستويات عملية مزدوجة من التخفيف تتراوح بين 40٪ إلى 60٪، سجلت 'Ventaglio' تسارعات تتراوح بين 2.40 إلى 5.25 مرة، و 2.06 إلى 3.16 مرة أثناء مرحلة التعليم الذاتي ومرحلة التشفير الذاتي.
التقنيات الثورية لتحسين أداء نماذج التحويل باستخدام وحدات التنفيذ التكيفية
لقد ظهرت تقنيات جديدة تهدف لتحسين أداء نماذج التحويل من خلال تقليل تكاليف الحساب والذاكرة. مع وحدة التنفيذ 'Ventaglio'، تحقق تسارعات هائلة في معالجة البيانات المبعثرة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
