يشهد عالم الذكاء الاصطناعي أحدث تطور في تجميع البيانات من خلال مشروع باس نت (PassNet)، الذي يهدف إلى تحسين نماذج اللغة الكبيرة (Large Language Models) بشكل غير مسبوق.
صُممت تجميعات البيانات الحديثة مثل TorchInductor لتحقيق تحسينات كبيرة في السرعة، لكنها تواجه تحديات كبيرة مع بعض الأكواد والتطبيقات الواقعية. يُظهر التحليل أن 43% من الرسوم البيانية الحقيقية تواجه تباطؤًا ملحوظًا في الأداء تحت بيئة التجميع الافتراضية.
هنا يأتي دور باس نت، الذي يقترح نوعًا جديدًا من توليد التحويلات، حيث تساهم نماذج اللغة الكبيرة في إعداد تحويلت هيكلية تكامل مباشرة ضمن مسارات التجميع. يتضمن مشروع باس نت:
1. مجموعة البيانات PassNet-Dataset: تحتوي على أكثر من 18,000 رسم بياني فريد مأخوذ من 100,000 نموذج واقعي.
2. منصة PassBench: تشمل 200 مهمة طويلة الذيل مع 2,060 رسم بياني، تم تقييمها وفقًا لمؤشر يُعرف باسم Error-aware Speedup Score (ES_t)، الذي يجمع بين دقة الأداء ومتانته.
تشير التجارب التي أُجريت أن منصة PassBench تمتاز بالتحديد العالي والاستجابة الفعالة. على الرغم من أن أفضل نماذج الأداء تفقد 37% من الأداء مقارنةً مع TorchInductor، فقد تم تحقيق تسريع يصل إلى 3x في بعض الرسوم البيانية، مما يؤكد أن المشكلة تكمن في اتساق الأداء وليس القدرة النمطية.
تظهر النتائج الأولية أن تعديل نموذج صغير على حوالي 4,000 مسار من مسارات باس نت يمكن أن يحسن الأداء بمعدل 2.67x، مما يقترب من أداء النماذج المتقدمة الأخرى. وبفضل هذه التطورات المتقدمة، يظهر باس نت كمنصة رئيسية لإعداد البيئات التدريبية اللازمة لتحسين عمليات التجميع القائم على نماذج اللغة الكبيرة.
الجدير بالذكر أن جميع البيانات والمعايير والأدوات متاحة للجمهور، مما يؤكد التزام الباحثين بتعزيز الشفافية والتعاون في هذا الميدان.
باس نت: ثورة في تحسين أداء نماذج اللغة الكبيرة من خلال توليد تحويلات الرسوم البيانية!
تقدم باس نت (PassNet) نهجاً مبتكراً في تحسين أداء نماذج اللغة الكبيرة (Large Language Models) من خلال توليد تحويلات رسومية مخصصة. هذا المشروع يعد ثورة حقيقية في عالم تجميع البيانات، حيث يساعد في تحسين الأداء وتقليل زمن التنفيذ بشكل ملحوظ.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
