في عصر تتسارع فيه الابتكارات التقنية، يبرز مشروع “Cleave” كأحد أكثر الحلول تقدمًا في مجال تحسين البرمجة للنماذج الكبيرة في الذكاء الاصطناعي. يعتمد Cleave على تقنية فريدة تُعرف بالفصل الرمزي (symbolic decoupling) التي تسمح له باكتشاف التحولات من خلال إجراء تحسينات فائقة على الرسم البياني باستخدام أشكال رمزية.

تستخدم النماذج الكبيرة مثل FlashAttention وFlashDecoding كيرنلات محسّنة جدًا تُعد ضرورية لتسريع الأداء. ومع ذلك، فإن معظم هذه الكيرنلات تم تدوينها يدوياً من قبل خبراء، حيث لا تتمكن مجمعات التعلم الآلي (ML compilers) الحالية من تحقيق نفس الكفاءة.

تعتمد العملية الخاصة بـ Cleave على دمج العمليات مع عدة تقليصات، مما يتطلب إجراء تحويلات جبرية على الرسم البياني الخاص بالحساب، بالإضافة إلى جدولة العمليات المُعدَّلة. وللأسف، فإن البحث المثالي عن هذه التحولات في الفضاء الشامل هو تحدٍ هائل.

من خلال استخدام الرموز، يسهل Cleave عملية التحقق من التكافؤ ويمكّن من تقديم مشغل جديد يسمى "Split"، الذي يوزع العمليات بشكل متوازي عبر بُعد التقليص. هذا يعني أن Cleave ليس فقط قادراً على تقديم تحسينات هائلة في الأداء، بل يمكنه أيضًا تقليل وقت التجميع بما يصل إلى 5.9 مرة مقارنة بنموذج Mirage.

وقد أظهرت التقييمات على السجلات الفرعية المشتركة للنماذج اللغوية الكبيرة أن Cleave يولد كيرنلات أسرع بمقدار يصل إلى 2.8 مرة من أفضل المعايير السابقة، ومتوسط 1.6 مرة. ومن بين العبء الديناميكي الملتقط من تتبع الخدمة، فإن Cleave يُحقق تسريعًا هندسيًا متوسّطًا بنسبة 1.4 مرة و1.7 مرة مقارنة بنماذج FlashInfer المدونة يدويًا.

لتفاصيل أكثر، يمكنكم زيارة رابط Cleave على GitHub.

استعد لعالم الذكاء الاصطناعي المُعتمد على الكفاءة مع Cleave. ما رأيكم في هذه التطورات؟ شاركونا في التعليقات!