تعتبر نماذج اللغات الضخمة (LLMs) من أبرز الابتكارات في مجال الذكاء الاصطناعي، إلا أن تكلفة استنتاجها أصبحت تحديًا كبيرًا. قدمت الأبحاث الحديثة حلولًا تتعلق بتقنيات التخفيف التي تضيف القليل من الهيكلية إلى مصفوفات الأوزان، مما يسهم في تسريع عملية الاستنتاج. لكن، غالبًا ما يحد الحفاظ على جودة النموذج من هذه التقنيات، مما يجعل فرص التخفيض تتراوح حول 50%.

تحتوي التقنيات الحالية على عجز في الأداء مقارنةً بمصفوفات الضخامة، مما دفع الباحثين لتقديم نهج مبتكر. يقدم هذا المقال اقتراحًا لطريقة فعالة لاستنتاج نماذج اللغات الضخمة مع تميزها بالكفاءة العالية.

يتضمن الاقتراح تنسيق تخزين مكون من ثلاث طبقات:
1. طبقة Sparse-TC التي تتيح نوى التنسير القليلة الهيكلية لتسريع عملية ضرب المصفوفات الشاذة (SpMM).
2. طبقة Slot-Filling التي تعتمد على المسافات التفاضلية الموازية لضغط المصفوفة مع دعم فك تشفير منخفض التكلفة على الشريحة.
3. طبقة Residual خفيفة لضمان الحساب الصحيح لعملية SpMM.

تم تصميم نواة SpMM مبنيّة على هذا التنسيق لتعتمد على نوى التنسير القليلة الهيكلية ونوى CUDA، مما يمكّن من تنفيذ فعال يدعّم الوصول إلى الذاكرة.

تشير التقييمات إلى أن طريقة الباحثين هي الأولى التي تتفوق على الضرب الكثيف التقليدي على وحدات معالجة الرسوميات الحديثة المجهزة بذاكرة عالية النطاق (HBM). حيث حققت سرعة تفوق قدرها 1.64 مرة على مستوى النواة مقارنةً بـ SpInfer، و1.41 مرة تسريعًا على مستوى الأداء الكلي مقارنةً بـ FlashLLM.