في عصر الانتشار الواسع للذكاء الاصطناعي، تتطلب منصات الحافة العمل بفاعلية ودقة. لذلك تم تطوير دلتا إل إل إم (DeltaLLM) كإطار عمل جديد يهدف إلى تسريع عملية انتباه نماذج اللغة الكبيرة (LLMs) دون الحاجة للتدريب، وهو ما يعد إنجازًا كبيرًا في هذا المجال.

تحديات التفعيل على الأجهزة لم تعد خفية، إذ أن النماذج الحديثة تحتاج إلى موارد كبيرة جداً، مما يصعب الأمر بشكل جذري على منصات الحافة. ولكن دلتا إل إل إم تأتي بحلول مبتكرة لتجعل من التحديات فرصًا.

يعتمد إطار دلتا إل إل إم على مفهوم إعادة استخدام دلتا-المفتاح (Delta-Key) والذي يتيح للأداء أن يكون مدعومًا من خلال المعالجات المتخصصة (vector processors). ومن خلال عرض استراتيجيات محلية ومرتبطة بالسياق، يقوم النظام بالحفاظ على جودة الأداء من خلال تركيز تحسينات في المناطق التي تحتاج التركيز أكثر.

الأداء يبدو واعدًا، حيث أظهرت التجارب على نماذج مثل BitNet-b1.58-2B-4T و LLaMA3.2-1B-Instruct قدرته على تحقيق 60% من تقليل دلتا-المفتاح و63% من تقليل انتباه القيم مع فقدان دقة ضئيل. كما أنه يوفر تسريعًا بنسبة 1.62x بواسطة لوح KV260 FPGA، مما يعني أنه يمكنك دمج هذا الإطار في البنى التحتية الحالية بسهولة.

دلتا إل إل إم يمثل خطوة هامة نحو تحسين أداء النماذج الكبيرة على المنصات المتنقلة، مما يسهل استخدامها في التطبيقات الحقيقية وتحقيق نتائج دقيقة وفعّالة.