مع تزايد الاعتماد على نماذج اللغة الضخمة (Large Language Models - LLMs) في مهام معالجة اللغة الطبيعية، تواجه هذه النماذج تحديات كبيرة مرتبطة باستهلاك الطاقة ومدة التشغيل المحدودة. في ظل هذا التحدي، ظهر إطار QSLM الذي يعد طفرة تقنية في تقليل أعباء الاستهلاك لدى نماذج اللغة المعتمدة على النبضات (Spike-driven Language Models - SLMs).

الإطار الجديد QSLM يقدم حلاً مبتكرًا عن طريق تنفيذ عملية التكميم التلقائي (Automated Quantization) لنماذج SLMs المدربة مسبقًا، مع الحفاظ على الأداء العالي وقيود الذاكرة. يقوم QSLM بتحديد هيكل الشبكة المدخلة وحساسية طبقات الشبكة أثناء عملية التكميم، مما يتيح له تطبيق استراتيجية تكميم متعددة المستويات تشمل التكميم العالمي، الكتل، والوحدات.

أظهرت النتائج التجريبية أن QSLM يقلل حجم الذاكرة بنسبة تصل إلى 86.5% ويخفض استهلاك الطاقة بنسبة تصل إلى 20%، بينما يحافظ على دقة أداء عالية تصل إلى 84.4% في تصنيف المشاعر على مجموعة بيانات SST-2. يتفوق QSLM أيضاً في إنتاج النصوص، حيث سجل نتيجة اضطراب مقدارها 23.2 على مجموعة بيانات WikiText-2، مما يجعله خياراً مثالياً للنظم ذات الميزانية المحدودة والموارد المحدودة.

كيف يبدو المستقبل لنماذج الذكاء الاصطناعي الموفرة للطاقة والموارد؟ شاركونا آراءكم!