في ظل التوسع السريع لنماذج اللغة الكبيرة (LLMs)، تزايدت المخاوف بشأن تأثيرها البيئي، وخاصة أثناء مرحلة الاستدلال (Inference). في وقت سابق، كانت الأبحاث تركز على بطاقات الرسوميات في مراكز البيانات والمنصات المدمجة، لكن لم يتم استكشاف كفاءة الطاقة لنماذج اللغة الكبيرة على معمارية آبل، المعروفة بذاكرتها الموحدة.
في هذه الدراسة، يُقدم إطار العمل GreenBench، الذي يُعدّ بمثابة أداة تقييم جديدة لقياس كفاءة الطاقة والإنتاجية والبصمة الكربونية لخمسة نماذج لغة مفتوحة المصدر من حيث عدد المعلمات (بين 3 إلى 9 مليارات) عبر ثلاثة مهام معالجة اللغة الطبيعية (NLP) على جهاز آبل M4 Pro مع ذاكرة موحدة بسعة 48 جيجابايت.
بالاستفادة من أدوات قياس الطاقة الخاصة بنظام macOS وقياسات الوقت بدقة النانو من Ollama، أظهرت النتائج أن جهاز M4 Pro consumes فقط 0.47 واط من الطاقة أثناء عملية الاستدلال المستمرة، مع استهلاك إجمالي للنظام يتراوح بين 8 إلى 12 واط. هذه الأرقام تعني أن كفاءة الطاقة لكل وحدة من النص تُعتبر أفضل بمعدل 30 إلى 40 مرة مقارنة بمراكز البيانات في عمليات الانتشار ذات المستخدم الواحد.
عندما ننظر إلى نماذج بأحجام أصغر (3-3.8 مليار معلمة)، نجد أنه يتم تحقيق معدل إنتاجية أعلى من 2.6 إلى 4.2 مرة وأقل بنسبة تصل إلى 62% من الطاقة لكل وحدة نص مقارنة بالنماذج الأكبر (7-9 مليارات معلمة). من خلال تحليل Pareto، تم تحديد نموذج Qwen 2.5 (7 مليار معلمة) كأفضل توازن بين الدقة والكفاءة، بمعدل دقة 57% في اختبارات MMLU وسرعة 59 توكن/ثانية، بينما يعتبر نموذج Llama 3.2 (3 مليار معلمة) مثالياً للتطبيقات التي تتطلب زمن استجابة سريع، بسرعة 175 توكن/ثانية.
تحتوي الدراسة أيضاً على تقديرات لاستهلاك الطاقة لكل توكن على مستويات الحزمة والنظام، بالإضافة إلى تقديرات انبعاثات ثاني أكسيد الكربون لشبكات الكهرباء في الهند والولايات المتحدة.
هذا البحث يمثل خطوة كبيرة نحو دمج الاعتبارات البيئية في تطوير البرمجيات، ويعتبر دليلاً مهما للبحث المستقبلي في هذا المجال.
GreenBench: ثورة في كفاءة الطاقة ورصد البصمة الكربونية لنماذج اللغة على شريحة آبل!
تقدم دراسة جديدة إطار العمل GreenBench، الذي يقيم كفاءة الطاقة والنفايات الكربونية لنماذج اللغة الكبيرة على أجهزة آبل. النتائج تكشف عن كفاءة تفوق 30 مرة مقارنة بمراكز البيانات التقليدية.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
