في عالم نماذج اللغات الضخمة (LLMs)، تُظهر الأبحاث أن الدقة العالية ليست كافية فقط، بل يجب الاهتمام بالاستدامة الطاقية أيضًا. يركز العديد من الباحثين على استخدام هذه النماذج في مهام هندسة البرمجيات (Software Engineering) مثل اكتشاف النسخ، وتوقع الثغرات، وتلخيص الشيفرة. ومع ازدياد استخدام هذه النماذج، تزداد مخاوف الاستهلاك العالي للطاقة الذي تعاني منه.

دراسة جديدة تناولت هذا الموضوع، حيث استهدفت تحسين كفاءة النماذج أثناء الحفاظ على الأداء. تم استخدام تقنية التقطير المعرفي (Knowledge Distillation) المدروسة لتحديد إذا ما كانت عمليات النقطة العائمة (FLOPs) معيار موثوق لقياس الاستهلاك الطاقي عند تنفيذ المهام.

تم إجراء تجارب مسيطرة باستخدام Morph، منهجية تعتمد على تحسين متعدد الأهداف، وقد وجدت النتائج أن الاعتماد على FLOPs لم يكن دائمًا مؤشراً دقيقاً على استهلاك الطاقة. أكثر من ذلك، أظهرت الدراسة إمكانيات نماذج الطالب المخففة في تقليل استهلاك الطاقة أثناء الاستدلال بنسبة تصل إلى 90% وتقليص استهلاك الذاكرة بنسبة 86% مع احتفاظها بدقة مقبولة.

في الختام، تشير النتائج إلى أن استراتيجيات التقطير المعرفي التي تعتمد على نماذج الطاقة المباشرة، بدلاً من FLOPs، يمكن أن تحسن استهلاك الطاقة واستدامة نماذج اللغات الضخمة لاستخدامها في تطبيقات هندسة البرمجيات، مما يجعلها أكثر ملاءمة للأجهزة الاستهلاكية.

ما رأيكم في هذه النتائج؟ هل تعتقدون أن الاستدامة الطاقية يمكن أن تكون جزءاً من مستقبل الذكاء الاصطناعي؟ شاركونا آراءكم!