في عصر يتسارع فيه استخدام الذكاء الاصطناعي، تبرز الحاجة لتعزيز كفاءة نماذج اللغات الضخمة (Large Language Models) مع تقليل تأثيرها البيئي. يتزايد الاهتمام بانبعاثات الكربون الناتجة أثناء استخدام هذه النماذج، حيث أن البصمة الكربونية التي تتولد أثناء الاستدلال (inference) تتجاوز بكثير تكلفة التهيئة الأولية (fine-tuning).

ينصب الاهتمام حالياً على تحسين الأداء دون زيادة التكلفة الكربونية، مما دفع الباحثين لاستكشاف إمكانية دمج معيار طاقة قابلة للتفريق (calibrated, differentiable energy surrogate) في هدف التهيئة، مما يتيح تصرفات استدلالية تحسن دقة المهام دون أو بتكلفة كربونية قريبة من الصفر.

تضمنت هذه الدراسة تقديم آلية خسارة مشتركة تحتوي على معلمة انبعاث الكربون لكل نموذج، واحتساب المقاييس مثل معايير الوزن (parameter norm) واستهلاك FLOP وما يتعلق بالذاكرة، وتم إعدادها استنادًا إلى نماذج طاقة واقعية.

تم التحقق من ثلاث عائلات هيكلية مختلفة: Gemma-2 2B، Llama-3.1 8B، وQwen-2.5 14B، حيث تمت تقييم انبعاثات CO₂ ودقة F1 في سياقات متعددة.

تفيد النتائج أن معلمة الكربون تُعتبر إما تداخلاً ضاراً أو تنظيمًا مفيدًا بناءً على هيكل المهمة، ما يفتح المجال لتقنيات تحسين جديدة تتميز بخفة الوزن وسهولة التكامل. وبالتالي، توضع عملية التهيئة الصديقة للكربون كتنظيم محمول يعتمد على طبيعة النموذج والمهمة.

هذا العمل جارٍ، وسيتم نشر قاعدة الشيفرة قريبًا. نأمل أن يسهم ذلك في تعزيز آفاق التنمية المستدامة في مجال الذكاء الاصطناعي والنماذج اللغوية.