تشهد نماذج اللغات الضخمة (LLMs) طفرة كبيرة في الأداء بفضل الأعداد الضخمة من المعلمات وبيانات التدريب الشاملة. ومع ذلك، تأتي هذه الابتكارات بتحديات رئيسية، أبرزها عوائق الذاكرة الكبيرة خلال عملية التدريب، خصوصًا عند استخدام محسنات ذات استهلاك مكثف للذاكرة مثل آدم (Adam).

تتضمن الحلول التقليدية التي تهدف إلى تحسين كفاءة الذاكرة تقنيات مثل تحليل القيم المفردة (SVD) أو التجميد الوزني، لكنها غالبًا ما تضيف تعقيدًا كبيرًا على الحسابات، وتتطلب ذاكرة إضافية، أو تؤثر سلبًا على أداء النموذج.

هنا تأتي أهمية تقنية FOAM، وهي اختصار لـ Folded Optimizer with Approximate Moment، حيث تقدم طريقة مبتكرة لضغط حالات المحسّن عن طريق حساب المتوسطات التدرجية بطريقة كتلية. بالإضافة إلى ذلك، تعتمد FOAM على تصحيح متبقي لاستعادة المعلومات المفقودة.

من الناحية النظرية، تدعي التجارب أن FOAM تحقق معدلات تقارب تعادل تلك المستخدمة في آدم التقليدي تحت ظروف تحسين غير محدبة. وعند النظر إلى النتائج العملية، تلغي FOAM ما يصل إلى 90% من العبء الذاكري المرتبط بحالات المحسّن، مما يسرّع من عملية التقارب.

علاوة على ذلك، تتميز FOAM بكونها متوافقة مع محسنات أخرى ذات كفاءة في استخدام الذاكرة، مما يوفر أداءً وسرعة في المعالجة يمكن أن تتجاوز النقاط الأساسية الموجودة بالفعل. للمزيد من التفاصيل، يمكنكم زيارة الصفحة الرسمية للكود على GitHub: https://github.com/zqOuO/FOAM.