في عالم الذكاء الاصطناعي، تبرز نماذج اللغة الكبيرة (Large Language Models) كأداة قوية للتعامل مع مهام معالجة اللغة الطبيعية. رغم ذلك، فإن زيادة حجم المعلمات لهذه النماذج تترتب عليه أعباء ذاكرة ضخمة أثناء مرحلة التدريب، خاصة عند استخدام المحسنين الذين يحفظون الحالة مثل Adam.

تقنيات توفير الذاكرة التقليدية، مثل تحليل القيم الفردية (SVD) أو تجميد الأوزان، غالباً ما تؤدي إلى تدهور في الأداء بالمقارنة مع التحديثات الكاملة. لحل هذه المشكلات، قام الباحثون باستكشاف طرق جديدة توفر الكفاءة في الذاكرة وتجاوز القيود التقليدية المرتبطة بالرتب المنخفضة.

تقدم ورقة البحث الجديدة تقنية تحويل الأمواج التدريجية (Gradient Wavelet Transform) أو ما يُختصر بGWT، والتي تُعد إطارًا مبتكرًا لضغط التدرجات. من خلال إسقاط التدرجات في فضاءات الأمواج، تتمكن GWT من تقليص حالة المحسنين مع الحفاظ على المعلومات الأساسية المتعلقة بالتحديثات.

الدراسات التجريبية والنظرية تشير إلى أن GWT يمكن دمجها بسلاسة في البروتوكولات الحالية للتدريب، مما يُسهّل تدريبًا أكثر كفاءة دون المساس بنزاهة النموذج. وقد أظهرت التقييمات الدقيقة، التي تشمل كلا من التدريب السابق على نطاق واسع والتخصيص المحدد للمهام، أن GWT يمكنه تحقيق أداء متساوي مع المحسنين المتقدمين ذوي الكفاءة العالية في استخدام الذاكرة.

علاوة على ذلك، توفر GWT حلاً قابلًا للتوسع وموثوقًا لإدارة العمليات المكثفة للذاكرة التي تتطلبها نظم استخراج المعرفة والهندسة البيانات الحديثة. في ضوء هذه الابتكارات، يتوقع الكثيرون دفع حدود ما يمكن تحقيقه في مجالات الذكاء الاصطناعي.

ما رأيكم في هذه التقنية الجديدة؟ هل تعتقدون أنها ستحدث ثورة في عالم نماذج اللغة؟ شاركونا آرائكم في التعليقات!