في عالم الذكاء الاصطناعي، يعتمد نجاح النماذج على قدرتها على التعلم المستمر وتجنب النسيان. هنا يأتي دور تقنية CRAFT، الإطار الجديد الذي يعد بإحداث ثورة في طريقة تكييف نماذج اللغة الكبيرة (LLMs). تعتمد CRAFT على استراتيجية مبتكرة لتعلم التدخلات المنخفضة الرتبة على التمثيلات الخفية بدلاً من تحديث الأوزان مباشرةً، مما يمكّنها من الحفاظ على التعلم السابق.

تعمل CRAFT من خلال ثلاث مراحل رئيسية:
1. **توجيه المهام**: حيث يتم توجيه كل مهمة إلى مجموعة من المهام المتشابهة بناءً على تفريق التوزيع الناتج.
2. **تحسين النموذج**: يتم ضبط النموذج باستخدام تباين كولباك-ليبلر (Kullback-Leibler divergence) ضد الحالة السابقة للمجموعة، مما يتيح التحكم في النسيان وتحقيق التوافق.
3. **دمج التدخلات**: تُدمج التدخلات الخاصة بالمهمة المحدّثة في التمثيل المشترك باستخدام نفس إشارة KL.

توفر هذه التصميمة توحيدًا بين التوجيه والتنظيم والدمج عبر هدف واحد يعتمد على KL.

تظهر النتائج تقدمًا ملحوظًا في تحسين الأداء وتقليل النسيان مقارنةً بأساليب LoRA القوية عبر العديد من المعايير وحجوم النماذج، مع الحفاظ على القوة في مواجهة ترتيب المهام.

تشير هذه النتائج إلى أن التحكم في التكيف ضمن الفضاء التمثيلي، مع التوجيه من قبل تفريق الفضاء الناتج، يقدم نهجًا قابلًا للتوسع ومستندًا إلى مبادئ التعلم المستمر في نماذج اللغة الكبيرة.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!