في عالم الذكاء الاصطناعي، تكمن واحدة من أكبر التحديات في قدرة نماذج اللغات الضخمة (Large Language Models) على الحفاظ على المعرفة القديمة أثناء التعلم من البيانات الجديدة. تقوم هذه النماذج عمومًا بإصابة ما يعرف بـ "نسيان كارثي" (Catastrophic Forgetting) خلال عمليات التدريب المتقدمة، مما يعني أنها قد تفقد المعلومات القيمة التي اكتسبتها سابقًا.
بالتوازي مع ذلك، بدأت دراسات جديدة تكشف عن الفجوات في أداء نماذج اللغات متعددة الوسائط (Multimodal Large Language Models) مثل LLaVA، والتي تعاني من تراجع ملحوظ في الأداء على معايير اللغة مقارنة بنماذج الفردية.
هنا تأتي الابتكارات الجديدة! تم تقديم طريقة جديدة غير مرتبطة بنموذج، تُعرف باسم "توليد الشجرة" (Tree Generation)، والتي تهدف إلى إعادة الضغط على المعرفة داخل نماذج اللغات الضخمة إلى مجموعة البيانات التدريبية.
تتحدث الدراسة عن إصدار "TG-SFT"، الذي يقوم بتوليد بيانات SFT بشكل صناعي خلال خطوات ضبط التعليم. من خلال دمج مجموعة البيانات المرسلة أثناء التدريب على نماذج اللغات متعددة الوسائط، يُظهر البحث تحسينات ملحوظة في الحد من مشكلة النسيان.
تحمل هذه الاكتشافات إمكانيات كبيرة لتحسين فعالية نماذج الذكاء الاصطناعي، مما يجعلها أكثر قدرة على معالجة المعلومات والحفاظ على المعرفة القديمة.
في النهاية، يبقى السؤال: كيف ستؤثر هذه الابتكارات على مستقبل الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!
كيف يمكن لنموذج Tree Generation الحفاظ على المعرفة في نماذج اللغات الضخمة؟
تقدم دراسة جديدة طريقة مبتكرة للحفاظ على المعرفة في نماذج اللغات الضخمة، مما يعالج مشكلة فقدان المعلومات. اكتشفوا المزيد عن تقنية Tree Generation وتأثيرها على الأداء.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
