تعد مشكلة "تدهور النموذج" أثناء العمليات المتكررة لضبط نماذج الذكاء الاصطناعي من التحديات الكبيرة، حيث يتسبب في تضييق تنوع المخرجات وفقدان الأنماط النادرة. في دراسة جديدة منشورة على arXiv، تم استكشاف طريقة مبتكرة تعتمد على النظرية الرياضية للمعلومات لتخفيف هذه المشكلة دون الحاجة إلى نماذج معقدة أو بيانات بشرية مباشرة.

فقد قدم الباحثون تقدير إنتروبيا غير معتمد على نماذج (non-parametric Kontoyiannis entropy rate estimator) $h_k$، والذي يتم حسابه بالكامل من النصوص الخام باستخدام إحصائيات طول المطابقة. لقد أظهرت التجارب التي شملت ستة أجيال من اختبار تدهور QLoRA على نموذج Llama-3.1-8B أن تصفية $h_k$ حققت تقدماً ملموساً في تحسين تنوع النصوص بمعدلات تصل إلى +42% في عدد التريغات الفريدة و-19% في التكرار، بينما لم توفر الطرق التي تعتمد على احتمالات السجل فوائد واضحة.

توضح النتائج أن هناك إمكانيات قوية لاستخدام الأساليب المعتمدة على المعلومات لمواجهة تدهور النماذج، مما يفتح المجال لتطوير طرق جديدة للحفاظ على تنوع الأنظمة المتعددة في المشاريع المستقبلية. هل أنت مستعد للدخول في عالم جديد من البحث والابتكار في مجال الذكاء الاصطناعي؟ شاركنا آرائك في التعليقات!