في عالم الذكاء الاصطناعي، يزداد التركيز على كفاءة نماذج اللغة وقدرتها على إنتاج نصوص متنوعة. يُظهر بحث جديد نُشر على منصة arXiv أن النماذج المدربة على نصوص تم إنشاؤها بواسطة نماذج أخرى تستفيد بشكل كبير من التحليل. ولكن، هل ينتج عن تدريب هذه النماذج المتكرر فقدان التنوع في المخرجات؟

تتحدث الدراسة عن "طيف الهشاشة"، حيث تم اختبار 13 نقطة تفتيش (checkpoints) مختلفة على مدى خمسة أجيال، لتنتهي النتائج بتنوع يتراوح بين 0.187 و0.940 بالنسبة لنظرية الأربعة حروف (4-gram). بعض النماذج تبدو أقل تأثراً في حين أن أخرى تتحول إلى شذرات متكررة.

من المثير للاهتمام أنه عند تغيير تكوين المجموعة المشتركة أو إضافة نصوص بشرية، تبقى العلاقة الإحصائية (Spearman correlation) قوية بين 0.91 و0.97. هذا يشير إلى أن أداء النموذج في بيئة التدريب ليس فقط نتيجة للحجم الرقمي له، بل يتعلق ببنية النموذج نفسه.

النتائج تقدم استنتاجاً مثيراً: التحقق من كيفية استجابة النموذج لتدريب متكرر، مثل السماح له بالاعتماد على مخرجاته الذاتية لمدة تصل إلى ثلاث أجيال، يمكن أن تكون دليلاً قوياً على هشاشته في البيئة الأوسع. والدليل على هذا هو أن تقنيات مثل تصحيح النسبة العليا (top-p) تُظهر القدرة على تقليل سرعة الانهيار، مما يشير إلى أن هناك طرقًا عملية لجعل نماذج الذكاء الاصطناعي أكثر استقرارًا.

بينما يتطور هذا المجال بشكل سريع، يبقى التساؤل: كيف يمكننا الاستفادة من هذه الاكتشافات لتحسين نماذج اللغة في المستقبل؟