يُعتبر فهم إذا ما كانت النماذج اللغوية الكبيرة (Large Language Models) تُجسّد التنوع الكامل للمخرجات المحتملة في بيانات التدريب الخاصة بها من المواضيع الساخنة في مجال الذكاء الاصطناعي. في دراسة جديدة نُشرت على منصة arXiv، تم استخدام أسلوب نظري معلوماتي لدراسة هذه المسألة. حيث تم مقارنة التفارغ الشرطي (conditional entropy) للمخرجات التي تنتجها النماذج مع تلك المتاحة في بيانات التدريب، مما يكشف حقيقة مثيرة للقلق.

قام الباحثون بتحليل العديد من عائلات النماذج اللغوية، بما في ذلك OLMo و Pythia و GPT-Neo، وُجد أنهم يعانون من انخفاض ملحوظ في التفارغ الشرطي مقارنةً ببيانات التدريب عبر مختلف أحجام النماذج وأطوال التسلسل واستراتيجيات فك الترميز.

بالإضافة إلى ذلك، تم اكتشاف فجوة تنوع شرطية مشابهة في نماذج توليد الصور المعتمدة على الفئات مثل ImageNet، وكذلك النماذج المعتمدة على نصوص تم تدريبها على مجموعات بيانات مثل MS-COCO.

للتصدي لهذه الفجوة، اقترح الباحثون آلية تصحيح لاحقة يمكنها إنتاج مخرجات متعددة لكل إدخال وإعادة وزنها من خلال إسقاط مصفوفة التفارغ، مما يزيد من التنوع الشرطي بينما يبقى قريبًا من توزيع النموذج الأصلي. يُظهر البحث كذلك أن هذه الفجوة قد تُمثل تحديًا مهمًا يدعو إلى تصحيحات مبتكرة في التصاميم المستقبلية.

وبهذا، فإن النتائج تشير بشكل واضح إلى أنه لا يزال هناك فراغ يجب ملؤه لتحقيق تحسين حقيقي في التنوع الإبداعي للنماذج اللغوية الكبيرة. هل تعتقد أن هذه الآليات التصحيحية ستُحدث فرقًا في جودة المخرجات؟ تحمل لنا هذه الأبحاث أفقًا جديدًا للابتكار في عالم الذكاء الاصطناعي.