في دراسة حديثة منشورة في arXiv، يطرح الباحثون فرضية جديدة تتعلق بتوسيع البيانات (Data Scaling) وكيفية تأثيره على نماذج الذكاء الاصطناعي. بدلاً من التركيز فقط على ذيول تواتر الرموز (token-frequency tails)، يشير البحث إلى أن القوانين المتعلقة بتوسيع البيانات تُحكم بواسطة تغطية تدريجية لطيف تشير إلى مساهمة تنبؤية كامنة.

لقد تعمل الباحثون بتمثيل أوتوماتيكي للاقترانات النصية وأكدوا وجود طيف مساهمة تنبؤية عالمي (global-KL predictive contribution spectrum) حيث تساهم كل حالة وفقًا لكتلتها التجريبية ودرجة انحرافها عن قاعدة رمز متوقع عالمي. وعبر تحليل 12 مجموعة بيانات حقيقية، تم العثور على أن ميل ذيل هذا الطيف مرتبط بقوة بمعامل التوسع الفعلي للبيانات لنموذج GPT صغير وثابت.

أضافت الدراسة خطوة أخرى عن طريق تعريف ترتيب تقليم فعال (effective truncation rank) لكل حجم تدريب N، متطابقًا بين الفقد الزائد الملحوظ والكتلة المتبقية من طيف المساهمة. البحث يكشف أن اللوغاريتم لترتيب التقليم K قريب من الخطية في اللوغاريتم لحجم التدريب N، مما يعكس قوة العلاقة بين هذين العاملين.

هذه النتائج تقدم دعمًا تجريبيًا قويًا لآلية بسيطة: حيث يتقدم حجم التدريب إلى حدود فعالة عبر طيف حالة تنبؤية، وتتناسب الكتلة المتبقية من هذا الطيف مع الفقد الزائد المتبقي. هذا الاكتشاف يدعو للبحث المستمر في فهم كيف يمكن تحسين نماذج الذكاء الاصطناعي ليكون لها أداء أكبر مع توسيع البيانات.