تعتبر مسألة تنوع البيانات أحد العوامل الحاسمة التي تؤثر على أداء نماذج الذكاء الاصطناعي، حيث يسهم اختيار بيانات متنوعة في تحسين الأداء وتقليل التكرار. ومع ذلك، فإن تحسين هذا التنوع يمثل تحديًا كبيرًا، لكونه يعتمد على التفاعلات بين نقاط البيانات بدلاً من الأمثلة الفردية.

في هذه الدراسة الجديدة، تم تقديم إطار عمل probabilistic diversification يعتمد على نتيجة G-Vendi، والذي تم تحسينه عبر تقنية الانحدار المتزايد (exponentiated gradient descent). وأظهرت نتائج التجارب أن هذا الأسلوب ينتج مجموعات بيانات أكثر تنوعًا بكثير مقارنةً بالعينات العشوائية، حيث حقق زيادة مذهلة قدرها +489 في نتيجة G-Vendi على مجموعة بيانات تحتوي على 500 ألف عينة.

تقييم هذه الطريقة تم على مجموعة FineWeb وDCLM، حيث أن الأداء تجاوز الأساليب الحالية بشكل مستمر. وتُظهر النتائج أن نظام SPOKES (المعتمد على التنوع فقط) قد عَزَّز الأداء المتوسط في النماذج بقيم تُقدّر بـ +0.4 و+0.5 نقاط على DCLM وFineWeb، على التوالي. وبشكل أكثر أهمية، فإن تحسين الجودة والتنوع معًا يؤدي إلى النتائج الأقوى، حيث حقق SPOKES مكاسب بلغت +1.5 و+1.4 نقطة على DCLM وFineWeb، متفوقًا على جميع الخطوط الأساسية الموجودة مثل إزالة التكرار الدلالي وتصنيف الجودة.

في ضوء هذه النتائج المثيرة، تظهر أهمية التركيز على تنوع البيانات كعامل رئيسي في تحسين أداء نماذج الذكاء الاصطناعي. فما رأيكم في هذا التطور؟ شاركونا في التعليقات.