إعادة صياغة البيانات: كيف تعزز تنويعات البيانات أداء نماذج اللغة العملاقة!

تُعَدُّ فعالية النماذج اللغوية (Language Models) في التعميم مرهونة بشكل كبير بتنوع البيانات المستخدمة في تدريبها. ومع ذلك، غالبًا ما تكون مقاييس التنوع الحالية غير كافية، إذ تعتمد على heuristics (قواعد إرشادية) سطحية لا تعكس الأداء الفعلي للنموذج. للحل، يتساءل الباحثون: ما نوع التنوع البياناتي الذي يُعزز التعميم في نماذج اللغة الأساسية (LLM)؟ وكيف يمكن قياس هذا التنوع وزيادته؟

عبر تحليلات تجريبية واسعة النطاق شملت أكثر من 300 تجربة تدريب، تم التحكم فيها بعناية من حيث حجم وجودة البيانات، تسلط الدراسة الضوء على أن تنوع البيانات يمكن أن يكون مؤشراً قوياً للتعميم في التفكير بداخل نماذج اللغة العملاقة، وذلك من خلال قياس أداء النموذج المتوسطة على معايير جديدة وغير معتادة.

وقد قام الباحثون بتقديم مقياس جديد يُسمى G-Vendi، والذي يقوم بتقدير التنوع عبر حساب الإنتروبيا الناتجة عن تدرجات النموذج. وعلى الرغم من استخدام نموذج صغير قديم لتقدير التدرجات، فإن G-Vendi يتفوق باستمرار على مقاييس بديلة، محققًا ارتباطًا قويًا (Spearman's ρ ≈ 0.9) مع الأداء على معايير جديدة في كل من مهام الاستدلال اللغوي (NLI) ومهام التفكير الرياضي.

استنادًا إلى هذه الرؤية، قدم الباحثون إطار عمل يعرف باسم Prismatic Synthesis، الذي يهدف إلى توليد بيانات صناعية متنوعة تستهدف المناطق المُهملة في فضاء التدرجات. تُظهر النتائج التجريبية أن Prismatic Synthesis يحسن أداء النموذج بوضوح كلما زادت البيانات الصناعية، وليس فقط على البيانات التقليدية ولكن أيضًا عبر معايير غير مألوفة، متفوقًا بشكل كبير على النماذج الرائدة التي تعتمد على مولد بيانات أكبر بعشرين مرة.

على سبيل المثال، تفوق نموذج PrismMath-7B، الذي تم استخراجه من نموذج LLM بحجم 32 مليار، على النموذج R1-Distill-Qwen-7B، الذي تم تدريبه على بيانات خاصة تم إنشاؤها من 671 مليار، في 6 من أصل 7 معايير تحدي.