ثورة في طرق التعلم الآلي: نموذج قوانين التوسع في البيانات والحوسبة

في عالم الذكاء الاصطناعي المتطور، تُعتبر بيئة التدريب الداعمة عنصرًا حيويًا لتحسين أداء النماذج. تسلط دراسة حديثة من arXiv الضوء على تحدٍ مهم يواجه الباحثين: كيف يمكن تحقيق التوازن بين كمية الحوسبة المتاحة وجودة البيانات المستخدمة في التدريب؟

توجد قوانين تقليدية تُعتبر الأمثل لحساب الحوسبة، لكنها تفترض وجود تدفق غير محدود من البيانات الطازجة للتدريب. ومع ذلك، بدأنا نرى تغيرًا في هذا الاتجاه حيث تتزايد حدة الحاجة إلى البيانات الجيدة، بينما تتزايد قدرة الحوسبة بشكل أسرع.

وبناءً على ذلك، قدم الباحثون ما يعرف بقوانين التوسع في الحوسبة والبيانات (Compute-Data Scaling Laws) كإطار عمل موحد. هذا الإطار يجمع بين قاعدتين: الأولى هي قوانين التوسع الأمثل للحوسبة حيث يمكن أن تزيد كمية البيانات بحرية مع زيادة الحوسبة، والثانية هي قوانين التوسع الأمثل للبيانات حيث يظل العدد الإجمالي للبيانات ثابتًا في حين يمكن أن تنمو الحوسبة بلا حدود.

توسيع هذه القوانين يشمل تقديم دالة فعالية الرمز (η)، التي تقيس القيمة المشتقة من الرموز، والتي يتم الحصول عليها من خلال تكرار العصور أو إعادة صياغة الجمل.

من خلال تحليل استراتيجيتين لتوسيع البيانات باستخدام مجموعة بيانات Dolma-3، وجد الباحثون أن فعالية الرموز ليست ثابتة، بل تعتمد على حجم النموذج، ونسبة الرموز إلى المعاملات، وكمية البيانات المشتقة. كما أظهروا أن هناك عوائد متناقصة عند استبدال الحوسبة بالبيانات عندما يزداد حجم النموذج أو تتوفر البيانات بشكل أكبر.

تفتح هذه النتائج الباب لاستكشاف ثلاثة أنظمة تشغيل مختلفة: مقيدة بواسطة الحوسبة، مقيدة بواسطة البيانات، ومقيدة بواسطة النموذج. مما يعني أن تخصيص الحوسبة بشكل تقليدي ليس هو الخيار الأنسب في أغلب الحالات التطبيقية ذات الصلة.