في ضوء التقدم الهائل في مجال الذكاء الاصطناعي، تتطلب عمليات تدريب نماذج اللغات الضخمة (LLMs) موارد حاسوبية ضخمة واستثمارات مالية باهظة. فقد أثبتت الأبحاث أن زيادة حجم هذه النماذج تؤدي إلى تحسين جودة الأداء، ولكن يبقى التساؤل: كيف تترجم هذه التحسينات إلى زيادة في الإيرادات؟ وما مدى قدرة هذه الزيادات على تعويض تكاليف التدريب الأكثر شمولاً؟

في الدراسة الجديدة، تم تطوير نموذج اقتصادي يجمع بين قوانين التوسع والنظرية الاقتصادية الجزئية لفهم سلوك الشركات التي تدرب هذه النماذج. وفقًا لهذا النموذج، يمكن تحسين جودة نموذج اللغة من خلال زيادة عدد المعلمات (parameters) وعدد رموز التدريب (training tokens)، ما يعزز من احتمال استخدام المستهلكين لهذه النماذج. ولكن، تجدر الإشارة إلى أن زيادة عدد المعلمات ورموز التدريب تؤدي أيضًا إلى تكاليف إضافية.

تتناول الدراسة مشكلة تحقيق أقصى قدر من الأرباح في ظل قيود القدرة الحاسوبية أو البيانات المتاحة. في حالة القدرة الحاسوبية، تنمو التكلفة التدريبية بمعدل شبه تربيعي عند زيادة كفاءة الأجهزة، في حين أن فعالية البيانات تحفز على استخدام نماذج أكبر وزيادة النفقات التدريبية. عندما نكون محصورين ببيانات (D)، فإن تكاليف التدريب المثلى تتزايد مع زيادة البيانات وتنخفض مع كفاءة الأجهزة.

توضح النتائج أن الاتجاهات الحالية تتماشى مع نماذجنا الاقتصادية الأكثر مرونة، ولكنها قد لا تكون مثالية لتحقيق الأرباح في ظل عدم تقدم التكنولوجيا بشكل كافٍ.

تقدم هذه الدراسة رؤية شاملة حول تدريب نماذج اللغات الضخمة، وتؤسس لفهم أعمق لبيانات السوق، مما يساعد الشركات في اتخاذ قرارات اقتصادية مستدامة.