في عالم نماذج اللغة (Language Models) المتطورة، تعد مهارة الاستدلال من القدرات الأساسية التي تحدد كفاءة الأداء. لكن يبقى السؤال: ما هي كمية المعلمات الضرورية لدعم هذا النوع من الاستدلال أثناء عملية التدريب المسبق؟ في دراسة جديدة، قام فريق من الباحثين بدراسة الميزانية الدنيا المطلوبة لدعم الاستدلال الضمني، وهو القدرة على استنتاج حقائق جديدة بناءً على المعرفة المكتسبة دون الحاجة إلى إشراف مفصل على طريقة التفكير.

ركزت الدراسة على تدريب نماذج اللغة من الصفر في بيئة تحكم اصطناعية تعكس بنية وتوزيع الرسوم البيانية للمعرفة الواقعية. يتم تقييم قدرة النموذج على استكمال الحواف المفقودة من خلال الاستدلال عبر مراحل متعددة. من منظورين نظري وعملي، تم الكشف عن قاعدة قياس تربط بين الميزانية المثلى للمعلمات ومستوى الإنتروبي في البحث عبر الرسوم البيانية.

عبر مجموعة واسعة من أحجام النماذج، وخطوات التدريب، وتعقيدات الرسوم البيانية، أظهرت النتائج أن نموذج اللغة المحسن يمكنه استنتاج موثوق تقريبًا 0.008 بت من المعلومات لكل معلمة كحد أقصى.

توجه هذه النتائج نحو تحسين السعة اللازمة للاستدلال الضمني أثناء التدريب المسبق، مما يتيح فهمًا أعمق لكيفية توافق حجم النموذج مع تعقيد البيانات. يقدم هذا البحث رؤى جديدة حول سلوك الاستدلال في نماذج اللغة الكبيرة ويعزز القدرة على تخصيص الموارد بكفاءة.